Products
GG网络技术分享 2025-03-18 16:05 0
常规文章采集简单,而采集瀑布流、点击加载、下拉加载这种类ajax式的列表页面就比较困难了,让很多新手无从下手,不知道如何采集这些页面。
首先目标页面需要抓包,简单站的抓json数据即可,如果壳网等;难一些的站需要post方式,还需要填cookie、随机值,如蘑菇街等。
今天咱们先来个简单的,以采果壳网为例进行说明。
首先需要使用的是chrome浏览器(调试帝国cms模板时也推荐使用chrome浏览器)。
一、首先在目标页面按F12或Ctrl+Shift+C打开审查元素,然后点Network选项卡。
二、点击XHR按钮,在页面上触发ajax加载,浏览器即监测到页面的数据执行和变化,红框中即为抓取到的数据地址。
三、点击数据地址,右侧出现详细信息,注意观察请求地址url的规律,例如下图中,有时间戳和页面序号。
四、在火车头采集器中添加如下抓取到的地址,并设置好地址规则,然后便是常规的火车头设置了。Demand feedback