全国咨询热线:400-618-4000

PHP开发爬虫

创建时间:2019年01月18日13时48分

爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。

我们平常使用搜索引擎浏览网页,有很多和预期的信息不匹配的结果;并且信息量巨大,有了结果以后还需要花费很大的精力进行筛选信息。爬虫应运诞生,我们可以写一段脚本或程序,让他根据我们的需求按照设定的规则进行抓取网页信息,并筛选出我们需要的结果。

首先,在PHP中可以获取万维网页面的函数有很多,例如:file_get_contents()或者curl扩展,再或者还有获取缓冲的ob_get_contents()等,最实用也是最常用的就是file_get_contents()了。例:

所以,我们可以利用file_get_contents()来进行爬虫的开发。

步骤:

1. 分析url规则

2. 根据规则进行循环爬取内容

3. 根据需求进行正则匹配需要的内容(可以根据实际要求进行)

4. 整合结果(写入文件)

代码:

结果:

打开其中前两页的效果: