资源描述：
《php实现多线程抓取网页》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、PHP实现多线程抓取网页PHP利用CurlFunctions可以完成各种传送文件操作，比如模拟浏览器发送GET，POST请求等等，受限于php语言本身不支持多线程，所以开发爬虫程序效率并不高，这时候往往需要借助CurlMultiFunctions它可以实现并发多线程的访问多个url地址。既然CurlMultiFunction如此强大，能否用CurlMultiFunctions来写并发多线程下载文件呢，当然可以，下面给出我的代码：代码1：将获得的代码直接写入某个文件123456789101112131415161718192021222324
2、252627$url){ $conn[$i]=curl_i
3、nit($url); curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0)"); curl_setopt($conn[$i],CURLOPT_HEADER,0); curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60); curl_setopt($conn[$i],CURLOPT_FILE,$st);//设置将爬取的代码写入文件 curl_multi_a
4、dd_handle($mh,$conn[$i]); }//初始化 do { curl_multi_exec($mh,$active); }while ($active); //执行 foreach ($urls as $i =>$url){ curl_multi_remove_handle($mh,$conn[$i]); 282930313233 curl_close($conn[$i]); }//结束清理 curl_multi_close($mh); fclose($st);?>
5、代码2：将获得的代码先放入变量，再写入某个文件1234567891011121314151617181920212223242526272829303132333435
6、init(); foreach ($urls as $i =>$url){ $conn[$i]=curl_init($url); curl_setopt($conn[$i],CURLOPT_USERAGENT,"Mozilla/4.0(compatible;MSIE7.0;WindowsNT6.0)"); curl_setopt($conn[$i],CURLOPT_HEADER,0); curl_setopt($conn[$i],CURLOPT_CONNECTTIMEOUT,60); curl_setopt(
7、$conn[$i],CURLOPT_RETURNTRANSFER,true); //设置不将爬取代码写到浏览器，而是转化为字符串 curl_multi_add_handle($mh,$conn[$i]); } do { curl_multi_exec($mh,$active); }while ($active); foreach ($urls as $i =>$url){ $data =curl_multi_getcontent($conn[$i]);//获得爬取的代码字符串 fwrite($
8、st,$data); //将字符串写入文件。当然，也可以不写入文件，比如存入数据库 }//获得数据变量，并写入文件 foreach ($urls as $i =>$ur
