51阅读吧 - 为您打造专业优质的文章分享平台!
您的当前位置: 51阅读吧 >

java爬虫抓取网页数据|cURL库功能简介:抓取网页 POST数据及其他

NO.1 cURL库功能简介:抓取网页 POST数据及其他

使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库,那怕就是简单的获取网页内容,cURL 是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。

启用 cURL 设置

首先,我们得先要确定我们的PHP是否开启了这个库,你可以通过使用php_info()函数来得到这一信息。

<?php
phpinfo();
?>

如果你可以在网页上看到下面的输出,那么表示cURL库已被开启。

如果你看到的话,那么你需要设置你的PHP并开启这个库。如果你是在Windows平台下,那么非常简单,你需要改一改你的php.ini文件的设置,找到php_curl.dll,并取消前面的分号注释就行了。如下所示:

//取消下在的注释
extension=php_curl.dll

如果你是在Linux下面,那么,你需要重新编译你的PHP了,编辑时,你需要打开编译参数——在configure命令上加上“–with-curl” 参数。

一个小示例

如果一切就绪,下面是一个小例程:

<?php
// 初始化一个 cURL 对象
$curl = curl_init();

// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://cocre.com');

// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);

// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

// 运行cURL,请求网页
$data = curl_exec($curl);

// 关闭URL请求
curl_close($curl);

// 显示获得的数据
var_dump($data);
?>

如何POST数据

上面是抓取网页的代码,下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php,其可以接受两个表单域,一个是电话号码,一个是短信内容。

<?php
$phoneNumber = '13912345678';
$message = 'This message was generated by curl and php';
$curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);
$data = curl_exec();curl_close($ch);
?>

从上面的程序我们可以看到,使用CURLOPT_POST设置HTTP协议的POST方法,而不是GET方法,然后以CURLOPT_POSTFIELDS设置POST的数据。

关于代理服务器

下面是一个如何使用代理服务器的示例。请注意其中高亮的代码,代码很简单,我就不用多说了。

<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080');
curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password');
$data = curl_exec();curl_close($ch);
?>

关于SSL和Cookie

关于SSL也就是HTTPS协议,你只需要把CURLOPT_URL连接中的http://变成https://就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。

关于Cookie,你需要了解下面三个参数:

CURLOPT_COOKIE,在当面的会话中设置一个cookie

CURLOPT_COOKIEJAR,当会话结束的时候保存一个Cookie

CURLOPT_COOKIEFILE,Cookie的文件。

HTTP服务器认证

最后,我们来看一看HTTP服务器认证的情况。

<?php
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'http://www.example.com');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC);
curl_setopt(CURLOPT_USERPWD, '[username]:[password]')

$data = curl_exec();
curl_close($ch);
?>

关于其它更多的内容,请参看相关的cURL手册。

NO.2 豆瓣足迹爬了穷游网的数据吗?


网友杨勃 (阿北)[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
1. 没有过一个“豆瓣旅行”的产品。“足迹”是一个先期试验中的实验室功能,主要基于2006年豆瓣的“我去”的功能和数据。“足迹”由一个三到四人、工程师为主的团队独立执行,在豆瓣主产品线之外,也没有正式的导航入口。

2. "足迹“在测试上线前后的确抓取了穷游网的部分地理数据。这不是豆瓣作为一个企业认可和容许的做事方式。作为豆瓣的最终责任人,我向穷游网郑重致歉。

3. 我已决定关停“足迹”功能,并清消所有来自穷游网的地理数据。

我个人也向肖异和蔡景晖致歉。请转达,谢谢。


网友悟空[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
哎... 在知乎的第一个回答...

豆瓣这次是把穷游的目的地结构、城市分布、景点地理位置给盗去了,也许豆瓣觉得我们发现不了或有苦难言吧?因为这个地方就在那,总不能说是你偷的~ 幸好,我们在穷游的目的地信息中埋了很多彩蛋!那就举一个铁证,大家都知道艾普罗菲尔只是一个玩笑,一个穷游为了愚人节硬生生创造出的国家… 以及那里唯一“城市”—— 穷游办公室(当然,豆瓣是4月2日之前盗的数据,最近艾普罗菲尔新增了一个城市:果壳办公室…)



大量从穷游上扒来的数据都以创建者“豆瓣”的身份出现...

查了一下豆瓣的数据,还发现大量穷游埋的细节和彩蛋。把整个穷游目的地的数据都扒走然后和之前“我去”的数据撮扒撮扒,再用谷歌地图比对,难道,这就是豆瓣旅行?!

此处at阿北,你曾经说别的网站抄豆瓣,你曾经对这种互联网的盗窃行为嗤之以鼻,今天,曾经最让我们尊敬的豆瓣怎么了?

而且,仅仅扒穷游目的地的数据,对旅行者来说可是不太负责任。比如,在豆瓣里,伊朗的喀山在俄罗斯,瓦罕山谷在日本... 技术牛当然很好,但盗的走数据,盗不走的是穷游的整个信息维护系统。穷游全球的网友、作者和编辑辛苦工作,不断对这些信息进行更新纠错。这些不为别的,就是希望这些准确及时的信息能真正帮助到每一个在境外旅行的中国人。

无论是我还是穷游,都坚信:一条准确有用的信息能够真正的帮助到旅行者,甚至能够救人一命。期待豆瓣也能真正负责任地为中国旅行者做好产品和服务,真正帮助到大家。

P.S.如果大家觉得这个证据还不够,我可以一天放一个...

再次P.S.
豆瓣反应很快,把扒穷游的数据都给抹去了,还抹去了我的豆瓣里辛辛苦苦点的足迹,我去过的那些城市... 技术很用心,对一些城市的地理坐标做了偏差,上午还不是呢~ 其实,证据都在公证处做过公证了,删掉是没用的...


网友朱克力[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
我感觉阿北处理得很好,及时道歉澄清。也许是员工有某些想法去实现,需要借助穷游的数据吧。我认为蔡景辉也处理很恰当。
我个人理解:首先,2者的定位不同,豆瓣有自发组织的组供旅游的人交流,是个交流平台;而穷游网是个旅游网站,提供目的地。伤害没有那么大,且豆瓣没有实际的竞争产品出现;
第二,二者是否考虑一起合作做些事情,把这个蛋糕做大。合作大于竞争,毕竟在旅游这块,2个都不是很强;
第三,没有必要继续炒作,对两个网站都没有很强的效应。不如平息下来。


网友蒙面大侠[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
看了某些楼层的回答,我宁愿相信这些都是豆瓣的枪手,而不愿相信中国的互联网圈子道德观念离谱到这种程度。
1,所谓“穷游数据也不一定是自己的”:有证据说证据,没证据的指责是诬陷。 越来越多的人搅混水,问穷游的数据哪来的。退一万步,哪怕穷游的数据都是偷的,你偷穷游的也没理,这是常识。
2,所谓“小偷偷东西也辛苦,也是付出了体力劳动的”:对这种倒打一耙、是非不分只能呵呵了。
3,所谓“别混淆爬数据和抄袭的概念”:爬不允许爬的数据就是抄袭,这种提法才是混淆概念。
4,所谓“穷游炒作论”:这种说法好比是“操,你嚷嚷个什么,老子虽然偷了你东西这不是被发现没偷走吗”。
5,所谓“产品成败的关键真不在多那几个地点名”:人家产品成败,跟豆瓣是否抄袭,一毛钱关系都没有。现在说的是抄袭。
6,所谓“抄袭只是发挥人类的天性善于利用工具”:校长猥亵女生也可以以这样的角度去同情。


网友蔡景晖[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
豆瓣是我尊敬的公司,阿北@ahbei是我非常喜欢和尊敬的人,因此,我相信阿北的诚意。此时,此地,为理想坚持真的不是个容易的选择。在这条路上,少了豆瓣,穷游也会更加孤独。如果大家都想做旅行,那就一起做好它,一起踏踏实实为中国旅行者做些事情,真正帮到他们。共勉。


网友苍斯基[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
亲爱的@杨勃 (阿北) ,当年我辛辛苦苦mark了去过的地方,突然你说不能用就不能用了。
好不容易重开,我兴高采烈把这几年去过的地方补上去了,结果突然说关停又关停了。

呵呵。豆瓣真是最重视用户体验的企业,没有之一。


网友赵喵[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
刚刚去看豆瓣旅游的网站,已经删掉,无法看到内容。
看了穷游的长微薄,因为彩蛋的存在,穷游的数据被豆瓣旅游扒取应该是无庸置疑的。
然后查询了穷游的版权声明,如下图:查询了百度快照,2012年11月12日已经存在上述版权声明,按照该声明穷游的目的地结构、城市分布、景点地理位置被豆瓣扒取不光是道德不正确,同时也是法律上的侵权。查询了百度快照,2012年11月12日已经存在上述版权声明,按照该声明穷游的目的地结构、城市分布、景点地理位置被豆瓣扒取不光是道德不正确,同时也是法律上的侵权。
============================================
之所以做这个工作是因为有这样一种声音:“穷游太小气和作了,有炒作的嫌疑,网络上扒取数据是很正常的事情。”
作为非互联网从业者,依旧拥有着道德正确的追求,用了别人的劳动成果而未经同意,即便没有法律问题原主也是可以谴责下的!
借用别人的比喻,女厕所门开着不上锁不代表男人就可以随便进,更何况门上还写着男生勿入。所以这绝对不是技术和大环境的问题!
=============================================================================
擦,谁从哪里看出来我是支持“网络上扒取数据是很正常的事情”这个观点的?有那么多人都不读清楚答案就点反对的么?!


网友大猫[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
更新版:

鉴于豆瓣阿北已经出面并且很有诚意的回复,我更新一下我的答案。虽然豆瓣的工作人员抄袭了豆瓣的数据,但其实结果就是这么简单,大boss只要表达态度付出行动就够了,穷游也没说要豆瓣赔偿或怎样。遇到争议(或非议)最好的办法永远是坦诚相待,而不是说什么“人家都杀人了,我偷点东西算什么啊,你怎么这么小气。”这种脑残言论。

------更新前的内容-------

我来给为豆瓣辩护的几个用户简单说几句。是否抄袭,不用在这讲道理搬逻辑,著作法什么的都不用看。就看穷游的工作人员发出抄袭的指责之后,豆瓣怎么做。

如果豆瓣自认没有抄袭,办法很简单,义正严词的回复就是了,或者即不发出声音也不用做什么,继续我行我素,这是自我无罪的最好诠释。

但实际上豆瓣在怎么做我们都看到,迅速删除涉嫌抄袭的内容,连个回应都不敢放,到底谁心虚一目了然。

还有那些怀疑穷游炒作的,不要因为社会上婊子成群看到美女就认为是婊子,好姑娘多得很。


网友蒙面大侠[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
一个小偷偷了别人东西被被偷者抓住并且声嘶力竭的出示铁证证明小偷偷了东西,小偷将东西归还并道歉,围观群众纷纷鼓掌赞扬小偷敢于承认,指责被偷的人反应过激了境界太低.

呵呵.


网友曾海涛[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
抓完数据被发现,删掉并道歉!这符合互联网公司一贯的作风,加10分


网友塞班[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
豆瓣是有点不厚道,但是敢于承认错误,承担责任。


网友曾华[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
穷游的数据是自己工作人员实地采集的?还是网友上传?如果是后者,我相信他们如果知道自己的信息出现在豆瓣被更多人接触到该是开心的。在这里问一句——网络的理念还是原来的开放和共享么?


网友旅朋Marx[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
我觉得数据应该可以共享,大家应该有一个开放的心态,旅游的市场足够大,没有任何一家可以像淘宝或京东覆盖很大的份额,旅游的复杂性决定了现在也好,将来也好,都应该是互相共存,各自发展的。


网友莫非[前目的地 豆瓣]豆瓣足迹爬了穷游网的数据吗?给出的答复:
为什么不合作呢,目标用户是重叠的,为目标用户带来更好的产品,各取所需不是更好么,拿一句俗话说:“在一起,在一起”。

NO.3 javascript xml xsl取值及数据修改第1/2页

1.example.xml--主要数据文件
<?xml version="1.0" encoding="UTF-8"?>

<?xml:stylesheet type="text/xsl" href="example.xsl"?>

<projects id="1">
    <project title="一级标题1" index="1">
        <items isTrunk="false" title="二级标题1.1" id="items_1">
            <result type="2">1</result>
            <officer><![CDATA[]]></officer>
            <classified>1</classified>
            <eligibility>0</eligibility>
            <remark></remark>
        </items>
        <items isTrunk="false" title="二级标题1.2" id="items_2">
            <result type="2">3</result>
            <officer><![CDATA[]]></officer>
            <classified>1</classified>
            <eligibility>0</eligibility>
        </items>
    </project>
    <project title="一级标题2" index="2">
        <items isTrunk="false" title="二级标题2.1" id="items_3">
            <result type="3">3</result>
            <officer><![CDATA[]]></officer>
            <classified>1</classified>
            <eligibility>0</eligibility>
        </items>
        <items isTrunk="true" title="二级标题2.2">
            <item title="三级标题2.2.1" id="item_1">
                <result type="1">2</result>
                <officer><![CDATA[居然是乱码]]></officer>
                <classified>1</classified>
                <eligibility>0</eligibility>
            </item>
            <item title="三级标题2.2.2" id="item_2">
                <result type="1">3</result>
                <officer><![CDATA[<><>]]></officer>
                <classified>1</classified>
                <eligibility>0</eligibility>
            </item>
        </items>            
        <items isTrunk="true" title="二级标题2.3">
            <item title="三级标题2.3.1" id="item_3">
                <result type="2">1</result>
                <officer><![CDATA[]]></officer>
                <classified>1</classified>
                <eligibility>0</eligibility>
            </item>
            <item title="三级标题2.3.2" id="item_4">
                <result type="2">1</result>
                <officer><![CDATA[]]></officer>
                <classified>1</classified>
                <eligibility>0</eligibility>
            </item>
        </items>            
    </project>
    <project title="一级标题3" index="3">
        <items isTrunk="false" title="二级标题3.1" id="items_4">
            <result type="4" units="元">25345</result>
            <officer><![CDATA[sinoly]]></officer>
            <classified>1</classified>
            <eligibility>0</eligibility>
        </items>
        <items isTrunk="false" title="二级标题3.2" id="items_5">
            <result type="4" units="元">9865764</result>
            <officer><![CDATA[]]></officer>
            <classified>1</classified>
            <eligibility>0</eligibility>
        </items>
        <items isTrunk="false" title="二级标题3.3" id="items_6">
            <result type="2">0</result>
            <officer><![CDATA[]]></officer>
            <classified>1</classified>
            <eligibility>0</eligibility>
        </items>
        <items isTrunk="true" title="二级标题3.4">
            <item title="三级标题3.4.1" id="item_5">
                <result type="1">0</result>
                <officer><![CDATA[]]></officer>
                <classified>1</classified>
                <eligibility>0</eligibility>
            </item>
            <item title="三级标题3.4.2" id="item_6">
                <result type="1">0</result>
                <officer><![CDATA[]]></officer>
                <classified>1</classified>
                <eligibility>0</eligibility>
            </item>
            <item title="三级标题3.4.3" id="item_7">
                <result type="1">0</result>
                <officer><![CDATA[]]></officer>
                <classified>1</classified>
                <eligibility>0</eligibility>
            </item>
        </items>
    </project>
</projects>
2.example.xsl--样式文件,很方便的取到xml数据

<?xml version="1.0" encoding="gb2312"?>

<xsl:stylesheet version="1.0"   xmlns:xsl="http://www.w3.org/1999/XSL/Transform">

    <!--根模板-->    
    <xsl:output method="xml"/>

    <xsl:template match="/">    
        <xsl:apply-templates select="projects/project"/>
        <h6>
            <button type="submit" class="btn1_mouseout" onmouseover="this.className='btn1_mouseover'" onmouseout="this.className='btn1_mouseout'" title="提交"> 下一步</button>
        </h6>
    </xsl:template>

    <!--主题模板-->
    <xsl:template match="project">
        <TABLE border="0" cellspacing="0" cellpadding="0" class="table">
            <tr>
                <td colspan="5" align="center" class="tright">
                    <h2>
                        <xsl:number value="position()" format="一、"/><xsl:value-of select="@title"/>
                    </h2>
                </td>
            </tr>
            <xsl:apply-templates select="items"/>
        </TABLE>
        <BR/>
    </xsl:template>

    <!--一级题干模板-->
    <xsl:template match="items">
        <tr>
            <td colspan="2" class="tright">
                <xsl:number value="position()" format="1."/><xsl:value-of select="@title"/>
            </td>
            <xsl:choose>
                <xsl:when test="@isTrunk[.='false']">
                    <xsl:apply-templates select="result"/>
                    <xsl:apply-templates select="officer"/>
                </xsl:when>
                <xsl:otherwise>
                    <td colspan="3" class="tright" style="color:blue;font-weight:bolder">
                        注意以下几点
                    </td>
                    <xsl:apply-templates select="item"/>
                </xsl:otherwise>
            </xsl:choose>
        </tr>
    </xsl:template>

        <!--二级题干模板-->
    <xsl:template match="item">

      <tr>
        <td class="tright" style="padding-left:20px" colspan="2">
            <h4><xsl:number value="position()" format="(a)."/><xsl:value-of select="@title"/></h4>
        </td>
            <xsl:apply-templates select="result"/>
            <xsl:apply-templates select="officer"/>
      </tr>
    </xsl:template>

    <!--选择框模板-->
    <xsl:template match="result">
                    <xsl:choose>
                        <xsl:when test="@type = '1'">
                            <td width="15%">
                            <xsl:element name="select">
                                <xsl:attribute name="name">re_<xsl:value-of select="../@id"/></xsl:attribute>
                                <!--<select name="select">-->
                                    <xsl:choose>
                                        <xsl:when test=".='0'">
                                            <option value="0" selected="selected">请选择 </option>
                                            <option value="1">符合</option>
                                            <option value="2">基本符合</option>
                                            <option value="3">不符合</option>
                                        </xsl:when>
                                        <xsl:when test=".='1'">
                                            <option value="0">请选择 </option>
                                            <option value="1" selected="selected">符合</option>
                                            <option value="2">基本符合</option>
                                            <option value="3">不符合</option>
                                        </xsl:when>
                                        <xsl:when test=".='2'">
                                            <option value="0">请选择 </option>
                                            <option value="1">符合</option>
                                            <option value="2" selected="selected">基本符合</option>
                                            <option value="3">不符合</option>
                                        </xsl:when>
                                        <xsl:when test=".='3'">
                                            <option value="0">请选择 </option>
                                            <option value="1">符合</option>
                                            <option value="2">基本符合</option>
                                            <option value="3" selected="selected">不符合</option>
                                        </xsl:when>                                        
                                    </xsl:choose>
                                    <!--</select>-->
                                </xsl:element>
                            </td>
                        </xsl:when>
                        <xsl:when test="@type = '2'">
                            <td width="15%">
                                <xsl:element name="select">
                                <xsl:attribute name="name">re_<xsl:value-of select="../@id"/></xsl:attribute>
                                    <xsl:choose>
                                        <xsl:when test=".='0'">
                                            <option value="0" selected="selected">请选择 </option>
                                            <option value="1">是</option>
                                            <option value="2">否</option>
                                        </xsl:when>
                                        <xsl:when test=".='1'">
                                            <option value="0">请选择 </option>
                                            <option value="1" selected="selected">是</option>
                                            <option value="2">否</option>
                                        </xsl:when>
                                        <xsl:when test=".='3'">
                                            <option value="0">请选择 </option>
                                            <option value="1">是</option>
                                            <option value="2" selected="selected">否</option>
                                        </xsl:when>                        
                                    </xsl:choose>
                                </xsl:element>
                            </td>
                        </xsl:when>
                        <xsl:when test="@type = '3'">
                            <td width="15%">
                                <xsl:element name="select">
                                <xsl:attribute name="name">re_<xsl:value-of select="../@id"/></xsl:attribute>
                                    <xsl:choose>
                                        <xsl:when test=".='0'">
                                            <option value="0" selected="selected">请选择 </option>
                                            <option value="1">有</option>
                                            <option value="2">无</option>
                                        </xsl:when>
                                        <xsl:when test=".='1'">
                                            <option value="0">请选择 </option>
                                            <option value="1" selected="selected">有</option>
                                            <option value="2">无</option>
                                        </xsl:when>
                                        <xsl:when test=".='3'">
                                            <option value="0">请选择 </option>
                                            <option value="1">有</option>
                                            <option value="2" selected="selected">无</option>
                                        </xsl:when>                        
                                    </xsl:choose>
                                </xsl:element>
                            </td>
                        </xsl:when>

                        <xsl:otherwise>
                            <td width="15%">
                            <xsl:element name="textarea">
                                <xsl:attribute name="name">re_<xsl:value-of select="../@id"/></xsl:attribute><xsl:value-of select="."/>
                            </xsl:element>
                                <xsl:value-of select="@units"/>
                            </td>
                        </xsl:otherwise>
                    </xsl:choose>

    </xsl:template>

        <!--责任人模板-->
    <xsl:template match="officer">
        <td width="9%" class="tright">责任人</td>
        <td width="11%">
        <xsl:element name="textarea">
            <xsl:attribute name="name">of_<xsl:value-of select="../@id"/></xsl:attribute>
            <xsl:value-of select="."/>
        </xsl:element>
        </td>
    </xsl:template>

</xsl:stylesheet>

当前1/2页 12下一页阅读全文

NO.4 php爬虫:百万级别知乎用户数据爬取与分析

  代码托管地址:https://github.com/hhqcontinue/zhihuSpider

  文/Hector

  这次抓取了110万的用户数据,数据分析结果如下:

  

 

  开发前的准备

  安装linux系统(Ubuntu14.04),在VMWare虚拟机下安装一个Ubuntu;

  安装PHP5.6或以上版本;

  安装curl、pcntl扩展。

  使用PHP的curl扩展抓取页面数据

  PHP的curl扩展是PHP支持的允许你与各种服务器使用各种类型的协议进行连接和通信的库。

  本程序是抓取知乎的用户数据,要能访问用户个人页面,需要用户登录后的才能访问。当我们在浏览器的页面中点击一个用户头像链接进入用户个人中心页面的时候,之所以能够看到用户的信息,是因为在点击链接的时候,浏览器帮你将本地的cookie带上一齐提交到新的页面,所以你就能进入到用户的个人中心页面。因此实现访问个人页面之前需要先获得用户的cookie信息,然后在每次curl请求的时候带上cookie信息。在获取cookie信息方面,我是用了自己的cookie,在页面中可以看到自己的cookie信息:

  

 

  一个个地复制,以"__utma=?;__utmb=?;"这样的形式组成一个cookie字符串。接下来就可以使用该cookie字符串来发送请求。

  初始的示例:

 $url = 'http://www.zhihu.com/people/mora-hu/about'; 
//
此处mora-hu代表用户ID $ch = curl_init($url);
//
初始化会话 curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_COOKIE, $this->config_arr['user_cookie']);
//
设置请求COOKIE curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
//将curl_exec()获取的信息以文件流的形式返回,而不是直接输出。 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$result = curl_exec($ch);
return
$result; //抓取的结果

运行上面的代码可以获得mora-hu用户的个人中心页面。利用该结果再使用正则表达式对页面进行处理,就能获取到姓名,性别等所需要抓取的信息。

  图片防盗链

  在对返回结果进行正则处理后输出个人信息的时候,发现在页面中输出用户头像时无法打开。经过查阅资料得知,是因为知乎对图片做了防盗链处理。解决方案就是请求图片的时候在请求头里伪造一个referer。

  在使用正则表达式获取到图片的链接之后,再发一次请求,这时候带上图片请求的来源,说明该请求来自知乎网站的转发。具体例子如下:

function getImg($url, $u_id){ 
if (file_exists('./images/' . $u_id . ".jpg"))
{
return "images/$u_id" . '.jpg'; } if (empty($url))
{
return '';
}
$context_options = array(
'http' => array(
'header' => "Referer:http://www.zhihu.com"//带上referer参数   )
  );
$context = stream_context_create($context_options);
$img = file_get_contents('http:' . $url, FALSE, $context);
file_put_contents('./images/' . $u_id . ".jpg", $img);
return "images/$u_id" . '.jpg';}

  爬取更多用户

  抓取了自己的个人信息后,就需要再访问用户的关注者和关注了的用户列表获取更多的用户信息。然后一层一层地访问。可以看到,在个人中心页面里,有两个链接如下:

  

 

  这里有两个链接,一个是关注了,另一个是关注者,以“关注了”的链接为例。用正则匹配去匹配到相应的链接,得到url之后用curl带上cookie再发一次请求。抓取到用户关注了的用于列表页之后,可以得到下面的页面:

  

 

  分析页面的html结构,因为只要得到用户的信息,所以只需要框住的这一块的div内容,用户名都在这里面。可以看到,用户关注了的页面的url是:

  

 

  不同的用户的这个url几乎是一样的,不同的地方就在于用户名那里。用正则匹配拿到用户名列表,一个一个地拼url,然后再逐个发请求(当然,一个一个是比较慢的,下面有解决方案,这个稍后会说到)。进入到新用户的页面之后,再重复上面的步骤,就这样不断循环,直到达到你所要的数据量。

  linux统计文件数量

  脚本跑了一段时间后,需要看看究竟获取了多少图片,当数据量比较大的时候,打开文件夹查看图片数量就有点慢。脚本是在linux环境下运行的,因此可以使用linux的命令来统计文件数量:

  其中,ls -l是长列表输出该目录下的文件信息(这里的文件可以是目录、链接、设备文件等);grep "^-"过滤长列表输出信息,"^-" 只保留一般文件,如果只保留目录是"^d";wc -l是统计输出信息的行数。下面是一个运行示例:

  

 

  插入MySQL时重复数据的处理

  程序运行了一段时间后,发现有很多用户的数据是重复的,因此需要在插入重复用户数据的时候做处理。处理方案如下:

  1)插入数据库之前检查数据是否已经存在数据库;

  2)添加唯一索引,插入时使用INSERT INTO ... ON DUPliCATE KEY UPDATE...

  3)添加唯一索引,插入时使用INSERT INGNORE INTO...

  4)添加唯一索引,插入时使用REPLACE INTO...

  使用curl_multi实现I/O复用抓取页面

  刚开始单进程而且单个curl去抓取数据,速度很慢,挂机爬了一个晚上只能抓到2W的数据,于是便想到能不能在进入新的用户页面发curl请求的时候一次性请求多个用户,后来发现了curl_multi这个好东西。curl_multi这类函数可以实现同时请求多个url,而不是一个个请求,这是一种I/O复用的机制。下面是使用curl_multi爬虫的示例:

 $mh = curl_multi_init(); //返回一个新cURL批处理句柄 for ($i = 0; $i < $max_size; $i++)
{
$ch = curl_init(); //初始化单个cURL会话 curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');
curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$requestMap[$i] = $ch;
curl_multi_add_handle($mh, $ch);
//向curl批处理会话中添加单独的curl句柄 }
$user_arr = array();
do {
//运行当前 cURL 句柄的子连接 while (($cme = curl_multi_exec($mh, $active)) == CURLM_CALL_MULTI_PERFORM);
if ($cme != CURLM_OK) {break;}
//获取当前解析的cURL的相关传输信息 while ($done = curl_multi_info_read($mh))
{
$info = curl_getinfo($done['handle']);
$tmp_result = curl_multi_getcontent($done['handle']);
$error = curl_error($done['handle']);
$user_arr[] = array_values(getUserInfo($tmp_result));
//保证同时有$max_size个请求在处理 if ($i < sizeof($user_list) && isset($user_list[$i]) && $i < count($user_list))
{
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, 'http://www.zhihu.com/people/' . $user_list[$i] . '/about');
curl_setopt($ch, CURLOPT_COOKIE, self::$user_cookie);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64)
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.130 Safari/537.36');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
$requestMap[$i] = $ch;
curl_multi_add_handle($mh, $ch);
$i++;
}
curl_multi_remove_handle($mh, $done['handle']);
}
if ($active)
curl_multi_select($mh, 10);
} while ($active);
curl_multi_close($mh);
return $user_arr;

  HTTP 429 Too Many Requests

  使用curl_multi函数可以同时发多个请求,但是在执行过程中使同时发200个请求的时候,发现很多请求无法返回了,即发现了丢包的情况。进一步分析,使用curl_getinfo函数打印每个请求句柄信息,该函数返回一个包含HTTP response信息的关联数组,其中有一个字段是http_code,表示请求返回的HTTP状态码。看到有很多个请求的http_code都是429,这个返回码的意思是发送太多请求了。我猜是知乎做了防爬虫的防护,于是我就拿其他的网站来做测试,发现一次性发200个请求时没问题的,证明了我的猜测,知乎在这方面做了防护,即一次性的请求数量是有限制的。于是我不断地减少请求数量,发现在5的时候就没有丢包情况了。说明在这个程序里一次性最多只能发5个请求,虽然不多,但这也是一次小提升了。

  使用Redis保存已经访问过的用户

  抓取用户的过程中,发现有些用户是已经访问过的,而且他的关注者和关注了的用户都已经获取过了,虽然在数据库的层面做了重复数据的处理,但是程序还是会使用curl发请求,这样重复的发送请求就有很多重复的网络开销。还有一个就是待抓取的用户需要暂时保存在一个地方以便下一次执行,刚开始是放到数组里面,后来发现要在程序里添加多进程,在多进程编程里,子进程会共享程序代码、函数库,但是进程使用的变量与其他进程所使用的截然不同。不同进程之间的变量是分离的,不能被其他进程读取,所以是不能使用数组的。因此就想到了使用Redis缓存来保存已经处理好的用户以及待抓取的用户。这样每次执行完的时候都把用户push到一个already_request_queue队列中,把待抓取的用户(即每个用户的关注者和关注了的用户列表)push到request_queue里面,然后每次执行前都从request_queue里pop一个用户,然后判断是否在already_request_queue里面,如果在,则进行下一个,否则就继续执行。

  在PHP中使用redis示例:

 $redis = new Redis();
$redis->connect('127.0.0.1', '6379');
$redis->set('tmp', 'value');
if ($redis->exists('tmp'))
{
echo $redis->get('tmp') . "n";
}

  使用PHP的pcntl扩展实现多进程

  改用了curl_multi函数实现多线程抓取用户信息之后,程序运行了一个晚上,最终得到的数据有10W。还不能达到自己的理想目标,于是便继续优化,后来发现php里面有一个pcntl扩展可以实现多进程编程。下面是多编程编程的示例:

 //PHP多进程demo //fork10个进程 for ($i = 0; $i < 10; $i++) {
$pid = pcntl_fork();
if ($pid == -1) {
echo "Could not fork!n";
exit(1);
}
if (!$pid) {
echo "child process $i runningn";
//子进程执行完毕之后就退出,以免继续fork出新的子进程 exit($i);
}
}
//等待子进程执行完毕,避免出现僵尸进程 while (pcntl_waitpid(0, $status) != -1) {
$status = pcntl_wexitstatus($status);
echo "Child $status completedn";
}

  在linux下查看系统的cpu信息

  实现了多进程编程之后,就想着多开几条进程不断地抓取用户的数据,后来开了8调进程跑了一个晚上后发现只能拿到20W的数据,没有多大的提升。于是查阅资料发现,根据系统优化的CPU性能调优,程序的最大进程数不能随便给的,要根据CPU的核数和来给,最大进程数最好是cpu核数的2倍。因此需要查看cpu的信息来看看cpu的核数。在linux下查看cpu的信息的命令:

  

 

  其中,model name表示cpu类型信息,cpu cores表示cpu核数。这里的核数是1,因为是在虚拟机下运行,分配到的cpu核数比较少,因此只能开2条进程。最终的结果是,用了一个周末就抓取了110万的用户数据。

  多进程编程中Redis和MySQL连接问题

  在多进程条件下,程序运行了一段时间后,发现数据不能插入到数据库,会报mysql too many connections的错误,redis也是如此。

  下面这段代码会执行失败:

 <?php
 for ($i = 0; $i < 10; $i++) {
$pid = pcntl_fork();
if ($pid == -1) {
echo "Could not fork!n";
exit(1);
}
if (!$pid) {
$redis = PRedis::getInstance();
// do something exit;
}
}

  根本原因是在各个子进程创建时,就已经继承了父进程一份完全一样的拷贝。对象可以拷贝,但是已创建的连接不能被拷贝成多个,由此产生的结果,就是各个进程都使用同一个redis连接,各干各的事,最终产生莫名其妙的冲突。

  解决方法:

  程序不能完全保证在fork进程之前,父进程不会创建redis连接实例。因此,要解决这个问题只能靠子进程本身了。试想一下,如果在子进程中获取的实例只与当前进程相关,那么这个问题就不存在了。于是解决方案就是稍微改造一下redis类实例化的静态方式,与当前进程ID绑定起来。

  改造后的代码如下:

 public static function getInstance() {
static $instances = array();
$key = getmypid();//获取当前进程ID if ($empty($instances[$key])) {
$inctances[$key] = new self();
}
return $instances[$key];
}

  PHP统计脚本执行时间

  因为想知道每个进程花费的时间是多少,因此写个函数统计脚本执行时间:

function microtime_float()
{
list($u_sec, $sec) = explode(' ', microtime());
return (floatval($u_sec) + floatval($sec));
}
$start_time
= microtime_float();

//
do something
usleep(100);

$end_time
= microtime_float();
$total_time
= $end_time - $start_time;

$time_cost
= sprintf("%.10f", $total_time);

echo "program cost total " . $time_cost . "sn";

若文中有不正确的地方,望各位指出以便改正。

NO.5 8684公交网称爱帮网盗取公交数据

2012年4月19日下午5时,用搜狗引擎搜索的结果。在爱帮公交网页所提供的数据中,明显带有未及过滤的8684.cn标示字样。(图片由8684公司提供)

新浪科技讯 4月23日下午消息,8684公交网向新浪科技发来声明,称爱帮网在未经授权的情况下,使用匿名爬虫等手段,获取8684.cn上的公交数据,将数据用于其“爱帮网”及其衍生的移动互联网应用“爱帮公交”。

以下为8684声明全文:

8684.cn是一个公益性的公交查询网站,其上的公交数据由8684团队依循众包思想,独家整理、编辑而成。现在,8684.cn已经成长为可提供全国30多个行政区400多个城市公交信息的大型公交查询网站。因其数据的准确、丰富,8684.cn得到了广大网友的认同。自2005年成立以来,8684.cn已经为广大网友提供了大量可靠、实用的公交信息,深受网友欢迎。

8684.cn凭借数据上的优势,取得了行业内的领先地位。然而,一些网站如爱帮网为了与8684.cn竞争,在未得到8684.cn授权的情况下,长期大量抓取8684.cn上的公交数据以为己用。这样的行为,是对为8684.cn团队劳动的极大的不尊重。采取这种手段,爱帮网等网站实质上是以损害他人权益为代价,来为自己争夺市场利益。

在此,8684.cn呼吁这些以爱帮网为首的网站立即停止对8684.cn数据的盗用。此类不劳而获的“搭便车”行为已对行业生态造成了恶劣影响,并最终会影响到广大需要互联网信息服务的网民的利益。8684.cn希望以爱帮网为首的盗用网站能够对自己行为的后果作出清醒的判断,并认真思考如何建立真正属于自己的数据采集机制,共同促进中国互联网事业的真正繁荣。

上一篇:购置税减半到什么时候结束|减半到全免不等 各品牌购置税补贴汇总 上一篇:如何实现商务谈判双赢|谈公司转型:一家实体家具店如何利用电子商务掘金
与该文相关的文章

温馨提示:如果您对51阅读吧有任何建议,请通过网站联系邮箱向我们反馈,感谢各位的建议与支持!