Python爬虫解析库之Xpath高级用法

python

xpath速度比较快,是爬虫在网页定位中的较优选择,但是很多网页前端代码混乱难以定位,而学习定位也较为不易,这里列出一点编程过程中可能有用的东西。

试验环境:Python环境,lxml.etree

试验所使用的html代码

<!DOCTYPE html>

<html>

<head>

    <title>xpath test</title>

</head>

<body>

<div price="99.8">

    <div>

        <ul>

            <li>时间</li>

            <li>地点</li>

            <li>任务</li>

        </ul>

    </div>

    <div id='testid' data-h="first">

        <h2>这里是个小标题</h2>

        <ol>

            <li data="one">1</li>

            <li data="two">2</li>

            <li data="three">3</li>

        </ol>

        <ul>

            <li code="84">84</li>

            <li code="104">104</li>

            <li code="223">223</li>

        </ul>

    </div>

    <div>

        <h3>这里是H3的内容

            <a href="http://www.baidu.com">百度一下</a>

            <ul>

                <li>test1</li>

                <li>test2</li>

            </ul>

        </h3>

    </div>

    <div id="go">

        <ul>

            <li>1</li>

            <li>2</li>

            <li>3</li>

            <li>4</li>

            <li>5</li>

            <li>6</li>

            <li>7</li>

            <li>8</li>

            <li>9</li>

            <li>10</li>

        </ul>

    </div>

</div>

</body>

</html>

1、匹配某节点下的所有.//

//获取文档中所有匹配的节点,.获取当前节点,有的时候我们需要获取当前节点下的所有节点,.//一定要结合.使用//,否则都会获取整个文档的匹配结果.

2、匹配包含某属性的所有的属性值//@lang

print tree.xpath('//@code') #匹配所有带有code属性的属性值

>>['84', '104', '223']

3、选取若干路径|

这个符号用于在一个xpath中写多个表达式用,用|分开,每个表达式互不干扰

print tree.xpath('//div[@id="testid"]/h2/text() | //li[@data]/text()') #多个匹配条件

>>[u'u8fd9u91ccu662fu4e2au5c0fu6807u9898', '1', '2', '3']

4、 Axes(轴)

child:选取当前节点的所有子元素

>>print tree.xpath('//div[@id="testid"]/child::ul/li/text()') #child子节点定位

>>['84', '104', '223']

>>print tree.xpath('//div[@id="testid"]/child::*') #child::*当前节点的所有子元素

>>[<Element h2 at 0x21bd148>, <Element ol at 0x21bd108>, <Element ul at 0x21bd0c8>]

>>#定位某节点下为ol的子节点下的所有节点

>>print tree.xpath('//div[@id="testid"]/child::ol/child::*/text()') 

>>['1', '2', '3']

attribute:选取当前节点的所有属性

>>print tree.xpath('//div/attribute::id') #attribute定位id属性值

>>['testid', 'go']

>>print tree.xpath('//div[@id="testid"]/attribute::*') #定位当前节点的所有属性

>>['testid', 'first']

ancestor:父辈元素 / ancestor-or-self:父辈元素及当前元素

>>print tree.xpath('//div[@id="testid"]/ancestor::div/@price') #定位父辈div元素的price属性

>>['99.8']

>>print tree.xpath('//div[@id="testid"]/ancestor::div') #所有父辈div元素

>>print tree.xpath('//div[@id="testid"]/ancestor-or-self::div') #所有父辈及当前节点div元素

>>[<Element div at 0x23fc108>]

>>[<Element div at 0x23fc108>, <Element div at 0x23fc0c8>]

following :选取文档中当前节点的结束标签之后的所有节点

#定位testid之后不包含id属性的div标签下所有的li中第一个li的text属性

>>print tree.xpath('//div[@id="testid"]/following::div[not(@id)]/.//li[1]/text()') 

>>['test1']

以上是 Python爬虫解析库之Xpath高级用法 的全部内容, 来源链接: utcz.com/z/523761.html

回到顶部