1. 什么是 Xpath

XPath(XML 路径语言)是一种用来确定 XML 文档中某部分位置的语言。它是一种在 XML 文档中查找信息的语法,可用来在 XML 文档中通过元素和属性进行导航。XPath 可用来在 XML 文档中查找元素、属性和文本,也可以用来查找满足特定条件的元素。

2. 使用 Xpath 抓取京东网商品信息

使用 Xpath 抓取京东网商品信息首先要安装一个 Xpath 解析器,比如 lxml,然后根据需要定义 Xpath 规则,从网页中提取需要的数据,例如:

import requestsfrom lxml import etreeurl = 'https://www.jd.com/'response = requests.get(url)html = etree.HTML(response.text)result = html.xpath('//div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()')print(result)
Python

上面的代码用来抓取京东首页商品的名称,其中 xpath('//div[@class="gl-i-wrap"]/div[@class="p-name p-name-type-2"]/a/em/text()') 就是定义的 Xpath 规则,它将提取页面中 class 为 gl-i-wrap 的 div 标签下 class 为 p-name p-name-type-2 的 div 标签下的 a 标签下的 em 标签的文本内容。

3. Xpath 的优势

Xpath 抓取网页信息的优势在于它可以跨平台、跨浏览器,可以实现对网页的高效抓取,而且它的语法简单易懂,容易上手,相比正则表达式更加容易理解和使用,可以快速提取网页中的信息,是一种非常有效的网页数据抓取方式。