如何利用selenium库爬取京东python书籍一百页存入csv
1. 导入所需的库
首先,我们需要导入selenium库,以及csv库,以及相关的浏览器驱动,下面的代码展示了如何导入需要的库:
import csv
from selenium.webdriver.chrome.options import Options
from selenium import webdriver
2. 创建浏览器驱动
接下来,我们需要创建一个浏览器驱动,比如Chrome浏览器,以便爬取京东python书籍的信息,下面的代码展示了如何创建Chrome浏览器驱动:
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver = webdriver.Chrome(options=chrome_options)
driver.get("https://search.jd.com/Search?keyword=python")
chrome_options = Options()
3. 爬取信息并存入csv
最后,我们可以使用selenium库来爬取京东python书籍的信息,并存入csv文件中,下面的代码展示了如何爬取一百页的python书籍信息:
writer = csv.writer(csv_file)
writer.writerow(['title', 'price', 'comment'])
for i in range(100):
try:
books = driver.find_elements_by_xpath('//div[@class="gl-i-wrap"]')
for book in books:
title = book.find_element_by_xpath('.//div[@class="p-name"]/a/em').text
price = book.find_element_by_xpath('.//div[@class="p-price"]/strong/i').text
comment = book.find_element_by_xpath('.//div[@class="p-commit"]/strong/a').text
writer.writerow([title, price, comment])
next_page = driver.find_element_by_xpath('//a[@class="pn-next"]')
next_page.click()
except:
break
csv_file.close()
csv_file = open('jd_python_books.csv', 'w', newline='', encoding='utf-8')
猜您想看
-
怎么在QQ上设置群铃声?
一、QQ群铃声...
2023年05月15日 -
手机声音过小怎么调节?
手机声音过小?...
2023年05月03日 -
CentOS8如何搭建内网穿透frp和设置开机自动启动方法
一、安装frp...
2023年05月26日 -
Docker容器与容器云的优点有哪些
1、高效率Do...
2023年05月22日 -
Steam平台下载游戏时出现错误代码,应该如何处理?
Steam平台...
2023年04月17日 -
如何使用php+正则将字符串中的字母数字和中文分割
一、需求分析在...
2023年07月20日