如何利用selenium库爬取京东python书籍一百页存入csv
利用selenium库爬取京东Python书籍并存入CSV有以下几个步骤。
1. 准备工作
首先,我们需要安装selenium库。可以通过以下命令使用pip安装:
pip install selenium
另外,还需要下载适合浏览器的WebDriver。如果使用的是Chrome浏览器,可以从ChromeDriver官方网站下载相应版本。下载完后,将WebDriver放在系统的PATH路径中。
2. 编写代码
接下来,我们需要编写Python代码来实现爬取京东Python书籍的功能。
from selenium import webdriver
import csv
# 创建WebDriver对象,启动Chrome浏览器
driver = webdriver.Chrome()
# 创建CSV文件,添加标题行
csv_file = open('python_books.csv', 'w', encoding='utf-8', newline='')
csv_writer = csv.writer(csv_file)
csv_writer.writerow(['书名', '作者', '价格'])
# 爬取100页的书籍信息
for page in range(1, 101):
# 访问京东Python图书页面
driver.get('https://search.jd.com/Search?keyword=python%20%E5%9B%BE%E4%B9%A6&page={0}'.format(page))
# 定位并获取书籍信息
books = driver.find_elements_by_class_name('gl-item')
for book in books:
title = book.find_element_by_css_selector('.p-name').text
author = book.find_element_by_css_selector('.p-author').text
price = book.find_element_by_css_selector('.p-price').text
# 将书籍信息写入CSV文件
csv_writer.writerow([title, author, price])
# 关闭CSV文件和浏览器
csv_file.close()
driver.quit()
以上代码主要实现了以下几个步骤:
1) 创建WebDriver对象,启动Chrome浏览器。
2) 创建CSV文件并添加标题行。
3) 使用循环爬取100页的书籍信息。在每一页中,通过定位元素获取图书的标题、作者和价格。
4) 将书籍信息写入CSV文件。
5) 关闭CSV文件和浏览器。
3. 运行代码
将以上代码保存为一个Python脚本文件,如"jd_python_books.py"。然后通过以下命令运行该脚本:
python jd_python_books.py
运行完毕后,就会在当前目录下生成一个名为"python_books.csv"的CSV文件,其中包含了京东Python图书的书名、作者和价格。
以上就是利用selenium库爬取京东Python书籍并存入CSV的方法。
上一篇
np.clip()的使用方法 猜您想看
-
如何在 CentOS 7 上使用 LVM 管理磁盘分区?
利用LV...
2023年04月24日 -
充分利用游戏时间
如何充分利用游...
2023年05月15日 -
如何快速设置苹果手机的网络参数?
如何快速设置苹...
2023年04月27日 -
Flask中的博客发帖功能实现是怎样的
Flask是一...
2023年07月20日 -
Python外星人入侵游戏重构键盘鼠标响应的方法是什么
一、键盘响应1...
2023年05月26日 -
MySQL中的过时表述分析
MySQL中的...
2023年05月22日