如何利用selenium库爬取京东python书籍一百页存入csv
利用selenium库爬取京东Python书籍并存入CSV有以下几个步骤。
1. 准备工作
首先,我们需要安装selenium库。可以通过以下命令使用pip安装:
pip install selenium
另外,还需要下载适合浏览器的WebDriver。如果使用的是Chrome浏览器,可以从ChromeDriver官方网站下载相应版本。下载完后,将WebDriver放在系统的PATH路径中。
2. 编写代码
接下来,我们需要编写Python代码来实现爬取京东Python书籍的功能。
from selenium import webdriver
import csv
# 创建WebDriver对象,启动Chrome浏览器
driver = webdriver.Chrome()
# 创建CSV文件,添加标题行
csv_file = open('python_books.csv', 'w', encoding='utf-8', newline='')
csv_writer = csv.writer(csv_file)
csv_writer.writerow(['书名', '作者', '价格'])
# 爬取100页的书籍信息
for page in range(1, 101):
# 访问京东Python图书页面
driver.get('https://search.jd.com/Search?keyword=python%20%E5%9B%BE%E4%B9%A6&page={0}'.format(page))
# 定位并获取书籍信息
books = driver.find_elements_by_class_name('gl-item')
for book in books:
title = book.find_element_by_css_selector('.p-name').text
author = book.find_element_by_css_selector('.p-author').text
price = book.find_element_by_css_selector('.p-price').text
# 将书籍信息写入CSV文件
csv_writer.writerow([title, author, price])
# 关闭CSV文件和浏览器
csv_file.close()
driver.quit()
以上代码主要实现了以下几个步骤:
1) 创建WebDriver对象,启动Chrome浏览器。
2) 创建CSV文件并添加标题行。
3) 使用循环爬取100页的书籍信息。在每一页中,通过定位元素获取图书的标题、作者和价格。
4) 将书籍信息写入CSV文件。
5) 关闭CSV文件和浏览器。
3. 运行代码
将以上代码保存为一个Python脚本文件,如"jd_python_books.py"。然后通过以下命令运行该脚本:
python jd_python_books.py
运行完毕后,就会在当前目录下生成一个名为"python_books.csv"的CSV文件,其中包含了京东Python图书的书名、作者和价格。
以上就是利用selenium库爬取京东Python书籍并存入CSV的方法。
上一篇
np.clip()的使用方法 猜您想看
-
C++ OpenCV如何实现图像均值偏移滤波
1、什么是图像...
2023年05月26日 -
csgo中最佳的偷袭和暗杀技巧
一、偷袭CSG...
2023年05月15日 -
Python Plotly怎么使用
1.Plotl...
2023年05月22日 -
freemarker中怎么导出word
1、什么是Fr...
2023年05月25日 -
python中pandas.read_csv的skiprows参数有什么用
1、skipr...
2023年05月25日 -
Linux安装heartbeat 3.0集群源码怎么写
一、下载Hea...
2023年05月25日