如何利用selenium库爬取京东python书籍一百页存入csv
利用selenium库爬取京东Python书籍并存入CSV有以下几个步骤。
1. 准备工作
首先,我们需要安装selenium库。可以通过以下命令使用pip安装:
pip install selenium
另外,还需要下载适合浏览器的WebDriver。如果使用的是Chrome浏览器,可以从ChromeDriver官方网站下载相应版本。下载完后,将WebDriver放在系统的PATH路径中。
2. 编写代码
接下来,我们需要编写Python代码来实现爬取京东Python书籍的功能。
from selenium import webdriver
import csv
# 创建WebDriver对象,启动Chrome浏览器
driver = webdriver.Chrome()
# 创建CSV文件,添加标题行
csv_file = open('python_books.csv', 'w', encoding='utf-8', newline='')
csv_writer = csv.writer(csv_file)
csv_writer.writerow(['书名', '作者', '价格'])
# 爬取100页的书籍信息
for page in range(1, 101):
# 访问京东Python图书页面
driver.get('https://search.jd.com/Search?keyword=python%20%E5%9B%BE%E4%B9%A6&page={0}'.format(page))
# 定位并获取书籍信息
books = driver.find_elements_by_class_name('gl-item')
for book in books:
title = book.find_element_by_css_selector('.p-name').text
author = book.find_element_by_css_selector('.p-author').text
price = book.find_element_by_css_selector('.p-price').text
# 将书籍信息写入CSV文件
csv_writer.writerow([title, author, price])
# 关闭CSV文件和浏览器
csv_file.close()
driver.quit()
以上代码主要实现了以下几个步骤:
1) 创建WebDriver对象,启动Chrome浏览器。
2) 创建CSV文件并添加标题行。
3) 使用循环爬取100页的书籍信息。在每一页中,通过定位元素获取图书的标题、作者和价格。
4) 将书籍信息写入CSV文件。
5) 关闭CSV文件和浏览器。
3. 运行代码
将以上代码保存为一个Python脚本文件,如"jd_python_books.py"。然后通过以下命令运行该脚本:
python jd_python_books.py
运行完毕后,就会在当前目录下生成一个名为"python_books.csv"的CSV文件,其中包含了京东Python图书的书名、作者和价格。
以上就是利用selenium库爬取京东Python书籍并存入CSV的方法。
上一篇
np.clip()的使用方法 猜您想看
-
php socket编程中客户端异常关闭导致服务端中断的问题怎么解决
1.简介Soc...
2023年05月26日 -
宝塔使用技巧:如何升级 OpenSSL
如何使用宝塔面...
2023年05月07日 -
如何进行PHP的简单介绍
PHP简介PH...
2023年05月25日 -
Nginx是如何处理事件的
Nginx事件...
2023年05月26日 -
Dreamweaver如何解决打开和关闭的错误问题
Dreamwe...
2023年07月20日 -
高效Bash的使用技巧有什么呢
了解常用的Ba...
2023年07月20日