1. 导入所需的库

首先,我们需要导入 selenium 库,以及 csv 库,以及相关的浏览器驱动,下面的代码展示了如何导入需要的库:

123from selenium import webdriverimport csvfrom selenium.webdriver.chrome.options import Options
Python

2. 创建浏览器驱动

接下来,我们需要创建一个浏览器驱动,比如 Chrome 浏览器,以便爬取京东 python 书籍的信息,下面的代码展示了如何创建 Chrome 浏览器驱动:

1234567chrome_options = Options()chrome_options.add_argument('--headless')chrome_options.add_argument('--disable-gpu')driver = webdriver.Chrome(options=chrome_options)driver.get("https://search.jd.com/Search?keyword=python")
Python

3. 爬取信息并存入 csv

最后,我们可以使用 selenium 库来爬取京东 python 书籍的信息,并存入 csv 文件中,下面的代码展示了如何爬取一百页的 python 书籍信息:

12345678910111213141516csv_file = open('jd_python_books.csv', 'w', newline='', encoding='utf-8')writer = csv.writer(csv_file)writer.writerow(['title', 'price', 'comment'])for i in range(100):try:books = driver.find_elements_by_xpath('//div[@class="gl-i-wrap"]')for book in books:title = book.find_element_by_xpath('.//div[@class="p-name"]/a/em').textprice = book.find_element_by_xpath('.//div[@class="p-price"]/strong/i').textcomment = book.find_element_by_xpath('.//div[@class="p-commit"]/strong/a').textwriter.writerow([title, price, comment])next_page = driver.find_element_by_xpath('//a[@class="pn-next"]')next_page.click()except:breakcsv_file.close()
Python