如何使用 Python 爬取堆糖网每日精选图片

1. 概述
爬取网页是指通过 Python 代码获取网页上的数据，可以使用 Python 的第三方库如 Requests、Beautiful Soup 等来实现。堆糖网是一个图片社区网站，每日会精选一些高质量的图片供用户欣赏。本文将介绍如何使用 Python 爬取堆糖网每日精选图片。

2. 分析网页结构
在爬取网页之前，我们需要了解目标网页的结构。打开堆糖网的每日精选页面，可以发现每张图片都包含在一个 class 属性为 "main_img img-hover-bg" 的 div 元素内。而且每张图片都有一个 src 属性用于存储图片的 URL。因此，我们可以通过定位这个 div 元素来获取每张图片的 URL。

3. 爬取图片 URL
为了实现爬取图片 URL 的功能，我们可以使用 Python 的 Requests 库来发送 HTTP 请求并获取网页内容，然后使用 BeautifulSoup 库来解析网页内容并提取图片 URL。

下面是使用 Python 代码实现爬取图片 URL 的示例：

`python
import requests
from bs4 import BeautifulSoup

url = 'https://www.duitang.com/category/?cat=beauty'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.150 Safari/537.36'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
image_divs = soup.find_all('div', class_='main_img img-hover-bg')

image_urls = []
for div in image_divs:
image_url = div.img['src']
image_urls.append(image_url)

print(image_urls)
`

首先，我们定义了要爬取的目标网页的 URL，并设置了一个 User-Agent 头，伪装成浏览器发送请求。然后，使用 requests 库的 get 方法发送 GET 请求，并把返回的网页内容存储到 response 变量中。接下来，使用 BeautifulSoup 的构造函数解析网页内容，并指定解析器为 html.parser。然后，使用 find_all 方法找到所有 class 属性为 "main_img img-hover-bg" 的 div 元素，并把它们存储到 image_divs 变量中。最后，遍历 image_divs 变量，提取每个 div 元素中 img 标签的 src 属性，并把它们存储到 image_urls 列表中。

4. 下载图片
在获取到图片 URL 后，我们可以使用 Python 的 requests 库下载这些图片。通过调用 requests 库的 get 方法并传入图片 URL，即可获取图片的二进制数据。然后，将这些二进制数据写入本地文件中，即可保存图片。

下面是使用 Python 代码实现下载图片的示例：

`python
import requests

image_urls = ['https://example.com/image1.jpg', 'https://example.com/image2.jpg']

for i, url in enumerate(image_urls):
response = requests.get(url)
with open(f'image_{i}.jpg', 'wb') as f:
f.write(response.content)
`

首先，我们定义了一个包含图片 URL 的列表 image_urls。然后，使用 enumerate 函数遍历 image_urls 列表，并同时获取当前迭代的索引和对应的 URL。接下来，使用 requests 库的 get 方法发送 GET 请求，并把获取到的图片二进制数据存储到 response 变量中。最后，使用 with 语句打开本地文件并写入图片数据，文件名以索引命名，格式为 'image_ 索引 .jpg'。