一、Python 爬虫入门实例

Python 爬虫入门实例主要包括：网络爬虫的实现、网页数据提取、网页数据清洗、网页数据存储、网页数据可视化等。

1、网络爬虫的实现

网络爬虫的实现一般会使用 Python 的 requests 库，可以让我们发送 HTTP 请求，获取网页的 HTML 源码，从而获取需要的数据。例如：

import requests
url = 'https://www.baidu.com'
res = requests.get(url)
html = res.text
Python

2、网页数据提取

网页数据提取一般会使用 Python 的 BeautifulSoup 库，它可以解析 HTML 源码，提取出我们想要的数据，例如：

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
title = soup.title.string
Python

3、网页数据清洗

网页数据清洗一般需要我们手动对提取的数据进行处理，以符合我们的需求，例如：

import re
title = re.sub('\s', '', title)
Python

4、网页数据存储

网页数据存储一般会使用 Python 的 pymongo 库，它可以将我们提取的数据存储到 MongoDB 数据库中，例如：

import pymongo
client = pymongo.MongoClient('localhost', 27017)
db = client['test']
collection = db['test']
collection.insert({'title': title})
Python

5、网页数据可视化

网页数据可视化一般会使用 Python 的 matplotlib 库，它可以将我们提取的数据可视化出来，以便于我们更好的理解数据，例如：

import matplotlib.pyplot as plt
plt.plot([1, 2, 3, 4], [1, 4, 9, 16])
plt.show()
Python