Python 爬虫入门实例都有哪些

一、Python爬虫入门实例

Python爬虫入门实例主要包括：网络爬虫的实现、网页数据提取、网页数据清洗、网页数据存储、网页数据可视化等。

1、网络爬虫的实现

网络爬虫的实现一般会使用Python的requests库，可以让我们发送HTTP请求，获取网页的HTML源码，从而获取需要的数据。例如：

import requests

url = 'https://www.baidu.com'

res = requests.get(url)

html = res.text

2、网页数据提取

网页数据提取一般会使用Python的BeautifulSoup库，它可以解析HTML源码，提取出我们想要的数据，例如：

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, 'lxml')

title = soup.title.string

3、网页数据清洗

网页数据清洗一般需要我们手动对提取的数据进行处理，以符合我们的需求，例如：

import re

title = re.sub('\s', '', title)

4、网页数据存储

网页数据存储一般会使用Python的pymongo库，它可以将我们提取的数据存储到MongoDB数据库中，例如：

import pymongo

client = pymongo.MongoClient('localhost', 27017)

db = client['test']

collection = db['test']

collection.insert({'title': title})

5、网页数据可视化

网页数据可视化一般会使用Python的matplotlib库，它可以将我们提取的数据可视化出来，以便于我们更好的理解数据，例如：

import matplotlib.pyplot as plt

plt.plot([1, 2, 3, 4], [1, 4, 9, 16])

plt.show()