Python 爬虫篇#笔记02#

目录

• 一、 网页请求原理
• • 1.1 浏览网页的过程
  • 1.2 统一资源定位符URL
  • 1.3 计算机域名系统DNS
  • 1.4 分析浏览器显示完整网页的过程
  • 1.5 客户端THHP请求格式
  • 1.6 服务端HTTP响应格式
  • 1.7 Fiddler工作原理
  • 1.8 Fiddler下载安装
  • 1.9 Fiddler界面详解
  • 1.10 Fiddler抓取HTTPS设置
  • 1.11 使用Fiddler捕获Chrome的会话
• 二、 抓取网页数据
• • 2.1 什么是urllib库
  • 2.2 快速爬取一个网页
  • 2.3 分析urlopen方法
  • 2.4 使用HTTPResponse对象
  • 2.5 构造Request对象
  • 2.6 URL编码转换
  • 2.7 处理GET请求
  • 2.8 处理POST请求
  • 2.9 添加特定Headers
  • 2.10 简单的自定义opener
  • 2.11 设置代理服务器
  • 2.12 超时设置
  • 2.13 URLError异常和捕获
  • 2.14 HttpError异常和捕获
  • 2.15 什么是requests库
  • 2.16 使用requests发送请求
  • 2.17 返回Response响应对象

一、 网页请求原理

1.1 浏览网页的过程

网络爬虫抓取数据的过程可以理解为模拟浏览器浏览页面的过程，我们有必要了解浏览器浏览页面的基本过程。

例如，在浏览器地址栏输入网址，按下回车键后会在浏览器中显示百度的首页。

那么，这段网络访问过程中到底发生了什么？

简单来说，浏览网页的过程可分为以下四个步骤：

• 1.浏览器 通过 DNS服务器 查找 域名（www.baidu.com）对应的IP地址；
• 2.向 IP地址 对应的web服务器发送请求；
• 3.web服务器 响应请求，回发HTML页面；
• 4.浏览器解析HTML内容，并显示出来。

1.2 统一资源定位符URL

URL是互联网上标准资源的地址 （网址），它包含了文件的位置以及浏览器处理方式等信息。

URL地址由 协议头 、服务器地址、文件路径 三部分组成。

• 协议头（Protocol Head）

协议头指定使用的传输协议，用于告诉浏览器如何处理将要打开的文件。

不同的协议表示不同的资源查找方式及传输方式，网络上常使用的协议如下：

(计算机网络知识)

其中最常用的是HTTP协议和HTTPS协议。

• 服务器地址（Hostname 或IP）和 端口（Port）

服务器地址指存放资源的服务器的主机名或者IP地址，其目的在于表示互联网上的唯一一台计算机，通过这个地址来找到这台计算机。

IP地址被用来给Internet上每台电脑一个编号，但是IP地址不容易记忆，而且服务器的物理IP地址有可能发生改变。为此，人们又发明了域名来替代IP地址访问服务器的网站。

例如，使用百度公司所在的IP地址http://180.97.33.107 可以打开百度的首页，但是这个地址不容易记忆，不如使用域名网站www.baidu.com 。

端口是在地址后冒号后面的数字，用于识别在一台计算机上运行的不同程序。

每个网络程序都对应一个或多个特定的端口号，例如HTTP程序的默认端口号为 80 , HTTPS程序的默认端口号是 443 (默认端口号是不用输入的,例如：www.baidu.com)

• 路径（Path）

路径是有 0 或多个" / " 符号隔开的字符串，一般用于指定本次请求的资源在服务器中的位置。

1.3 计算机域名系统DNS

DNS 是 计算机域名系统（Domain Name System或Domain Name Service）的缩写，由解析器和域名服务器组成。

计算机域名系统DNS ，它可以把域名转化为对应的IP地址，域名服务器保存该网络中所有的主机域名和对应的IP地址，并具有将域名转化为IP地址的功能。

• 一个域名必须对应一个IP
• 一个IP可以对应多个域名

即一个IP地址可能没有申请域名，也可能对应多个域名。

1.4 分析浏览器显示完整网页的过程

浏览器显示完整网页的过程：

当用户在浏览器的地址栏中输入一个URL地址并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。常用的HTTP请求包括 Get 和 Post两种方式。

例如，当我哦们在浏览器输入：http:// www.baidu.com 的时候，浏览器发送一个Request请求去获取 http:// www.baidu.co 的HTML 文件，web服务器把包含了该文件内容的Response发送回浏览器。

浏览器分析Response对象中的文件内容，反向其中引用了其他文件，包括Images文件、CSS文件、JS文件等。浏览器会自动再次发送Request去获取这些图片，CSS文件，或者JS文件。

但所有文件都下载成功后，浏览器会根据HTML语法结构，将网页完整的显示出来。

1.5 客户端THHP请求格式

客户端发送一个HTTP请求到服务器的请求消息，由请求行、请求头部、空行、以及请求数据这四个部分组成。

不同的HTTP版本下使用的请求方法也不同。

最常用的请求方法是GET 和 post ，两者的区别在于：

• GET 请求-- 参数都显示在URL上，服务器根据该请求所包含URL中的参数来产生响应内容。由于请求参数都暴露在外，所以安全性不高。
• POST请求-- 参数在请求体当中，消息长度没有限制而产权隐式发送，通常用来想HTTP服务器提交量比较大的数据。post 请求的参数不在URL中，而在请求体重，所以安全性也高，使用场合也比GET多。

结合典型的 HTTP 请求示例，介绍HTTP 请求消息中的组成内容，如下：

Headers - Request Headers - View source

1.6 服务端HTTP响应格式

HTTP 响应由四个组成部分，分别是：状态行、响应报头、空行以及响应正文。

Headers - Response Headers - View source

理论上所有的响应头信息都应该是回应请求头的。但是服务器端为了效率和安全，还有其他方面的考虑，会添加对应的响应头信息。常用的响应报头和取值如下所示。

响应状态代码由三维数字组成，其中第1位数字定义了响应的类别，有五种可能取值：

1.7 Fiddler工作原理

爬虫就是 模拟客户端发送请求给服务器获取响应，那么，开发者需要知道客户端发送了什么样的请求给服务器；服务器返回了什么信息给客户端。

Fiddler 是一款强大的Web调试工具（包含了抓包功能），它能记录所有客户端和服务器的 HTTP 请求和响应，还能模拟 HTTP请求的发送。

Fiddler 是以代理网络服务器的形式工作的，它使用代理地址为127.0.0.1 ，端口为 8888. 当 Fiddler 启动时会制动设置代理，退出的时候会自动注销代理，这样不会影响其他程序。

1.8 Fiddler下载安装

进入 Fiddler官网免费下载Fiddler工具，官网主页点击【Download Free】下载安装。

1.9 Fiddler界面详解

抓包利器，Fiddler 界面详解！

1.10 Fiddler抓取HTTPS设置

1.11 使用Fiddler捕获Chrome的会话

二、 抓取网页数据

2.1 什么是urllib库

urllib 库是Python3 内置的HTTP请求库，它可以看做是处理URL的组合集合。urllib库包含了四大模块：

• urllib.request：请求模块
• urllib.error： 异常处理模块
• urllib.parse：URL解析模块 （编码解码）
• urllib.robotparser：robots.txt 解析模块 （robot君子协议）

2.2 快速爬取一个网页

# 导入request模块
import urllib.request# 发送URL请求，获取响应
response = urllib.request.urlopen('')
# 从响应对象中读取数据
content = response.read()# 对二进制数据进行解码
# decode() 默认使用UTF-8进行解码
content = content.decode()
# 打印内容
print(content)

2.3 分析urlopen方法

2.4 使用HTTPResponse对象

2.5 构造Request对象

2.6 URL编码转换

2.7 处理GET请求

2.8 处理POST请求

2.9 添加特定Headers

2.10 简单的自定义opener

2.11 设置代理服务器

2.12 超时设置

2.13 URLError异常和捕获

2.14 HttpError异常和捕获

2.15 什么是requests库

2.16 使用requests发送请求

2.17 返回Response响应对象

Python 爬虫篇#笔记02#

目录

• 一、 网页请求原理
• • 1.1 浏览网页的过程
  • 1.2 统一资源定位符URL
  • 1.3 计算机域名系统DNS
  • 1.4 分析浏览器显示完整网页的过程
  • 1.5 客户端THHP请求格式
  • 1.6 服务端HTTP响应格式
  • 1.7 Fiddler工作原理
  • 1.8 Fiddler下载安装
  • 1.9 Fiddler界面详解
  • 1.10 Fiddler抓取HTTPS设置
  • 1.11 使用Fiddler捕获Chrome的会话
• 二、 抓取网页数据
• • 2.1 什么是urllib库
  • 2.2 快速爬取一个网页
  • 2.3 分析urlopen方法
  • 2.4 使用HTTPResponse对象
  • 2.5 构造Request对象
  • 2.6 URL编码转换
  • 2.7 处理GET请求
  • 2.8 处理POST请求
  • 2.9 添加特定Headers
  • 2.10 简单的自定义opener
  • 2.11 设置代理服务器
  • 2.12 超时设置
  • 2.13 URLError异常和捕获
  • 2.14 HttpError异常和捕获
  • 2.15 什么是requests库
  • 2.16 使用requests发送请求
  • 2.17 返回Response响应对象

一、 网页请求原理

1.1 浏览网页的过程

网络爬虫抓取数据的过程可以理解为模拟浏览器浏览页面的过程，我们有必要了解浏览器浏览页面的基本过程。

例如，在浏览器地址栏输入网址，按下回车键后会在浏览器中显示百度的首页。

那么，这段网络访问过程中到底发生了什么？

简单来说，浏览网页的过程可分为以下四个步骤：

• 1.浏览器 通过 DNS服务器 查找 域名（www.baidu.com）对应的IP地址；
• 2.向 IP地址 对应的web服务器发送请求；
• 3.web服务器 响应请求，回发HTML页面；
• 4.浏览器解析HTML内容，并显示出来。

1.2 统一资源定位符URL

URL是互联网上标准资源的地址 （网址），它包含了文件的位置以及浏览器处理方式等信息。

URL地址由 协议头 、服务器地址、文件路径 三部分组成。

• 协议头（Protocol Head）

协议头指定使用的传输协议，用于告诉浏览器如何处理将要打开的文件。

不同的协议表示不同的资源查找方式及传输方式，网络上常使用的协议如下：

(计算机网络知识)

其中最常用的是HTTP协议和HTTPS协议。

• 服务器地址（Hostname 或IP）和 端口（Port）

服务器地址指存放资源的服务器的主机名或者IP地址，其目的在于表示互联网上的唯一一台计算机，通过这个地址来找到这台计算机。

IP地址被用来给Internet上每台电脑一个编号，但是IP地址不容易记忆，而且服务器的物理IP地址有可能发生改变。为此，人们又发明了域名来替代IP地址访问服务器的网站。

例如，使用百度公司所在的IP地址http://180.97.33.107 可以打开百度的首页，但是这个地址不容易记忆，不如使用域名网站www.baidu.com 。

端口是在地址后冒号后面的数字，用于识别在一台计算机上运行的不同程序。

每个网络程序都对应一个或多个特定的端口号，例如HTTP程序的默认端口号为 80 , HTTPS程序的默认端口号是 443 (默认端口号是不用输入的,例如：www.baidu.com)

• 路径（Path）

路径是有 0 或多个" / " 符号隔开的字符串，一般用于指定本次请求的资源在服务器中的位置。

1.3 计算机域名系统DNS

DNS 是 计算机域名系统（Domain Name System或Domain Name Service）的缩写，由解析器和域名服务器组成。

计算机域名系统DNS ，它可以把域名转化为对应的IP地址，域名服务器保存该网络中所有的主机域名和对应的IP地址，并具有将域名转化为IP地址的功能。

• 一个域名必须对应一个IP
• 一个IP可以对应多个域名

即一个IP地址可能没有申请域名，也可能对应多个域名。

1.4 分析浏览器显示完整网页的过程

浏览器显示完整网页的过程：

当用户在浏览器的地址栏中输入一个URL地址并按回车键之后，浏览器会向HTTP服务器发送HTTP请求。常用的HTTP请求包括 Get 和 Post两种方式。

例如，当我哦们在浏览器输入：http:// www.baidu.com 的时候，浏览器发送一个Request请求去获取 http:// www.baidu.co 的HTML 文件，web服务器把包含了该文件内容的Response发送回浏览器。

浏览器分析Response对象中的文件内容，反向其中引用了其他文件，包括Images文件、CSS文件、JS文件等。浏览器会自动再次发送Request去获取这些图片，CSS文件，或者JS文件。

但所有文件都下载成功后，浏览器会根据HTML语法结构，将网页完整的显示出来。

1.5 客户端THHP请求格式

客户端发送一个HTTP请求到服务器的请求消息，由请求行、请求头部、空行、以及请求数据这四个部分组成。

不同的HTTP版本下使用的请求方法也不同。

最常用的请求方法是GET 和 post ，两者的区别在于：

• GET 请求-- 参数都显示在URL上，服务器根据该请求所包含URL中的参数来产生响应内容。由于请求参数都暴露在外，所以安全性不高。
• POST请求-- 参数在请求体当中，消息长度没有限制而产权隐式发送，通常用来想HTTP服务器提交量比较大的数据。post 请求的参数不在URL中，而在请求体重，所以安全性也高，使用场合也比GET多。

结合典型的 HTTP 请求示例，介绍HTTP 请求消息中的组成内容，如下：

Headers - Request Headers - View source

1.6 服务端HTTP响应格式

HTTP 响应由四个组成部分，分别是：状态行、响应报头、空行以及响应正文。

Headers - Response Headers - View source

理论上所有的响应头信息都应该是回应请求头的。但是服务器端为了效率和安全，还有其他方面的考虑，会添加对应的响应头信息。常用的响应报头和取值如下所示。

响应状态代码由三维数字组成，其中第1位数字定义了响应的类别，有五种可能取值：

1.7 Fiddler工作原理

爬虫就是 模拟客户端发送请求给服务器获取响应，那么，开发者需要知道客户端发送了什么样的请求给服务器；服务器返回了什么信息给客户端。

Fiddler 是一款强大的Web调试工具（包含了抓包功能），它能记录所有客户端和服务器的 HTTP 请求和响应，还能模拟 HTTP请求的发送。

Fiddler 是以代理网络服务器的形式工作的，它使用代理地址为127.0.0.1 ，端口为 8888. 当 Fiddler 启动时会制动设置代理，退出的时候会自动注销代理，这样不会影响其他程序。

1.8 Fiddler下载安装

进入 Fiddler官网免费下载Fiddler工具，官网主页点击【Download Free】下载安装。

1.9 Fiddler界面详解

抓包利器，Fiddler 界面详解！

1.10 Fiddler抓取HTTPS设置

1.11 使用Fiddler捕获Chrome的会话

二、 抓取网页数据

2.1 什么是urllib库

urllib 库是Python3 内置的HTTP请求库，它可以看做是处理URL的组合集合。urllib库包含了四大模块：

• urllib.request：请求模块
• urllib.error： 异常处理模块
• urllib.parse：URL解析模块 （编码解码）
• urllib.robotparser：robots.txt 解析模块 （robot君子协议）

2.2 快速爬取一个网页

# 导入request模块
import urllib.request# 发送URL请求，获取响应
response = urllib.request.urlopen('')
# 从响应对象中读取数据
content = response.read()# 对二进制数据进行解码
# decode() 默认使用UTF-8进行解码
content = content.decode()
# 打印内容
print(content)

2.3 分析urlopen方法

2.4 使用HTTPResponse对象

2.5 构造Request对象

2.6 URL编码转换

2.7 处理GET请求

2.8 处理POST请求

2.9 添加特定Headers

2.10 简单的自定义opener

2.11 设置代理服务器

2.12 超时设置

2.13 URLError异常和捕获

2.14 HttpError异常和捕获

2.15 什么是requests库

2.16 使用requests发送请求

2.17 返回Response响应对象