Python 的 urllib 库是用于处理 URL 的标准库集合，主要用于打开、解析和操作 URL。自 Python 3 起，urllib 被拆分为多个子模块，每个模块各司其职。下面详细介绍 urllib 的每一个模块及其主要功能：

1.urllib.request

作用：用于打开和读取 URL 资源（支持 HTTP、FTP 等协议），如发起 GET/POST 请求、设置请求头、处理重定向、代理等。

常用类与函数：

• urlopen(url, data=None, timeout=...)：打开并读取 URL 资源，返回响应对象。
• Request(url, data=None, headers={}, method=None)：构造请求对象，可自定义请求头、请求方式等。
• build_opener()：构建自定义 opener 对象，支持自定义处理器（如代理、认证等）。
• install_opener(opener)：将 opener 安装为全局 opener。
• ProxyHandler、HTTPHandler、HTTPSHandler、FTPHandler 等：各种协议及功能处理器。
• BaseHandler：自定义处理器基类。

示例：

from urllib import request
response = request.urlopen('https://www.example.com')
html = response.read()

2.urllib.parse

作用：用于 URL 的解析与构造，如拆分、拼接、编码和解码 URL、查询参数等。

常用函数：

• urlparse(url)：将 URL 拆分为 6 个部分（scheme, netloc, path, params, query, fragment）。
• urlunparse(parts)：把拆分后的部分重新拼接为 URL。
• urljoin(base, url)：将相对 URL 合并为绝对 URL。
• urlencode(query, doseq=False)：将字典或序列转换为 URL 查询字符串（常用于 GET/POST 参数编码）。
• parse_qs(qs)、parse_qsl(qs)：解析查询字符串为字典或元组列表。
• quote(string)、unquote(string)：URL 编码与解码。

示例：

from urllib import parse
params = {'name': '张三', 'age': 18}
query_str = parse.urlencode(params)
url = 'https://www.example.com/?' + query_str

3.urllib.error

作用：包含由 urllib.request 抛出的异常类型，方便异常处理与调试。

主要异常类：

• URLError：请求过程中出现的基类异常（如网络连接失败、地址错误等）。
• HTTPError：HTTP 请求返回错误码时抛出的异常（继承自 URLError），包含 HTTP 状态码、原因等。

示例：

from urllib import request, error
try:
    response = request.urlopen('https://www.example.com/nonexistent')
except error.HTTPError as e:
    print(e.code, e.reason)
except error.URLError as e:
    print(e.reason)

4.urllib.robotparser

作用：用于解析 robots.txt 文件，判断某个爬虫（user-agent）是否可以抓取指定 URL，常用于爬虫开发。

主要类与方法：

• RobotFileParser()：robots.txt 解析器类。.set_url(url)：设置 robots.txt 的地址。.read()：读取并解析 robots.txt 文件。.can_fetch(useragent, url)：判断指定 user-agent 是否可以抓取某个 URL。

示例：

from urllib import robotparser
rp = robotparser.RobotFileParser()
rp.set_url('https://www.example.com/robots.txt')
rp.read()
can_crawl = rp.can_fetch('MyBot', 'https://www.example.com/page')

总结

• urllib.request：处理 URL 请求和响应。
• urllib.parse：解析和拼接 URL、处理参数。
• urllib.error：处理请求中的异常。
• urllib.robotparser：robots.txt 解析与抓取权限判断。