如何利用 urllib 包獲取網(wǎng)絡(luò)資源

作者

盱眙網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),盱眙網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為盱眙上1000+提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)網(wǎng)站制作要多少錢，請找那個售后服務(wù)好的盱眙做網(wǎng)站的公司定做！

Michael Foord

備注

There is a French translation of an earlier revision of this HOWTO, available at urllib2 - Le Manuel manquant.

概述

Related Articles

關(guān)于如何用 python 獲取 web 資源，以下文章或許也很有用：

• Basic Authentication

  基本認(rèn)證 的教程，帶有一些 Python 示例。

urllib.request 是用于獲取 URL （統(tǒng)一資源定位符）的 Python 模塊。它以 urlopen 函數(shù)的形式提供了一個非常簡單的接口，能用不同的協(xié)議獲取 URL。同時(shí)它還為處理各種常見情形提供了一個稍微復(fù)雜一些的接口——比如：基礎(chǔ)身份認(rèn)證、cookies、代理等等。這些功能是由名為 handlers 和 opener 的對象提供的。

urllib.request 支持多種 “URL 方案” （通過 URL中 ":" 之前的字符串加以區(qū)分——如 "ftp://python.org/"` 中的 ``"ftp"` ）即為采用其關(guān)聯(lián)網(wǎng)絡(luò)協(xié)議（FTP、HTTP 之類）的 URL 方案 。本教程重點(diǎn)關(guān)注最常用的 HTTP 場景。

對于簡單場景而言， urlopen 用起來十分容易。但只要在打開 HTTP URL 時(shí)遇到錯誤或非常情況，就需要對超文本傳輸協(xié)議有所了解才行。最全面、最權(quán)威的 HTTP 參考是 RFC 2616 。那是一份技術(shù)文檔，并沒有追求可讀性。本 文旨在說明 urllib 的用法，為了便于閱讀也附帶了足夠詳細(xì)的 HTTP 信息。本文并不是為了替代 urllib.request 文檔，只是其補(bǔ)充說明而已。

獲取 URL 資源

urllib.request 最簡單的使用方式如下所示：

 
 
 
 

  
  
  
  
import urllib.request
  
  
  
  
with urllib.request.urlopen('http://python.org/') as response:
  
  
  
  
 html = response.read()
 
 
 
 

如果想通過 URL 獲取資源并臨時(shí)存儲一下，可以采用 shutil.copyfileobj() 和 tempfile.NamedTemporaryFile() 函數(shù)：

 
 
 
 

  
  
  
  
import shutil
  
  
  
  
import tempfile
  
  
  
  
import urllib.request
  
  
  
  
  
  
  
  
with urllib.request.urlopen('http://python.org/') as response:
  
  
  
  
 with tempfile.NamedTemporaryFile(delete=False) as tmp_file:
  
  
  
  
 shutil.copyfileobj(response, tmp_file)
  
  
  
  
  
  
  
  
with open(tmp_file.name) as html:
  
  
  
  
 pass
 
 
 
 

urllib 的很多用法就是這么簡單（注意 URL 不僅可以 http: 開頭，還可以是 ftp: 、file: 等）。不過本教程的目的是介紹更加復(fù)雜的應(yīng)用場景，重點(diǎn)還是關(guān)注 HTTP。

HTTP 以請求和響應(yīng)為基礎(chǔ)——客戶端生成請求，服務(wù)器發(fā)送響應(yīng)。urllib.request 用 Request 對象來表示要生成的 HTTP 請求。最簡單的形式就是創(chuàng)建一個 Request 對象，指定了想要獲取的 URL。用這個 Request 對象作為參數(shù)調(diào)用``urlopen`` ，將會返回該 URL 的響應(yīng)對象。響應(yīng)對象類似于文件對象，就是說可以對其調(diào)用 .read() 之類的命令：

 
 
 
 

  
  
  
  
import urllib.request
  
  
  
  
  
  
  
  
req = urllib.request.Request('http://www.voidspace.org.uk')
  
  
  
  
with urllib.request.urlopen(req) as response:
  
  
  
  
 the_page = response.read()
 
 
 
 

請注意，urllib.request 用同一個 Request 接口處理所有 URL 方案。比如可生成 FTP 請求如下：

 
 
 
 

  
  
  
  
req = urllib.request.Request('ftp://example.com/')
 
 
 
 

就 HTTP 而言，Request 對象能夠做兩件額外的事情：首先可以把數(shù)據(jù)傳給服務(wù)器。其次，可以將 有關(guān) 數(shù)據(jù)或請求本身的額外信息（metadata）傳給服務(wù)器——這些信息將會作為 HTTP “頭部”數(shù)據(jù)發(fā)送。下面依次看下。

數(shù)據(jù)

有時(shí)需要向某個 URL 發(fā)送數(shù)據(jù)，通常此 URL 會指向某個CGI（通用網(wǎng)關(guān)接口）腳本或其他 web 應(yīng)用。對于 HTTP 而言，這通常會用所謂的 POST 請求來完成。當(dāng)要把 Web 頁填寫的 HTML 表單提交時(shí)，瀏覽器通常會執(zhí)行此操作。但并不是所有的 POST 都來自表單：可以用 POST 方式傳輸任何數(shù)據(jù)到自己的應(yīng)用上。對于通常的 HTML 表單，數(shù)據(jù)需要以標(biāo)準(zhǔn)的方式編碼，然后作為 data 參數(shù)傳給 Request 對象。編碼過程是用 urllib.parse 庫的函數(shù)完成的：

 
 
 
 

  
  
  
  
import urllib.parse
  
  
  
  
import urllib.request
  
  
  
  
  
  
  
  
url = 'http://www.someserver.com/cgi-bin/register.cgi'
  
  
  
  
values = {'name' : 'Michael Foord',
  
  
  
  
 'location' : 'Northampton',
  
  
  
  
 'language' : 'Python' }
  
  
  
  
  
  
  
  
data = urllib.parse.urlencode(values)
  
  
  
  
data = data.encode('ascii') # data should be bytes
  
  
  
  
req = urllib.request.Request(url, data)
  
  
  
  
with urllib.request.urlopen(req) as response:
  
  
  
  
 the_page = response.read()
 
 
 
 

請注意，有時(shí)還需要采用其他編碼，比如由 HTML 表單上傳文件——更多細(xì)節(jié)請參見 HTML 規(guī)范，提交表單 。

如果不傳遞 data 參數(shù)，urllib 將采用 GET 請求。GET 和 POST 請求有一點(diǎn)不同，POST 請求往往具有“副作用”，他們會以某種方式改變系統(tǒng)的狀態(tài)。例如，從網(wǎng)站下一個訂單，購買一大堆罐裝垃圾并運(yùn)送到家。 盡管 HTTP 標(biāo)準(zhǔn)明確指出 POST 總是 要導(dǎo)致副作用，而 GET 請求 從來不會 導(dǎo)致副作用。但沒有什么辦法能阻止 GET 和 POST 請求的副作用。數(shù)據(jù)也可以在 HTTP GET 請求中傳遞，只要把數(shù)據(jù)編碼到 URL 中即可。

做法如下所示：

 
 
 
 

  
  
  
  
>>> import urllib.request
  
  
  
  
>>> import urllib.parse
  
  
  
  
>>> data = {}
  
  
  
  
>>> data['name'] = 'Somebody Here'
  
  
  
  
>>> data['location'] = 'Northampton'
  
  
  
  
>>> data['language'] = 'Python'
  
  
  
  
>>> url_values = urllib.parse.urlencode(data)
  
  
  
  
>>> print(url_values) # The order may differ from below. 
  
  
  
  
name=Somebody+Here&language=Python&location=Northampton
  
  
  
  
>>> url = 'http://www.example.com/example.cgi'
  
  
  
  
>>> full_url = url + '?' + url_values
  
  
  
  
>>> data = urllib.request.urlopen(full_url)
 
 
 
 

請注意，完整的 URL 是通過在其中添加 ? 創(chuàng)建的，后面跟著經(jīng)過編碼的數(shù)據(jù)。

HTTP 頭部信息

下面介紹一個具體的 HTTP 頭部信息，以此說明如何在 HTTP 請求加入頭部信息。

有些網(wǎng)站 1 不愿被程序?yàn)g覽到，或者要向不同的瀏覽器發(fā)送不同版本 2 的網(wǎng)頁。默認(rèn)情況下，urllib 將自身標(biāo)識為“Python-urllib/xy”（其中 x 、 y 是 Python 版本的主、次版本號，例如 Python-urllib/2.5），這可能會讓網(wǎng)站不知所措，或者干脆就使其無法正常工作。瀏覽器是通過頭部信息 User-Agent 3 來標(biāo)識自己的。在創(chuàng)建 Request 對象時(shí)，可以傳入字典形式的頭部信息。以下示例將生成與之前相同的請求，只是將自身標(biāo)識為某個版本的 Internet Explorer 4 ：

 
 
 
 

  
  
  
  
import urllib.parse
  
  
  
  
import urllib.request
  
  
  
  
  
  
  
  
url = 'http://www.someserver.com/cgi-bin/register.cgi'
  
  
  
  
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
  
  
  
  
values = {'name': 'Michael Foord',
  
  
  
  
 'location': 'Northampton',
  
  
  
  
 'language': 'Python' }
  
  
  
  
headers = {'User-Agent': user_agent}
  
  
  
  
  
  
  
  
data = urllib.parse.urlencode(values)
  
  
  
  
data = data.encode('ascii')
  
  
  
  
req = urllib.request.Request(url, data, headers)
  
  
  
  
with urllib.request.urlopen(req) as response:
  
  
  
  
 the_page = response.read()
 
 
 
 

響應(yīng)對象也有兩個很有用的方法。請參閱有關(guān) info 和 geturl 部分，了解出現(xiàn)問題時(shí)會發(fā)生什么。

異常的處理

如果 urlopen 無法處理響應(yīng)信息，就會觸發(fā) URLError 。盡管與通常的 Python API 一樣，也可能觸發(fā) ValueError 、 TypeError 等內(nèi)置異常。

HTTPError 是 URLError 的子類，當(dāng) URL 是 HTTP 的情況時(shí)將會觸發(fā)。

上述異常類是從 urllib.error 模塊中導(dǎo)出的。

URLError

觸發(fā) URLError 的原因，通常是網(wǎng)絡(luò)不通（或者沒有到指定服務(wù)器的路由），或者指定的服務(wù)器不存在。這時(shí)觸發(fā)的異常會帶有一個 reason 屬性，是一個包含錯誤代碼和文本錯誤信息的元組。

例如：

 
 
 
 

  
  
  
  
>>> req = urllib.request.Request('http://www.pretend_server.org')
  
  
  
  
>>> try: urllib.request.urlopen(req)
  
  
  
  
... except urllib.error.URLError as e:
  
  
  
  
... print(e.reason) 
  
  
  
  
...
  
  
  
  
(4, 'getaddrinfo failed')
 
 
 
 

HTTPError

從服務(wù)器返回的每個 HTTP 響應(yīng)都包含一個數(shù)字的 “狀態(tài)碼”。有時(shí)該狀態(tài)碼表明服務(wù)器無法完成該請求。默認(rèn)的處理函數(shù)將會處理這其中的一部分響應(yīng)。如若響應(yīng)是“redirection”，這是要求客戶端從另一 URL 處獲取數(shù)據(jù)，urllib 將會自行處理。對于那些無法處理的狀況，urlopen 將會引發(fā) HTTPError 。典型的錯誤包括：“404”（頁面無法找到）、“403”（請求遭拒絕）和“401”（需要身份認(rèn)證）。

全部的 HTTP 錯誤碼請參閱 RFC 2616 。

HTTPError 實(shí)例將包含一個整數(shù)型的“code”屬性，對應(yīng)于服務(wù)器發(fā)來的錯誤。

錯誤代碼

由于默認(rèn)處理函數(shù)會自行處理重定向（300 以內(nèi)的錯誤碼），而且 100—299 的狀態(tài)碼表示成功，因此通常只會出現(xiàn) 400—599 的錯誤碼。

http.server.BaseHTTPRequestHandler.responses 是很有用的響應(yīng)碼字典，其中給出了 RFC 2616 用到的所有響應(yīng)代碼。為方便起見，將此字典轉(zhuǎn)載如下：

 
 
 
 

  
  
  
  
# Table mapping response codes to messages; entries have the
  
  
  
  
# form {code: (shortmessage, longmessage)}.
  
  
  
  
responses = {
  
  
  
  
 100: ('Continue', 'Request received, please continue'),
  
  
  
  
 101: ('Switching Protocols',
  
  
  
  
 'Switching to new protocol; obey Upgrade header'),
  
  
  
  
  
  
  
  
 200: ('OK', 'Request fulfilled, document follows'),
  
  
  
  
 201: ('Created', 'Document created, URL follows'),
  
  
  
  
 202: ('Accepted',
  
  
  
  
 'Request accepted, processing continues off-line'),
  
  
  
  
 203: ('Non-Authoritative Information', 'Request fulfilled from cache'),
  
  
  
  
 204: ('No Content', 'Request fulfilled, nothing follows'),
  
  
  
  
 205: ('Reset Content', 'Clear input form for further input.'),
  
  
  
  
 206: ('Partial Content', 'Partial content follows.'),
  
  
  
  
  
  
  
  
 300: ('Multiple Choices',
  
  
  
  
 'Object has several resources -- see URI list'),
  
  
  
  
 301: ('Moved Permanently', 'Object moved permanently -- see URI list'),
  
  
  
  
 302: ('Found', 'Object moved temporarily -- see URI list'),
  
  
  
  
 303: ('See Other', 'Object moved -- see Method and URL list'),
  
  
  
  
 304: ('Not Modified',
  
  
  
  
 'Document has not changed since given time'),
  
  
  
  
 305: ('Use Proxy',
  
  
  
  
 'You must use proxy specified in Location to access this '
  
  
  
  
 'resource.'),
  
  
  
  
 307: ('Temporary Redirect',
  
  
  
  
 'Object moved temporarily -- see URI list'),
  
  
  
  
  
  
  
  
 400: ('Bad Request',
  
  
  
  
 'Bad request syntax or unsupported method'),
  
  
  
  
 401: ('Unauthorized',
  
  
  
  
 'No permission -- see authorization schemes'),
  
  
  
  
 402: ('Payment Required',
  
  
  
  
 'No payment -- see charging schemes'),
  
  
  
  
 403: ('Forbidden',
  
  
  
  
 'Request forbidden -- authorization will not help'),
  
  
  
  
 404: ('Not Found', 'Nothing matches the given URI'),
  
  
  
  
 405: ('Method Not Allowed',
  
  
  
  
 'Specified method is invalid for this server.'),
  
  
  
  
 406: ('Not Acceptable', 'URI not available in preferred format.'),
  
  
  
  
 407: ('Proxy Authentication Required', 'You must authenticate with '
  
  
  
  
 'this proxy before proceeding.'),
  
  
  
  
 408: ('Request Timeout', 'Request timed out; try again later.'),
  
  
  
  
 409: ('Conflict', 'Request conflict.'),
  
  
  
  
 410: ('Gone',
  
  
  
  
 'URI no longer exists and has been permanently removed.'),
  
  
  
  
 411: ('Length Required', 'Client must specify Content-Length.'),
  
  
  
  
 412: ('Precondition Failed', 'Precondition in headers is false.'),
  
  
  
  
 413: ('Request Entity Too Large', 'Entity is too large.'),
  
  
  
  
 414: ('Request-URI Too Long', 'URI is too long.'),
  
  
  
  
 415: ('Unsupported Media Type', 'Entity body in unsupported format.'),
  
  
  
  
 416: ('Requested Range Not Satisfiable',
  
  
  
  
 'Cannot satisfy request range.'),
  
  
  
  
 417: ('Expectation Failed',
  
  
  
  
 'Expect condition could not be satisfied.'),
  
  
  
  
  
  
  
  
 500: ('Internal Server Error', 'Server got itself in trouble'),
  
  
  
  
 501: ('Not Implemented',
  
  
  
  
 'Server does not support this operation'),
  
  
  
  
 502: ('Bad Gateway', 'Invalid responses from another server/proxy.'),
  
  
  
  
 503: ('Service Unavailable',
  
  
  
  
 'The server cannot process the request due to a high load'),
  
  
  
  
 504: ('Gateway Timeout',
  
  
  
  
 'The gateway server did not receive a timely response'),
  
  
  
  
 505: ('HTTP Version Not Supported', 'Cannot fulfill request.'),
  
  
  
  
 }
 
 
 
 

當(dāng)觸發(fā)錯誤時(shí)，服務(wù)器通過返回 HTTP 錯誤碼 和 錯誤頁面進(jìn)行響應(yīng)?？梢詫?HTTPError 實(shí)例用作返回頁面的響應(yīng)。這意味著除了 code 屬性之外，錯誤對象還像 urllib.response 模塊返回的那樣具有 read、geturl 和 info 方法：

 
 
 
 

  
  
  
  
>>> req = urllib.request.Request('http://www.python.org/fish.html')
  
  
  
  
>>> try:
  
  
  
  
... urllib.request.urlopen(req)
  
  
  
  
... except urllib.error.HTTPError as e:
  
  
  
  
... print(e.code)
  
  
  
  
... print(e.read()) 
  
  
  
  
...
  
  
  
  
404
  
  
  
  
b'
  
  
  
  
 "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">\n\n\n
  
  
  
  
 ...
  
  
  
  
 \n
  
  
  
  
 ...
 
 
 
 

 
 
 
 

  
  
  
  
from urllib.request import Request, urlopen
  
  
  
  
from urllib.error import URLError, HTTPError
  
  
  
  
req = Request(someurl)
  
  
  
  
try:
  
  
  
  
 response = urlopen(req)
  
  
  
  
except HTTPError as e:
  
  
  
  
 print('The server couldn\'t fulfill the request.')
  
  
  
  
 print('Error code: ', e.code)
  
  
  
  
except URLError as e:
  
  
  
  
 print('We failed to reach a server.')
  
  
  
  
 print('Reason: ', e.reason)
  
  
  
  
else:
  
  
  
  
 # everything is fine
 
 
 
 

 
 
 
 

  
  
  
  
from urllib.request import Request, urlopen
  
  
  
  
from urllib.error import URLError
  
  
  
  
req = Request(someurl)
  
  
  
  
try:
  
  
  
  
 response = urlopen(req)
  
  
  
  
except URLError as e:
  
  
  
  
 if hasattr(e, 'reason'):
  
  
  
  
 print('We failed to reach a server.')
  
  
  
  
 print('Reason: ', e.reason)
  
  
  
  
 elif hasattr(e, 'code'):
  
  
  
  
 print('The server couldn\'t fulfill the request.')
  
  
  
  
 print('Error code: ', e.code)
  
  
  
  
else:
  
  
  
  
 # everything is fine
 
 
 
 

 
 
 
 

  
  
  
  
WWW-Authenticate: Basic realm="cPanel Users"
 
 
 
 

 
 
 
 

  
  
  
  
# create a password manager
  
  
  
  
password_mgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
  
  
  
  
  
  
  
  
# Add the username and password.
  
  
  
  
# If we knew the realm, we could use it instead of None.
  
  
  
  
top_level_url = "http://example.com/foo/"
  
  
  
  
password_mgr.add_password(None, top_level_url, username, password)
  
  
  
  
  
  
  
  
handler = urllib.request.HTTPBasicAuthHandler(password_mgr)
  
  
  
  
  
  
  
  
# create "opener" (OpenerDirector instance)
  
  
  
  
opener = urllib.request.build_opener(handler)
  
  
  
  
  
  
  
  
# use the opener to fetch a URL
  
  
  
  
opener.open(a_url)
  
  
  
  
  
  
  
  
# Install the opener.
  
  
  
  
# Now all calls to urllib.request.urlopen use our opener.
  
  
  
  
urllib.request.install_opener(opener)
 
 
 
 

 
 
 
 

  
  
  
  
>>> proxy_support = urllib.request.ProxyHandler({})
  
  
  
  
>>> opener = urllib.request.build_opener(proxy_support)
  
  
  
  
>>> urllib.request.install_opener(opener)
 
 
 
 

 
 
 
 

  
  
  
  
import socket
  
  
  
  
import urllib.request
  
  
  
  
  
  
  
  
# timeout in seconds
  
  
  
  
timeout = 10
  
  
  
  
socket.setdefaulttimeout(timeout)
  
  
  
  
  
  
  
  
# this call to urllib.request.urlopen now uses the default timeout
  
  
  
  
# we have set in the socket module
  
  
  
  
req = urllib.request.Request('http://www.voidspace.org.uk')
  
  
  
  
response = urllib.request.urlopen(req)