ZH
開始使用

整合 · 自動化與擷取

搭配 Python Requests 使用 HProxy。

只要三行,就能讓 requests 程式庫經由 HProxy 住宅 IP 傳送。
  • 3 個步驟
  • 可用的程式碼
  • HTTP 與 SOCKS5
  • 登入資訊放在代理網址中

為什麼需要代理

為什麼要搭配 Python Requests 使用代理

Requests 是 Python 中使用最廣泛的 HTTP 程式庫,是腳本、爬蟲與 API 用戶端的預設選擇。

從同一個位址反覆存取網站的腳本,正是速率限制要抓的模式。讓 Requests 經由輪換式住宅 IP 池傳送,能分散流量,讓每個位址都不會引起注意。

Setup

在 Python Requests 中設定 HProxy

  1. 1

    從 HProxy 控制台複製你的代理主機、連接埠與登入資訊。

  2. 2

    建立一個 proxies 字典,讓 http 與 https 都指向同一個代理網址。

  3. 3

    把它傳給每個請求,或在 session 上設定一次。

值得知道

使用者名稱帶有定位資訊:user-country-de 會讓你從德國出去,加上 -city-frankfurt 可以更精細。

這裡顯示的主機、連接埠與登入資訊只是格式;你確切的值就在你的控制台上,可以直接複製。

Python Requests,搭配 HProxy

import requests

proxies = {
  "http":  "http://user-country-us:[email protected]:8080",
  "https": "http://user-country-us:[email protected]:8080",
}
r = requests.get("https://ipinfo.io/json", proxies=proxies)
print(r.json())

Python Requests 個問題

常見問題

為什麼 requests 仍然顯示我的真實 IP?

通常是因為 proxies 字典只涵蓋了一種協定。請同時設定 http 與 https 鍵,因為對 HTTPS 網址的請求使用的是 https 項目,而只有 http 的字典會默默讓那個請求直接連線。請經由 session 擷取 IP 回顯端點來驗證,別只憑假設。

如何讓每個請求都使用同一個代理?

在 Session 物件上設定一次,並在整個過程中使用那個 session,不必在每次呼叫時傳入參數。程式碼更少、能在請求之間保持連線,還能消除一整類錯誤:某次呼叫因為忘了傳參數而默默直接連線。

為什麼我的爬蟲在瀏覽器中能用,用 requests 卻會失敗?

最常見的是 TLS 指紋。無論你多仔細地複製標頭,Python HTTP 用戶端送出的交握都與瀏覽器不同,而偵測系統會在你的請求被解密之前就讀取它。複製使用者代理並不會改變底下的交握。

requests 會經由代理解析 DNS 嗎?

對於收到完整網址的 HTTP 代理,通常由代理在其端解析主機名稱。對於 SOCKS,則取決於你使用的協定寫法:遠端解析的寫法會讓查詢留在代理端,另一種則在本地解析,造成 DNS 洩漏,讓你自己的解析器看到每個目的地。

隨時為你準備好。

你的控制台只要十秒就到。不用業務電話,免訂閱,沒有最低金額。