ZH
開始使用

整合 · 自動化與擷取

搭配 Selenium 使用 HProxy。

使用 Selenium,經由需要驗證的 HProxy 代理操控真實的瀏覽器。
開始使用閱讀完整指南
  • 3 個步驟
  • 可用的程式碼
  • HTTP 與 SOCKS5
  • 登入資訊放在代理網址中

為什麼需要代理

為什麼要搭配 Selenium 使用代理

Selenium 會自動化操作真實的瀏覽器,當網站只對會渲染 JavaScript 且行為像人的東西讓步時,它就是首選工具。

有介面的瀏覽器很有說服力,直到每個工作階段都來自同一個 IP 為止。每個工作階段使用一個住宅出口,才能讓 Selenium 在網站開始要求驗證之前,擴展到不只少數幾次執行。

Setup

在 Selenium 中設定 HProxy

  1. 1

    安裝 Selenium Wire(pip install selenium-wire),它補上了原版 Selenium 缺少的需驗證代理支援。

  2. 2

    把你的主機、連接埠與登入資訊放在 seleniumwire_options 的代理設定中。

  3. 3

    照常啟動 driver;瀏覽器發出的每個請求現在都會經由代理出去。

值得知道

原版 Selenium 無法傳遞代理的使用者名稱與密碼;Selenium Wire 是解決這個問題的標準方法。

這裡顯示的主機、連接埠與登入資訊只是格式;你確切的值就在你的控制台上,可以直接複製。

Selenium,搭配 HProxy

from seleniumwire import webdriver

opts = {"proxy": {
  "http":  "http://user-country-us:[email protected]:8080",
  "https": "http://user-country-us:[email protected]:8080",
}}
driver = webdriver.Chrome(seleniumwire_options=opts)
driver.get("https://ipinfo.io/json")

Selenium 個問題

常見問題

為什麼 Selenium 會忽略我的代理使用者名稱與密碼?

因為原版 Selenium 完全無法傳送代理憑證。它傳給瀏覽器的 proxy-server 參數只接受主機與連接埠,沒有驗證欄位,所以需要驗證的代理會直接失敗。Selenium Wire 是解決這個問題的標準方法,這就是上方範例使用它、沒有使用純 Selenium 的原因。

我可以用 IP 白名單取代 Selenium Wire 嗎?

可以,而在固定的伺服器上,這是比較簡單的答案。向你的供應商把機器的位址加入白名單,代理就會在不需憑證的情況下接受連線,這代表純 Selenium 只需主機與連接埠就能運作。一旦那台機器的位址改變,它就會停止運作。

Selenium 會透過 WebRTC 洩漏我的真實 IP 嗎?

可能會,因為它操控的是真實瀏覽器,而 WebRTC 會在完全不經過代理路徑的情況下找出你的位址。代理本身運作正常;那些流量從來不會經過它。如果出口位址才是重要的身分,請在瀏覽器選項中停用或限制 WebRTC。

如何在 Selenium 工作階段之間輪換 IP?

用新的憑證啟動新的 driver,別試圖在執行中的 driver 上更換代理。使用輪換式代理時,你會自動取得不同的出口;使用固定工作階段時,請要求新的工作階段識別碼。重複使用同一個 driver 也會保留同一個瀏覽器設定檔,這反正也會讓輪換失去意義。

隨時為你準備好。

你的控制台只要十秒就到。不用業務電話,免訂閱,沒有最低金額。