ZH
開始使用

整合 · 自動化與擷取

Use HProxy with cURL.

在把 HProxy 代理串接到任何地方之前,先從命令列測試它。
  • 3 個步驟
  • 可用的程式碼
  • HTTP 與 SOCKS5
  • 登入資訊放在代理網址中

為什麼需要代理

為什麼要搭配 cURL 使用代理

cURL 是幾乎每個系統都內建的命令列 HTTP 用戶端,是確認代理是否可用最快的方法。

在為爬蟲除錯之前,先證明代理本身沒問題。經由它發出一次 cURL 呼叫,檢查它回傳的 IP,就能區分是代理的問題還是程式碼的問題。

Setup

在 cURL 中設定 HProxy

  1. 1

    從控制台取得你的主機、連接埠與登入資訊。

  2. 2

    用 -x 傳入代理,用 -U 傳入登入資訊。

  3. 3

    存取一個 IP 回顯端點,確認傳回的位址與國家符合預期。

值得知道

如果這裡回傳了正確的國家,而你的工具沒有,問題就出在工具的設定,代理本身沒問題。

這裡顯示的主機、連接埠與登入資訊只是格式;你確切的值就在你的控制台上,可以直接複製。

cURL, with HProxy

curl -x example.hproxy.com:8080 \
  -U "user-country-us:pass" \
  https://ipinfo.io/json

cURL 個問題

常見問題

如何從命令列測試代理?

經由它送出一個請求到會回傳所看到位址的端點,並讀取回傳的內容。這一個指令就能解決其他一切都仰賴的問題:代理到底能不能用,以及你實際拿到的出口位址與國家。在為你的應用程式除錯之前,先做這件事。

cURL 能用,但我的爬蟲不行,該怎麼辦?

那表示代理沒問題,問題出在工具的設定,這正是為什麼值得先執行這項測試。檢查你的用戶端是否為正確的協定設定了代理、是否有傳送憑證,以及 HTTPS 是否默默退回直接連線。

如何查看代理加入的標頭?

請求一個會回顯所收到標頭的端點並讀取內容。你自己的位址出現在任何地方,代表代理是透明的;有 Via 或 X-Forwarded-For 但沒有你的位址,代表匿名;兩者都沒有,則代表高匿名。這就是實際量測出來的匿名程度。

為什麼 cURL 經由代理時會出現 SSL 錯誤?

通常是因為有東西在攔截連線,並沒有以通道方式傳送它,這在執行自有檢查代理的企業網路上很正常,在其他地方則不正常。停用驗證能讓錯誤消失,卻也掩蓋了原因,所以在使用那個參數之前,值得先了解原因。

如何在 cURL 中使用 SOCKS5?

SOCKS 代理有專用的選項,與一般的代理選項分開,還有一種在代理端解析主機名稱的寫法。請優先使用遠端解析的形式,因為本地解析的形式會造成 DNS 洩漏,讓你自己的解析器看到你造訪的每個目的地。

隨時為你準備好。

你的控制台只要十秒就到。不用業務電話,免訂閱,沒有最低金額。