ZH
開始使用

網頁擷取用代理。 專為不被封鎖而打造。

擷取失敗最主要的原因只有一個:來自同一個位址的請求太多。輪換式住宅 IP 會分散負載,讓爬取看起來像許多訪客,不再像單一個,最後順利完成,不會被封鎖。

開始使用閱讀指南

適合的選擇

3 項產品適合,最佳的排在前面

住宅推薦用於網路爬蟲

200 多個國家的真實裝置 IP

  • 輪換或固定工作階段
  • Premium 提供州、城市與 ISP 定位
  • 按 GB 付費,餘額永不過期
  • HTTP 與 SOCKS5

從

US$ 0.23/ GB

開始使用

網路爬蟲

一次 REST 呼叫取回結構化 JSON

  • 代理、重試與解析都已處理
  • 被封鎖或出錯的呼叫不計費
  • 每次呼叫從你的餘額付款
  • 免訂閱,無每月最低消費

從

US$ 1.49/ 1,000 次呼叫

開始使用

資料中心

IPv4 與 IPv6

  • 期間內專屬於你
  • 頻寬無上限
  • 連接埠速度最高 1 Gbps
  • HTTP、HTTPS 與 SOCKS5

從

US$ 0.10/ IP

開始使用
住宅代理
擷取的主力:由真實家用 IP 組成的輪換式 IP 池,按 GB 計費,讓任何單一位址都維持在網站計算的限制之下。
爬蟲 API
不必親自處理的選擇:輸入網址,取回乾淨的資料,代理輪換、重試與解除封鎖都已處理,讓你完全跳過與反機器人系統的軍備競賽。
資料中心代理
便宜又快速的選擇,適用於不依網路審查的網站、對你自己的服務進行負載測試,或擷取根本不在意的來源。

幾乎每一次封鎖都可以追溯到每個 IP 的請求數

爬蟲遇到的障礙,包括速率限制、驗證碼與突如其來的封鎖,絕大多數都是對單一位址請求過多、過快的反應。網站依 IP 計算,所以解決方法是結構性的:把請求分散到 IP 池,減少任何單一位址發出的請求數。

這正是輪換式住宅代理所做的事。同樣的總量分散到數千個真實的家用 IP 上,代表沒有任何一個會超過觸發防護的門檻,以前在幾千次請求後就會中斷的爬取,現在能順利跑完。

依目標選擇代理,順序別顛倒

正確的代理取決於你要擷取什麼。會審查資料中心 IP 段的網站需要住宅代理;只做速率限制的網站,使用較便宜的資料中心 IP 可能就足夠;位於嚴密反機器人防護之後的網站,往往交給爬蟲 API 處理會更好,硬碰硬並不划算。

誠實的原則是:從能撐過目標的最便宜選項開始,只有在它撐不住時才升級,別在從來不需要住宅代理的來源上花錢買住宅代理。在投入之前,可以先用免費代理清單做第一次探測。

如何為網頁擷取設定代理

  1. 1

    依目標選擇 IP 池

    不依網路審查的網站用資料中心代理,會審查的網站用住宅代理,位於重重反機器人防護之後的目標則用爬蟲 API。先用較便宜的選項在小樣本上試試看。

  2. 2

    每個工作程序產生一行

    在控制台或透過 API 選擇國家以及你需要的設定數量。數量 10 會給十個工作程序十行設定,而輪換式設定上的每個請求都會從不同的位址送出。

  3. 3

    把設定放進你的爬蟲

    每一行都能以同樣的登入資訊透過 HTTP 與 SOCKS5 使用。下方的設定指南說明了在 Python requests、Scrapy、Playwright、Puppeteer 與 Selenium 中,設定要放在哪裡。

  4. 4

    在爬取之前先檢查一個請求

    經由該行設定送出一個請求到代理檢測工具或 IP 查詢。出口應該位於你選擇的國家,而且不應該是你自己的位址。

  5. 5

    只在網站需要時保留位址

    對於登入或多頁面的流程,加上 stickyMinutes,讓同一個位址服務整個工作階段,Premium 最長 1,440 分鐘。其他一切都會輪換,讓每個位址都維持在網站計算的限制之下。

網頁擷取:常見問題與解決方法

HTTP 429,請求過多
單一位址傳送太多請求。把工作分散到更多行設定、放慢每個工作程序的速度,或在每次請求時輪換。
每個頁面都出現驗證碼
網路或用戶端讓爬蟲露餡了。從資料中心換成住宅代理、送出真實瀏覽器會送出的標頭,或把那個目標交給爬蟲 API。
頁面顯示的是其他國家的價格或語言
出口國家錯了,或是 Cookie 記住了先前的造訪。在設定上指定國家,並在每個工作階段開始時不帶舊的 Cookie。
請求逾時
住宅出口是真實的家用連線,有些速度很慢。設定逾時時間、用新的設定重試請求,並避免在同一行設定上堆疊大量平行請求。
爬取執行一小時後就失敗
網站已經學會了這個模式。改變請求的順序與時間,並把爬取分散到更多位址上。

設定指南與工具

FAQ

網路爬蟲 個問題解答

哪種代理最適合網頁擷取?

有防護的網站用輪換式住宅代理,沒有防護的網站用資料中心代理,完全不想管理代理時就用爬蟲 API。由目標決定:從便宜的開始,只有在來源封鎖較便宜的選項時才升級。

為什麼我擷取時一直被封鎖?

幾乎都是因為太多請求來自同一個 IP。網站依位址計算,所以單一代理拉取大量資料就會被限速或要求驗證。把爬取分散到輪換式 IP 池,才是結構性的解決方法。

網頁擷取需要多少個代理?

住宅代理按流量購買:一個方案就能產生你的工作程序所需的任意數量設定,而輪換式設定上的每個請求都可能從不同的位址送出。資料中心代理按位址販售,所以同時執行多少個,就購買多少個。

住宅代理會在每次請求時輪換嗎?

會,除非你用 stickyMinutes 要求某行設定保留其位址。這是用於登入與多頁面流程的設定;一般的頁面擷取應該輪換。

用代理擷取資料要花多少錢?

住宅代理按流量的 GB 計費,所以成本取決於你擷取了多少,而且餘額永不過期。只擷取你需要的內容、略過你不會解析的圖片,就能壓低成本。目前的每 GB 費率請見價格頁面。

用代理擷取資料合法嗎?

代理只會改變請求的來源,你被允許收集的內容並不會因此改變。你擷取什麼、多常擷取,以及如何處理個人資料,依網站條款與你營運所在地的法律,仍然由你負責。

相關內容:AI 擷取, AI 代理程式。

本頁術語說明

這項工作用到的術語,以淺白的語言定義。

瀏覽完整術語表,涵蓋代理、網路與擷取的所有術語。

HProxy.

上面的一切,實際運作。 從一個即時 IP開始。

開始使用先閱讀 網路爬蟲 指南

住宅代理 每 GB US$ 0.23 起,隨用隨付,餘額永不過期。

HProxy