網頁擷取用代理。 專為不被封鎖而打造。
擷取失敗最主要的原因只有一個:來自同一個位址的請求太多。輪換式住宅 IP 會分散負載,讓爬取看起來像許多訪客,不再像單一個,最後順利完成,不會被封鎖。
適合的選擇
3 項產品適合,最佳的排在前面
依目標選擇代理,順序別顛倒
正確的代理取決於你要擷取什麼。會審查資料中心 IP 段的網站需要住宅代理;只做速率限制的網站,使用較便宜的資料中心 IP 可能就足夠;位於嚴密反機器人防護之後的網站,往往交給爬蟲 API 處理會更好,硬碰硬並不划算。
誠實的原則是:從能撐過目標的最便宜選項開始,只有在它撐不住時才升級,別在從來不需要住宅代理的來源上花錢買住宅代理。在投入之前,可以先用免費代理清單做第一次探測。
如何為網頁擷取設定代理
- 1
依目標選擇 IP 池
不依網路審查的網站用資料中心代理,會審查的網站用住宅代理,位於重重反機器人防護之後的目標則用爬蟲 API。先用較便宜的選項在小樣本上試試看。
- 2
每個工作程序產生一行
在控制台或透過 API 選擇國家以及你需要的設定數量。數量 10 會給十個工作程序十行設定,而輪換式設定上的每個請求都會從不同的位址送出。
- 3
- 4
在爬取之前先檢查一個請求
經由該行設定送出一個請求到代理檢測工具或 IP 查詢。出口應該位於你選擇的國家,而且不應該是你自己的位址。
- 5
只在網站需要時保留位址
對於登入或多頁面的流程,加上 stickyMinutes,讓同一個位址服務整個工作階段,Premium 最長 1,440 分鐘。其他一切都會輪換,讓每個位址都維持在網站計算的限制之下。
網頁擷取:常見問題與解決方法
- HTTP 429,請求過多
- 單一位址傳送太多請求。把工作分散到更多行設定、放慢每個工作程序的速度,或在每次請求時輪換。
- 每個頁面都出現驗證碼
- 網路或用戶端讓爬蟲露餡了。從資料中心換成住宅代理、送出真實瀏覽器會送出的標頭,或把那個目標交給爬蟲 API。
- 頁面顯示的是其他國家的價格或語言
- 出口國家錯了,或是 Cookie 記住了先前的造訪。在設定上指定國家,並在每個工作階段開始時不帶舊的 Cookie。
- 請求逾時
- 住宅出口是真實的家用連線,有些速度很慢。設定逾時時間、用新的設定重試請求,並避免在同一行設定上堆疊大量平行請求。
- 爬取執行一小時後就失敗
- 網站已經學會了這個模式。改變請求的順序與時間,並把爬取分散到更多位址上。
設定指南與工具
FAQ
網路爬蟲 個問題解答
哪種代理最適合網頁擷取?
有防護的網站用輪換式住宅代理,沒有防護的網站用資料中心代理,完全不想管理代理時就用爬蟲 API。由目標決定:從便宜的開始,只有在來源封鎖較便宜的選項時才升級。
為什麼我擷取時一直被封鎖?
幾乎都是因為太多請求來自同一個 IP。網站依位址計算,所以單一代理拉取大量資料就會被限速或要求驗證。把爬取分散到輪換式 IP 池,才是結構性的解決方法。
網頁擷取需要多少個代理?
住宅代理按流量購買:一個方案就能產生你的工作程序所需的任意數量設定,而輪換式設定上的每個請求都可能從不同的位址送出。資料中心代理按位址販售,所以同時執行多少個,就購買多少個。
住宅代理會在每次請求時輪換嗎?
會,除非你用 stickyMinutes 要求某行設定保留其位址。這是用於登入與多頁面流程的設定;一般的頁面擷取應該輪換。
用代理擷取資料要花多少錢?
住宅代理按流量的 GB 計費,所以成本取決於你擷取了多少,而且餘額永不過期。只擷取你需要的內容、略過你不會解析的圖片,就能壓低成本。目前的每 GB 費率請見價格頁面。
用代理擷取資料合法嗎?
代理只會改變請求的來源,你被允許收集的內容並不會因此改變。你擷取什麼、多常擷取,以及如何處理個人資料,依網站條款與你營運所在地的法律,仍然由你負責。

