ZH
開始使用

術語表

效能

頻寬

代理能傳輸的資料量,也是住宅與行動代理通常採用的計費單位。

頻寬(bandwidth)是一條連線能傳送多少資料,而在住宅代理上,它也是帳單。這類代理池按 GB 計費,因為它們的供應是由真實的底層連線計量的,所以你真正購買的資源是流量。這一個事實就改變了你該如何撰寫爬蟲。

改變在於頁面大小成了一個帳目。一個現代商品頁面常常有一到三 MB,其中絕大部分是圖片、字型、影片、追蹤腳本和樣式表。承載你真正想要資料的 HTML,常常不到其中的 100 KB。如果你像瀏覽器那樣抓取頁面,你就是在用住宅代理的價格,下載你立刻就丟掉的相片。

這讓頻寬紀律成為最有槓桿效果的成本控制,而且不需要和任何人協商。要求壓縮並遵守它。抓取文件時,不要自動拉下每個引用的資源。如果你驅動的是真正的瀏覽器,在網路層封鎖圖片、媒體和字型請求,因為無頭瀏覽器預設會像真正的瀏覽器一樣抓取一切。網站有 JSON 端點時,優先使用它,不用渲染後的頁面,因為它通常只有一小部分大小,也更容易解析。

重試值得單獨一提,因為它是悄悄放大成本的乘數。一個已經傳輸了大部分回應才失敗的請求,仍然花掉了那些流量,所以對一個不穩定的目標採取激進的重試策略,可能讓帳單翻倍,卻沒有多收集到任何東西。快速失敗比反覆失敗便宜。

頻寬和延遲也值得分開來看,因為兩者互相獨立,大家卻經常混為一談。頻寬是每秒能通過多少;延遲是一次來回要多久。一條連線可能其中一個很充足,另一個很少。大量收集取決於頻寬和並行,任何互動式的東西則首先感受到延遲,買更多錯誤的那一個,什麼也解決不了。

最後,不是每個類別都這樣計費。資料中心和 ISP 代理通常按位址銷售,附帶充裕或不計量的流量,因為供應是機架上的機器。如果一項工作確實很耗頻寬,目標又不依網路類型篩選,把它移到資料中心代理上,往往比任何請求調整省得更多。

HProxy 如何處理

因為住宅代理按 GB 計費,我們能給的最便宜建議,往往是少用一點:只抓你會解析的東西,並把確實很耗頻寬、又不需要住宅信任的工作,改放到資料中心位址上。

常見問題

怎麼降低代理的頻寬成本?

停止下載你不解析的東西。啟用壓縮,除非需要,否則避免拉下圖片、字型、影片和樣式表,如果你驅動無頭瀏覽器,就明確封鎖這些請求類型,因為它預設會抓取一切。有 JSON 端點時,優先使用它,不用渲染後的頁面。並嚴格控制重試,因為重試的請求要為它已經傳輸的流量付費。

為什麼我的頻寬用量比頁面大小顯示的還高?

通常是因為你測量的是 HTML,付費的卻是整個頁面。瀏覽器拉下的每張圖片、每個字型、每個腳本和樣式表都會計算,轉址、失敗的嘗試,以及放棄前已傳輸部分回應的重試也都算。TLS 交握和標頭還會再多一點。請測量實際傳輸的量。

無限頻寬是真的嗎?

它存在,而且通常附帶別的限制。不計量的流量通常按位址、按連接埠或附帶並行上限銷售,這適合成本是一台機器的資料中心和 ISP 供應。請看清楚限制到底是什麼,因為某個地方一定有限制。

頻寬和延遲,對爬取來說哪個重要?

頻寬和並行決定大量收集:在一段時間內傳送的總量。延遲決定任何互動式或循序的工作,在這類工作中,每次來回都必須完成才能開始下一次。如果你的工作是一長串獨立的抓取,更多並行有幫助,更低的延遲幾乎沒有影響;如果每一步都依賴上一步,情況就正好相反。

回到完整詞彙表。

HProxy.

別只聽我們說。 自己量測看看。

在你的瀏覽器中針對即時位址執行。不需註冊,也不儲存清單。

HProxy