ZH
開始使用

術語表

效能

並行

你同時執行多少個請求,這是爬取吞吐量的主要槓桿,也是常見的隱藏限制。

並行(concurrency)是同時進行中的請求數。決定爬蟲完成多少工作的,主要是它,單一請求的速度影響小得多:平行抓取一百個頁面的工作,完成時間只是逐一抓取的一小部分,即使每個請求本身一點也沒變快。

代理和並行以兩種方式互動。代理池讓你能執行高並行,而不把請求堆在一個位址上,因為每個平行請求都可以使用不同的出口。但代理服務本身可能限制並行連線,而限制執行緒的方案,不論網路多快,都會悄悄限制吞吐量。

因此任何代理都值得檢查的,除了每 GB 價格,還有並行連線是否受限。不限並行,才能讓代理池真正的優勢,也就是平行處理,實際發揮出來。

不過多不一定好,大家就是在這裡過頭的。並行只能在其他東西成為瓶頸之前提高吞吐量:你自己的頻寬、邊抓邊解析時的 CPU、目標的容忍度,或執行真正瀏覽器時的記憶體,每一項消耗的都遠比一般 HTTP 請求多。過了那個點,再提高它只會產生逾時和重試,而重試要為你已經付過錢的流量再付一次。

它和速率限制的互動方式也會讓人吃虧。經由五十個不同出口的五十個平行請求,對依位址計算的計數器來說,就是五十位不同的訪客。經由一個位址的五十個平行請求,則是一次幾乎會立刻觸發任何門檻的爆量。並行和代理池規模必須一起調整,否則你增加的平行處理,只會讓你更快被封鎖。

找出你的數字的誠實方法,是實際測試,從低處開始。保守地開始,逐步提高,並觀察錯誤率。正確的設定就在失敗開始出現之前,而且每個目標都不同,因為這其實是目標的特性。

HProxy 如何處理

我們的住宅代理不限制並行連線或執行緒,因為執行緒上限換句話說就是吞吐量上限,而它正是讓看起來便宜的方案在實務上變慢的那種限制。

常見問題

爬取資料時,多少並行數算好?

沒有通用的數字,因為限制屬於目標。從低處開始,逐步提高,並觀察錯誤率:正確的設定就在失敗開始出現之前。寬容的網站可能接受數百個平行請求,嚴格的網站只接受幾個,同樣的程式碼對每個網站都需要不同的設定。

更高的並行代表更快的爬取嗎?

到某個點為止,之後就會反轉。一旦超過你自己的頻寬、CPU 或記憶體上限,或目標的容忍度,額外的平行處理只會產生逾時和重試。由於重試要為已經傳輸過的流量付費,在按 GB 計費時並行過頭,損失的不只是時間,還有錢。

代理供應商會限制並行連線嗎?

很多會,而且常常埋在方案細節裡。執行緒或連線上限,換句話說就是吞吐量上限,它可能讓看起來便宜的每 GB 費率在實務上很慢。比較價格之前值得先檢查,因為兩個同樣費率的方案,實際能讓你執行的量可能相差極大。

並行和我的代理池規模有什麼關係?

它們必須一起調整。分散到許多出口的平行請求,看起來像許多不同的訪客,這正是重點。同樣的平行處理被迫經由一個位址,就是一次會立刻觸發依位址限制的爆量。在背後沒有足夠多不同位址的情況下提高並行,只會讓你比循序執行更快被封鎖。

回到完整詞彙表。

HProxy.

別只聽我們說。 自己量測看看。

在你的瀏覽器中針對即時位址執行。不需註冊,也不儲存清單。

HProxy