ZH
開始使用

術語表

擷取與自動化

網路爬蟲

從網站自動收集資料,也是大家大規模使用代理最常見的原因。

網頁爬取(web scraping)是以程式從網站收集資訊,不靠人工。腳本會抓取頁面並解析出數值,其數量和頻率是任何人工流程都無法維持的。價格監測、市場研究、SEO 排名追蹤、潛在客戶研究、機票比價和訓練資料集的建立,全都建立在它之上。

代理的加入原因在於算術,和對抗無關。速率限制幾乎都是依位址計算的,所以一個 IP 請求一萬個頁面,會觸發一個門檻,而分散到許多位址的一萬個請求則永遠接近不了它。這裡沒有任何高明的手段;你只是不再把流量集中在一個地方,而這也正是一群真實訪客看起來的樣子。

你需要哪種代理類型,取決於目標篩選什麼,而這最好實際測試確認。只依位址計算請求的網站,可能完全接受便宜的資料中心代理。依網路類型分類的網站,則不論節奏如何,都會拒絕每個資料中心位址。在為你假設的難度購買之前,先測試你實際需要的網址。

較困難的目標根本不是靠位址打敗的,這是大家花大錢才學到的部分。在網路信譽之上,還有 TLS 指紋、瀏覽器指紋、行為評分和蜜罐,這些全都在代理碰不到的層面運作。一個在瀏覽器中能用、從腳本以同一個 IP 卻失敗的爬蟲,通常是在交握階段就露了餡。

收集 HTML 和收集渲染後的頁面有很大的實務差異,這也決定了大部分的成本。抓取文件又快又便宜。驅動真正的瀏覽器能渲染 JavaScript,看起來也像人得多,但它也會拉下每張圖片、每個字型和每個腳本,在按 GB 計費的住宅代理上,等於花錢買你會丟掉的資源。很多網站提供能以一小部分大小回傳同樣資料的 JSON 端點,找到它通常是整個專案中最有價值的一小時。

在行為準則上,我們的立場很清楚,我們自己也這樣做。收集公開、非個人的資料。尊重網站公布的自動化存取規定。控制請求節奏,不要降低其他人正在使用的服務品質。不要把封鎖當成升級的邀請。除了禮貌之外,什麼是合法的,取決於司法管轄區、網站條款和資料的性質,尤其是涉及個人資訊時,這應該請教律師。

誠實的結語是,爬取是持續的維護工作。版面會變,防禦會更新,端點會移動,爬蟲需要你持續維護才能運作。從一開始就為此編列預算,決定了你擁有的是一條資料管線,還是一連串意外。

常見問題

網頁爬取需要住宅代理嗎?

只有在目標依網路類型篩選時才需要,而這遠非普遍情況。很多網站只依位址計算請求,完全接受資料中心代理,而資料中心代理更快也便宜得多。先用比較便宜的選項測試你實際的目標網址;為從不檢查的網站付住宅代理的價格,等於花錢買沒人要求的信任。

爬取一個網站需要多少代理?

從限制倒推。如果目標大約容忍每個位址每幾秒一個請求,而你需要在固定的時間內完成固定的量,算術就會給你代理池的大小。然後再加上餘裕,因為位址會掉線,有些也已經被標記。先用幾個位址慢慢開始,測量錯誤從哪裡開始出現,比大膽猜一個大數字好。

為什麼用了好代理,我的爬蟲還是被封鎖?

因為位址只是好幾層中的一層。TLS 指紋會在任何東西解密之前就辨識出你的 HTTP 用戶端,瀏覽器指紋會抓出你宣稱的和你回報的之間的矛盾,而太規律的節奏本身就看得出來。一個在真正的瀏覽器中能用、從腳本以同一個 IP 卻失敗的請求,是在網路層之上被抓到的。

網頁爬取合法嗎?

這取決於司法管轄區、網站的服務條款,而且很大程度取決於資料是什麼,個人資訊的義務嚴格得多。所以這應該請教律師。我們自己的營運規則,建議當作最低標準,不構成法律建議:公開的非個人資料、尊重公布的自動化存取規定,以及控制請求節奏,不要降低任何其他人的服務品質。

我該用無頭瀏覽器還是一般 HTTP 請求?

能用請求就用請求,必要時才用瀏覽器。一般抓取快得多也便宜得多,在按 GB 計費時,還能避免為你會丟掉的圖片和字型付費。只有當資料確實要在 JavaScript 執行後才存在時,才需要無頭瀏覽器。在動用它之前,先檢查頁面是否由你能直接呼叫的 JSON 端點提供資料,這很常見,而且通常小得多。

回到完整詞彙表。

HProxy.

定義只能帶你走到這裡。 執行 對比 真實目標.

住宅代理 每 GB US$ 0.23 起,隨用隨付,餘額永不過期。

HProxy