反機器人系統(anti-bot system)取代了 IP 封鎖清單。封鎖清單用一個訊號回答一個問題,換個位址就能輕易打敗。現代系統會問十幾個問題、為答案加權,再產生單一的判決,這就是為什麼能打敗封鎖清單的戰術,對它幾乎毫無作用。
輸入同時來自每一層,而這種疊加正是它的設計。在網路層,是誰擁有這個位址以及它的信譽,和代理偵測涵蓋的範圍相同。在傳輸層,是 TLS 指紋,因為穿著 Chrome user agent 的 Python 交握是一種一眼就能看穿的矛盾。在應用層,是瀏覽器指紋:canvas、WebGL、字型、時區,以及其中是否有任何一項和 IP 宣稱的位置不一致。然後是行為:節奏、指標移動、捲動、資源是否載入、瀏覽路徑是否是一個人可能走的。
判決很少是直接的封鎖,這是最讓人困惑的部分。有選擇的系統常常會選擇對它便宜、對你有代價的回應:給出 CAPTCHA、悄悄降低內容品質、回傳過時的價格、省略結果,或拖慢回應直到爬蟲逾時。一個正常載入、卻包含細微錯誤資料的頁面,是比 403 有效得多的防禦,因為你可能好幾週都沒發現。
防禦也會移動。規則會重新調整,新的訊號會加入,門檻會隨流量變動,上個月有效的技巧,可能在沒有任何公告的情況下失效。這是決定策略的結構性事實:你要做的是在一個不告知就改變的對手面前持續守住陣地。
所以對困難的目標,誠實的建議是把它當作一次稽核:請求的每一層都被要求說同一個故事,而系統要找的就是說法不一致的那一層。不論你的用戶端宣稱自己是什麼,它在交握時就必須真的是那個東西、回報一台合理的機器、位於和它所說的位置一致的位址上,並以它所宣稱的那個人能做到的速度瀏覽頁面。目標是沒有任何明顯矛盾的地方。
而且過了某個點,自己對抗它就不再合理。如果維持存取需要一個本可以打造你真正產品的人持續投入,專門處理這件事的爬蟲 API 通常比工程時間便宜,也比悄悄收集一個月錯誤資料便宜得多。
HProxy 如何處理
我們銷售的是其中一層,而且我們會直說:好的位址能提高你的底線,救不了一個在技術堆疊更高處自相矛盾的用戶端。這也是我們在代理之外還經營爬蟲 API 的原因。
常見問題
單靠住宅代理能通過反機器人系統嗎?
面對輕度防護,常常可以,因為網路信譽是最重的輸入之一,受信任的位址消除了挑戰你最便宜的理由。面對嚴密的防護,則不行。系統還會讀取你的 TLS 指紋、瀏覽器指紋和行為,其中任何一項和位址矛盾,單獨就足以讓你被抓。位址是必要條件,但不充分。
為什麼我的爬蟲運作了好幾週,然後突然停止?
通常是因為防禦改變了。門檻會重新調整,新的訊號會加入,規則會持續更新,所以一個剛好位於界線之上的設定,可能在你這邊什麼都沒變的情況下掉到界線以下。也值得檢查它是真的停止了,還是只是開始回傳降級的內容,後者是更容易被忽略的失敗。
我怎麼知道自己收到的是降級內容,還是被封鎖了?
和一個你信任的請求比較。用一般連線上的普通瀏覽器抓取同一個網址,比對有意義的欄位:價格、結果數量、供貨狀態、清單中的項目數。無聲的降級在 HTTP 層看起來就像成功,所以你的狀態碼或錯誤日誌什麼也不會告訴你,只有比較才行。
放慢速度比較好嗎?
通常是,而這是最被低估的調整。數量和規律性是強烈的訊號,也是完全在你掌控之中的兩件事。為節奏加入真正的變化(固定延遲本身就是一種模式),會花你一些時間,卻能消除一個買再多代理都消除不了的訊號。
反機器人系統也會封鎖搜尋引擎爬蟲嗎?
通常不會,因為大多數網站都希望被收錄。已知的爬蟲通常會被辨識並放行,這就是為什麼一個網站在快取的搜尋結果中看起來完全開放,卻立刻挑戰你。許可只給特定、經過驗證的爬蟲;冒充者用反向 DNS 一查就穿幫。
回到完整詞彙表。

