ZH
開始使用

術語表

偵測與信譽

蜜罐

為自動化程式設下的陷阱,例如人類看不見的連結或欄位,任何與它互動的東西都會被標為機器人。

蜜罐(honeypot)是為自動化程式設下的誘餌。網站在頁面上放一個人無法察覺、因此永遠不會碰的東西,然後把任何碰到它的東西都當作程式的證據。這裡沒有任何可以爭辯的模糊地帶,這正是它如此乾淨的訊號的原因:人類就是不會去填一個看不見的欄位。

一旦知道了,它的形式都很平常。一個被樣式移到畫面外或尺寸設為零的連結,所以它存在於標記中,卻不在螢幕上。一個以 CSS 隱藏的表單輸入欄位,有時還取了一個對自動填表腳本很誘人的名稱。一個在可見導覽中從未出現的網址。還有經典的:在 robots.txt 中列為禁止的路徑,守規矩的爬蟲永遠不會請求它,所以任何請求它的東西都會表明身分。

最後這一項值得停下來想想,因為它顛覆了大家對 robots.txt 用途的假設。如果把它當成有趣地點的清單,它就變成一張精確標示哪些請求會讓你露餡的地圖。讀它來找出網站藏了什麼,是刻意走進陷阱的可靠方法。

這種防禦的巧妙之處,在於它把徹底性變成了破綻。你的自動化越機械化地完整,就越肯定會觸發一個人永遠不會遇到的東西,所以讓爬蟲擅長收集資料的那個特質,也讓它容易被辨識。一旦觸發,後果通常落在位址上,這就是為什麼一次粗心的執行,可能毀掉一個 IP 之後的所有用途。

避開它們的關鍵在於有選擇地行事。只沿著真正可見、可瀏覽的內容走,把 robots.txt 當作指示遵守,不要送出渲染後的頁面沒有顯示的欄位,並對任何存在於 DOM 中、在螢幕上卻看不見的元素保持懷疑。模仿讀者合理行為的網路爬蟲,除了比較有禮貌,也更難被抓到。

常見問題

怎麼在觸發蜜罐之前發現它?

渲染頁面,別只解析標記,然後忽略任何人看不到或連不到的東西:display none、visibility hidden、寬或高為零、opacity 為零,或被放到畫面外很遠的元素。如果你不渲染就解析原始 HTML,你依據的是一份包含可見頁面所沒有的陷阱的文件,這正是這項技術利用的缺口。

robots.txt 會告訴我蜜罐在哪裡嗎?

它常常會列出它們,而這樣使用它正是大家被抓到的原因。一個沒有任何可見連結指向的被禁止路徑,很可能是誘餌,因為遵守規則的爬蟲永遠不會請求它,所以只有無視這個檔案的自動化程式才會出現在那裡。請把這個檔案當作哪裡不該去的指示。

觸發蜜罐之後會怎樣?

取決於網站,而且常常不是立即封鎖。有些會標記位址、之後再採取行動,有些會開始提供降級或捏造的內容,讓你收集的資料悄悄出錯,有些則只是提高你在反機器人系統中的分數,讓之後的每個請求都受到更多懷疑。沒發生什麼明顯的事,不代表什麼事都沒發生。

輪替 IP 能解除蜜罐標記嗎?

它能讓標記離開那個特定的位址,如果標記只記錄在 IP 上,這有幫助。如果網站也為用戶端建立了指紋,就沒有幫助,因為同一個指紋出現在新的位址上,是比待在原地更強的訊號。而且它對觸發陷阱的行為毫無作用,所以下一個位址也會觸發它。

回到完整詞彙表。

HProxy.

別只聽我們說。 自己量測看看。

在你的瀏覽器中針對即時位址執行。不需註冊,也不儲存清單。

HProxy