robots.txt 是網站在根目錄公布的純文字檔,表明它希望自動化訪客如何行事,要略過哪些路徑,有時還有爬行要多慢。這是一項守規矩的爬蟲會遵守的長期慣例,搜尋引擎則嚴格遵守它。
要說清楚:它無法控制存取。robots.txt 只是請求,沒有強制力;沒有任何技術手段能阻止對被禁止路徑的請求。但無視它既是不好的做法,也是實際的風險,因為看到流量連到它要求爬蟲避開的路徑的網站,就有了一個簡單的訊號,知道訪客是行為不良的機器人。
合理的解讀是,robots.txt 標示了受歡迎的自動化的邊界。待在邊界之內,能讓爬蟲留在被容忍的流量類別中。
它在機制上很簡單,這也是它數十年來維持不變的部分原因。群組以一行 User-agent 開頭,指名規則適用於哪個爬蟲,接著是列出路徑前綴的 Disallow 和 Allow 行。User-agent 行中的星號,代表所有沒有被更具體指名的人。很多網站也會公布一行 Sitemap,這確實很有用:它指向一份網站真正希望被找到的網址的結構化清單。
它造成的陷阱和它的目的正好相反,而且會抓到自以為聰明的人。如果把它當成有趣地點的清單來讀,一個被禁止的路徑看起來就像在暗示那裡藏著有價值的東西。實際上常常正好相反:那是任何正當爬蟲都不會請求的路徑,所以任何請求它的東西都輕易就能被辨識。把這個檔案當作地圖,就是刻意走進蜜罐。
也要說清楚,它不是安全機制,也從來不打算是。被禁止的路徑仍然可以公開連上,所以任何人都能請求它,什麼也阻止不了。在 robots.txt 中公布敏感東西的位置,等於向所有人宣傳它,同時客氣地請大家別看,兩邊的缺點都占了。
我們採取、也建議作為最低標準的實務立場是:讀它、遵守禁止規則、遵守它指定的任何爬行延遲,並使用它提供的網站地圖。遵守它幾乎沒有成本,能讓你留在網站容忍的流量類別中,也能避開最可靠地把位址標記為行為不良的那個訊號。
常見問題
無視 robots.txt 違法嗎?
它是一種慣例,而法律立場依司法管轄區而異,也可能和網站的服務條款相互影響,所以應該請教律師。實務上的答案則是另一回事,也更清楚:無視它是讓位址被標記最可靠的方法之一,因為被禁止的路徑正是任何正當的東西都不會請求的。
robots.txt 真的會封鎖任何東西嗎?
不會。它只是一項公開的請求,沒有控制存取的能力。每個被禁止的路徑仍然可以公開連上,沒有任何技術手段能阻止對它的請求。這也是為什麼把敏感的東西列在那裡適得其反:它向所有人宣傳了位置,卻只靠禮貌來保護它。
robots.txt 能告訴我好資料在哪裡嗎?
它能告訴你陷阱在哪裡,這是有用的反向解讀。一個沒有任何連結指向的被禁止路徑,很可能是蜜罐,因為只有無視這個檔案的自動化程式才會出現在那裡。真正有用的是 Sitemap 那一行,它指向一份網站積極希望被發現的網址結構化清單。
怎麼讀 robots.txt 檔案?
它依爬蟲分組。User-agent 行指名接下來的規則適用於誰,星號代表任何沒有被特別指名的人,Disallow 和 Allow 行則在它底下列出路徑前綴。找到適用於你的群組,通常是星號群組,並遵守那些規則。Sitemap 行可以出現在任何地方,適用於所有人。
回到完整詞彙表。

