爬蟲負責發現;資料擷取工具負責擷取。網路爬蟲(web crawler)從一些種子網址開始,沿著找到的連結從一個頁面走到另一個頁面,描繪出一個網站或網路的一部分。爬取資料則是你對它抓取的頁面所做的事。兩者通常一起執行,所以這兩個詞常被混用,但爬蟲特指決定下一步去哪裡的那一部分。
任何規模的爬行都會撞上和資料爬取同樣的牆:從一個位址快速發現的大量請求,會被限流或封鎖。一個沿著數千個連結走的爬蟲,需要把這些請求分散到代理池,否則它會在第一個繁忙的網域上把自己勒死。
守規矩的爬蟲也會遵守網站為它們公布的規則,這既是禮貌,也是實務問題:無視它們,正是會讓位址被標記的行為之一。
爬行真正的難題,在於決定要抓什麼,以及知道什麼時候停下來。一個沿著看到的每個連結走的天真爬蟲,會透過不同的網址重複造訪同樣的內容、闖進像為每個未來日期都產生新頁面的日曆那樣的無限空間、沿著把一個商品清單變成數千個近乎相同網址的篩選和排序參數走,還會透過外連離開網站。
所以重要的機制是記帳。一份正規化的已看過紀錄,讓參數順序不同的網址被認出是同一個頁面。明確的範圍規則,說明哪些網域和路徑在範圍內。深度上限。還有禮貌:對同一台主機的請求之間要有延遲,並限制同時對它發出的請求數,因為猛攻單一網域的爬蟲,不論意圖如何,都和攻擊無從區分。
蜜罐是爬蟲會掉進去的特定陷阱,而它利用的正是讓爬蟲優秀的徹底性。以 CSS 隱藏的連結,或在 robots.txt 中禁止的路徑,是任何人都不會請求的東西,所以任何請求它的東西都表明了自己的身分。沿著找到的每個連結走,正是被監看的行為,這就是為什麼渲染頁面、只沿著真正可達的連結走,勝過解析原始標記、跟著其中的每個連結走。
和資料擷取工具的區別值得分清楚,因為它會改變你最佳化的方向。爬蟲的工作是涵蓋:找到一切,不重複也不迴圈。資料擷取工具的工作是擷取:在版面改變時仍可靠地從頁面取出欄位。大多數專案兩者都需要,而它們的失敗方式完全不同。
常見問題
爬蟲和資料擷取工具有什麼差別?
爬蟲負責發現,資料擷取工具負責擷取。爬蟲藉由沿著連結走並管理已看過的內容,決定接下來要抓哪些網址;資料擷取工具則從抓到的任何東西中取出你要的欄位。大多數專案兩者都執行,而它們的失敗方式不同:爬蟲因迴圈或涵蓋不足而失敗,資料擷取工具則在版面改變時失敗。
怎麼避免我的爬蟲陷入迴圈?
在記錄網址之前先正規化,讓順序不同的查詢參數或結尾斜線不會被當成新頁面,並把每個候選網址和已看過的比對。加上深度上限,以及說明哪些網域和路徑在範圍內的明確規則。留意像日曆和多面向篩選這類無限空間,它們會從有限的內容產生無限多個有效網址。
爬蟲應該多快?
比它能做到的慢。對同一台主機的請求之間要有延遲,並限制每個網域的並行數,因為讓一個網站飽和的爬蟲,不論你的意圖如何,都和攻擊無從區分。如果 robots.txt 指定了爬行延遲,就遵守它。把負載分散到許多主機,整體上更快,也遠比較不可能被封鎖。
為什麼我的爬蟲很有禮貌,還是被封鎖了?
節奏上的禮貌,保護不了你不觸發蜜罐。沿著標記中的每個連結走,包括以 CSS 隱藏或在 robots.txt 中禁止的連結,正是表明自動化身分的行為,請求速率從來不是問題。請在渲染後的頁面上,只沿著真正可達的連結走。
回到完整詞彙表。

