無頭瀏覽器(headless browser)是完整的瀏覽器,Chrome 或 Firefox,在沒有人會看到的圖形視窗下執行。它完全像真正的瀏覽器一樣渲染頁面、執行 JavaScript 並建立同樣的 DOM,但它由程式碼驅動,這讓它成為爬取一般 HTTP 請求讀不到的網站的工具。
問題在於無頭模式會留下痕跡。過去無頭旗標本身就能被偵測,即使到現在,無頭執行個體往往也缺少真實使用者工作階段的外掛、精確的渲染特性和互動模式,而這些全都能被指紋辨識抓到。
所以無頭瀏覽器是渲染的必要工具,但要不被注意還不夠。它要搭配住宅代理修正網路破綻,再搭配指紋和行為管理修正其餘的部分。
成本面通常被低估,而在按 GB 計費時,它正是悄悄毀掉預算的東西。瀏覽器會像瀏覽器那樣抓取頁面:每張圖片、每個字型、樣式表、追蹤腳本和影片預載。有用資料只有 50 KB HTML 的商品頁面,總共可能拉下兩三 MB。把這乘上一項使用住宅頻寬的大型工作,帳單其實是付給瀏覽器的。
它在其他每個面向也都更重。一個無頭瀏覽器執行個體會消耗數百 MB 的記憶體和真實的 CPU,HTTP 請求則幾乎不消耗什麼,所以同一台機器能維持的並行數會降低一個數量級。這個限制往往比每個請求的速度差異更重要。
所以第一個值得問的問題是:你到底需不需要它。很多看起來由 JavaScript 渲染的頁面,其實是由頁面自己呼叫的 JSON 端點提供資料,直接呼叫那個端點,就能以一小部分的大小取得同樣的資料,而且不必渲染。在網路分頁中找到它,常常是爬取專案中最有價值的一小時。
當你確實需要渲染時,封鎖你不會解析的東西。每個主要的自動化框架都能依資源類型攔截請求,拒絕圖片、字型、媒體和樣式表,能大幅減少頻寬,同時保留你真正要的 DOM。
常見問題
爬取資料需要無頭瀏覽器嗎?
只有當資料確實要在 JavaScript 執行後才存在時才需要,而這種情況比看起來少。先檢查頁面是否由你能直接呼叫的 JSON 端點提供資料,因為那能以小得多、快得多的方式回傳同樣的資料,完全不必渲染。確認沒有更簡單的途徑之後,才動用瀏覽器。
使用無頭瀏覽器時,怎麼減少頻寬?
攔截請求,封鎖你不會解析的資源類型:圖片、媒體、字型,通常還有樣式表。每個主要框架都支援這一點。它常常能把頁面大小減少一個數量級,同時保留 DOM,這在按 GB 計費的住宅代理上極為重要。
網站能偵測到無頭瀏覽器嗎?
能,而把它當成隱形的真正瀏覽器,是常見的錯誤。除了過去的無頭旗標之外,執行個體在它公開的屬性、存在的外掛和字型、渲染行為上往往都不同,最重要的是完全沒有人類互動:沒有滑鼠移動、沒有捲動、沒有閱讀停頓。行為比任何單一屬性都更可靠地洩露了它。
無頭瀏覽器比 HTTP 請求慢嗎?
在時間和資源上都慢得多。它下載並渲染整個頁面,每個執行個體會消耗數百 MB 的記憶體和真實的 CPU。實際的結果是,一台機器能維持的並行數大約會降低一個數量級。
回到完整詞彙表。

