ZH
開始使用

術語表

擷取與自動化

JavaScript 渲染

頁面在載入後於瀏覽器中建構內容的過程,決定了抓取 HTML 拿到的是資料還是空殼。

請求成功了,HTML 也抵達了,資料卻不在裡面。在瀏覽器中看同一個頁面,一切都在。什麼都沒故障:這個網站在用戶端渲染,代表你抓到的文件幾乎是一個空舞台,內容是在載入後由 JavaScript 抓取資料並寫進頁面建構的。你的 HTTP 用戶端收到的和瀏覽器收到的完全一樣;瀏覽器接著做了你的用戶端沒做的工作。

網站使用哪種架構,是任何爬取的第一個診斷問題,而且幾秒就能回答。瀏覽器的檢視原始碼顯示的是傳遞時的文件;開發者工具的元素檢查器顯示的是腳本執行後的樹。如果價格在後者而不在前者,你看到的就是用戶端渲染。網路分頁接著會顯示更有用的事實:腳本從哪裡取得資料,而那幾乎總是一個你的用戶端能直接發出的整齊 JSON 請求。

這個觀察決定了整個工具箱的順序。面對渲染頁面,最好的回應通常是不渲染:呼叫底層的資料端點,以一小部分的傳輸量取得結構化欄位。幾乎同樣好的是,伺服器渲染框架會把完整的狀態以 JSON 區塊的形式內嵌在傳遞的 HTML 中,當代的 React 和 Next.js 網站把它放在 script 標籤中,解析那個區塊,就能在不執行任何東西的情況下取得頁面知道的一切。只有在兩者都不存在時,重型的選項才值得動用:一個真正執行頁面的無頭瀏覽器,連同它帶來的成本和可偵測性。

中間的情況值得單獨一提,因為它現在是常見的那種。水合,也就是伺服器傳遞真正的 HTML、腳本再接上互動性的模式,代表很多現代頁面確實可以從原始文件爬取,空殼時代已經部分結束了。陷阱則反過來:抓取時就存在的內容,仍可能在載入後被取代,例如價格被更新的請求更新、地區版本被換上,所以要符合使用者看到的內容,有時即使抓到的 HTML 看起來很完整,仍需要渲染。

對代理規劃來說,渲染會讓一切倍增。一次渲染的頁面載入會發出數十個請求,腳本、資料呼叫、資源,每一個都經過你的出口,所以按 GB 計費對渲染的感受最深,而增加的暴露面,包括真實的瀏覽器行為,正是偵測系統接下來要看的地方。這個決定的影響大到要依目標逐一做:只渲染需要渲染的頁面,其他地方都抓取資料層。

常見問題

怎麼判斷一個頁面需要 JavaScript 渲染才能爬取?

比較傳遞的文件和即時的樹:檢視原始碼對照元素檢查器。資料只在腳本執行後才出現,代表用戶端渲染。接著打開網路分頁,找出資料從哪裡來;通常會出現一個你能直接呼叫的 JSON 端點,而這個發現常常讓渲染問題變得無關緊要。

不用無頭瀏覽器能爬取 JavaScript 網站嗎?

常常可以。頁面自己的資料端點可以直接呼叫,伺服器渲染框架也會把完整的狀態以 JSON 內嵌在 HTML 中,解析一次就能讀取。對資料確實只在執行後才存在的頁面,無頭瀏覽器是正確的最後手段,不該是面對任何看起來很現代的東西時的預設第一步。

什麼是水合?它為什麼對爬取很重要?

水合是伺服器傳遞完整 HTML、用戶端腳本再在上面接上互動性的模式。它很重要,因為這類頁面確實可以從抓取的文件爬取,推翻了空殼的假設,只有一個提醒:腳本仍可能在載入後取代傳遞的內容,所以對即時更新的資料,你解析的內容和使用者目前看到的可能有落差。

JavaScript 渲染會花更多頻寬嗎?

多得多。執行頁面會觸發一整串經過你出口的腳本、資料和資源請求,輕易就比只抓取文件多一個數量級,而按 GB 計費的住宅代理會把這直接變成錢。封鎖不需要的資源類型能省回很多,跳過渲染、改抓資料層,幾乎能全部省回。

回到完整詞彙表。

HProxy.

定義只能帶你走到這裡。 執行 對比 真實目標.

住宅代理 每 GB US$ 0.23 起,隨用隨付,餘額永不過期。

HProxy