ZH
開始使用

術語表

擷取與自動化

API 爬取

呼叫頁面使用的 JSON 端點來收集資料,不必解析 HTML;有這種端點時,通常是最快、最便宜也最可靠的途徑。

API 擷取代表直接取用頁面本身所使用的來源。大多數現代網站不會把資料嵌入 HTML 中;它們先送出一個外殼,再從背景中的 JSON 端點取得真正的內容。這些端點是為了服務網站自己的前端而存在的,而在絕大多數情況下,你都可以直接呼叫它們,取得結構化的資料,不必解析呈現出來的頁面。只要有這樣的端點,它幾乎總是正確的答案。

它的優勢與本術語表中的其他一切層層相加。你可以略過呈現,所以不需要無頭瀏覽器及其成本。你可以略過解析,因為 JSON 本來就是結構化的,所以不需要針對版面變化維護選擇器。你傳輸的位元組只有一小部分,因為你不必拉取圖片、字型與腳本,在按 GB 計費的情況下,這就是直接的節省。而且資料通常比頁面顯示的更乾淨、更完整,因為端點常常會回傳前端選擇不顯示的欄位。

找到它們是一項可以重複練習的技能,與運氣無關。打開瀏覽器的網路分頁,篩選回傳 JSON 的請求,並觀察你想要的資料出現時觸發了哪些請求,無論是載入時、捲動時,還是點擊篩選條件時。分頁與參數都在這些請求中看得到,所以你可以透過閱讀網站所發出的請求,學會如何取得第二頁、特定分類或某個日期範圍。在網路分頁中花的那半小時,往往是整個專案中價值最高的工作。

誠實的提醒能讓它不被神化。這些端點沒有文件,而且因為是內部使用,可能會在沒有通知的情況下改變,所以它們和任何擷取一樣需要監控。它們常常帶有自己的驗證,例如頁面產生的權杖或簽署參數,有時必須重現,偶爾還是最困難的部分。它們和任何其他介面一樣有速率限制與防護,所以代理與節奏控制仍然適用。而如果網站確實在伺服器端把資料呈現進 HTML、沒有獨立的端點,API 擷取就不適用,解析才是正途。但只要有端點存在,先去碰 HTML,就是用困難的方式做一件簡單的工作。

常見問題

我要如何找到網站的隱藏 API?

打開瀏覽器的網路分頁,篩選回傳 JSON 的請求,並觀察你想要的資料出現時觸發了哪些請求,無論是載入時、捲動時,還是點擊篩選條件時。這些請求會揭露端點、它的參數與分頁方式,所以你可以直接呼叫它。這是一項可以重複練習的技能,而它所花的半小時,往往能省下專案其餘的全部時間。

擷取 API 比擷取 HTML 更好嗎?

只要有端點存在,幾乎總是如此。你可以略過呈現與解析,傳輸的位元組少得多,取得的結構化資料往往比頁面顯示的更乾淨、更完整,也更穩定,因為它不會因版面變化而失效。例外是那些把資料呈現進 HTML、沒有獨立端點的網站,那時解析就是唯一的途徑。

擷取 API 時我還需要代理嗎?

需要。網站的內部端點和任何其他介面一樣有速率限制與防護,同樣依你的位址計算,所以你在 HTML 上使用的 IP 池、輪換與節奏控制,全都照樣適用。改變的是每個請求的成本與可靠性,目標會不會計算並審查這些請求並沒有改變。

回到完整詞彙表。

HProxy.

定義只能帶你走到這裡。 執行 對比 真實目標.

住宅代理 每 GB US$ 0.23 起,隨用隨付,餘額永不過期。

HProxy