分頁是網站一次只提供長清單其中一部分的方式,這也是擷取悄悄出錯的地方。取得第一頁很容易;取得所有頁面、每頁剛好一次,並且知道何時已經全部取得,才是真正的工作,而這當中充滿了看似簡單的陷阱。大多數不完整的資料集,問題都出在分頁處理得有點不對,被封鎖反而少見。
機制各不相同,正確的做法也隨之不同。傳統的編號頁面或「下一頁」連結是友善的情況:一直跟著連結走,直到它消失為止。以偏移量為基礎的分頁,例如第 2 頁、第 3 頁,很簡單,但當清單在你底下變動時就會出錯,在請求之間隨著內容移動,悄悄地略過或重複項目。以游標為基礎的分頁,每個回應都會給你下一頁的權杖,是穩健的現代形式,也是最能從直接呼叫資料端點中受益的形式。而無限捲動根本沒有頁面:內容會隨著你捲動而載入,這通常代表背景中有一個你可以找到並直接呼叫的請求,不必真的呈現頁面。
最後這一點是槓桿效果最大的做法,而它與呈現及 API 的條目相關。無限捲動與動態載入的清單,看起來像是需要無頭瀏覽器永無止境地捲動,但捲動幾乎總是在底下觸發一個分頁的資料請求,而帶著頁碼或游標參數直接呼叫那個請求,就能以乾淨的片段取得整份清單,比操控瀏覽器更快、更便宜。在網路分頁中找到分頁機制,往往就是困難的擷取變成簡單擷取的那一刻。
有兩種失敗模式值得點名,因為它們實在太常見了。第一種是太早停止,對空白頁面或缺少的「下一頁」連結處理不一致,結果悄悄地只拿到四分之三的資料就結束了,這就是為什麼要用網站宣稱的總數來驗證收集到的數量。第二種是爬蟲條目所描述的爬蟲陷阱:分面篩選與日曆會從有限的內容產生無窮無盡的有效頁面,所以沒有範圍限制的分頁,會讓爬蟲走進一個無限的空間。分頁是涵蓋範圍成敗的關鍵,無論是太少還是太多。
常見問題
我要如何擷取清單的所有頁面,而不只是第一頁?
依機制選擇方法。傳統分頁就一直跟著「下一頁」連結走,直到它消失;編號頁面要小心地遞增偏移量,並留意項目在請求之間是否移動;以游標為基礎的分頁,就跟著每個回應給你的權杖走,這是最可靠的方式。至於無限捲動,找出捲動時在背景觸發的請求,帶著它的頁碼或游標參數直接呼叫。
我要如何擷取無限捲動的頁面?
通常完全不需要捲動。無限捲動會在你到達底部時在背景觸發一個分頁的資料請求,所以打開網路分頁,找到那個請求,帶著它的頁碼或游標參數直接呼叫,就能以乾淨的片段取得整份清單。這比操控無頭瀏覽器無止境地捲動更快、更便宜,也比較不容易出錯。
為什麼我的爬蟲在各頁之間遺漏了資料?
最常見的是分頁處理得有點不對:在不一致的空白頁面或缺少的「下一頁」連結上太早停止,或對一份在請求之間會變動的清單使用偏移量,導致項目被略過或重複。用網站回報的數量驗證收集到的總數,並優先使用以游標為基礎的分頁或直接的資料端點,它們比較不容易出現悄悄的缺漏。
回到完整詞彙表。

