ZH
開始使用

術語表

擷取與自動化

資料解析

把取得的回應轉成結構化資料,這是爬取在網路之後發生的那一半,而且會因為完全不同的原因壞掉。

抓取是爬取中吵鬧的那一半,有代理、封鎖和重試;解析則是安靜的那一半,價值實際出現在這裡。回應以位元組抵達,可能是標記、JSON,偶爾更糟,解析就是從抵達到一筆乾淨資料之間的一切:解碼、建樹、選取、正規化、驗證。資料管線通常以抓取速率被評判,卻因解析品質而死。

對 HTML 來說,解析代表用一個能容忍真實網路的解析器建立文件樹,在真實網路上,標籤不會關閉,巢狀結構只是理想。合格的解析器會像瀏覽器一樣修復這種標記;用正規表示式臨時擷取,在第一個屬性以意外的順序出現之前都還行得通,這就是為什麼在標記上用正規表示式,是社群公認的警世故事。一旦有了樹,指向語言就接手,當選取有了穩固的立足點,解析的工作就完成了。

最好的解析做法,常常是完全避開 HTML。現代頁面本來就以結構化形式攜帶資料:供頁面自己腳本使用的 JSON 回應、內嵌在文件中的狀態區塊,以及網站為搜尋引擎公布的機器可讀標註,例如放在 script 標籤中、依公開詞彙標記的商品名稱、價格和供貨狀態。讀取這些,就能得到有型別的欄位,不必考古選擇器,而且它們的變動頻率遠低於版面,因為其他機制依賴它們。

編碼是一切底下的陷阱。位元組要透過字元編碼才會變成文字,假設錯誤的編碼,就會產生亂碼,也就是技術上成功的解析中,那些扭曲的貨幣符號和重音字母。宣告的字元集偶爾會說謊;壓縮過的回應必須先解壓縮;數字還會帶著語系的打扮抵達,1.299,00 和 1,299.00 對哪個符號是小數點意見不一。正規化,例如把價格轉成數字和幣別、把日期轉成帶時區的形式、合併空白,也屬於解析,跳過它只會把工作移到你資料的每個使用者身上。

區分耐用資料管線的紀律,在於驗證輸出。在明顯有在賣東西的頁面上找不到任何價格的解析,就是一個訊號,要不是版面移動了,就是網站給你的不是真正的頁面,而把空欄位記錄為成功的資料管線,會讓資料倉儲塞滿自信的空白。解析失敗在大聲時很便宜,在無聲時則是災難,所以讓它們大聲。

常見問題

為什麼不該用正規表示式解析 HTML?

因為標記的結構,巢狀、順序任意的選用屬性、由瀏覽器修復的未關閉標籤,正是正規表示式無法追蹤的。在一個頁面上撐得住的模式,在它的兄弟頁面上就會粉碎。真正的 HTML 解析器會把這團混亂修復成一棵樹,選擇器再可靠地定位它,而正規表示式仍然適合它擅長的事:清理個別擷取出來的字串。

網頁上最容易解析的資料是什麼?

頁面本來就以資料形式公布的資料。很多網站為搜尋引擎內嵌機器可讀的標註,也就是放在 script 標籤中、標記好的名稱、價格、供貨狀態 JSON,還有更多網站以頁面自己腳本消費的 JSON 形式提供狀態。兩者都能給你有型別的欄位,不需要選擇器的工作,也都比版面穩定,因為其他系統依賴它們。

為什麼我爬到的文字出現亂碼?

編碼不符:位元組被以錯誤的字元集解碼,通常是因為相信了錯誤或缺少的宣告。結果就是亂碼,在其他方面成功的解析中出現扭曲的重音和貨幣符號。偵測並遵守真正的編碼,在解碼之前先解壓縮,並在含有非英文文字的頁面上測試,失敗在那裡會立刻顯現。

我怎麼知道我的解析器仍然正常運作?

驗證輸出。要求預期的欄位確實出現,價格是數字、日期合理、在明顯有項目的頁面上數量大於零,沒有時就發出警報。版面改變和無聲的降級回應,都表現為帶著空白或錯誤欄位的成功抓取,所以唯一可靠的警報線,就是對資料本身做斷言。

回到完整詞彙表。

HProxy.

定義只能帶你走到這裡。 執行 對比 真實目標.

住宅代理 每 GB US$ 0.23 起,隨用隨付,餘額永不過期。

HProxy