適合的選擇
2 項產品適合,最佳的排在前面
- 住宅代理
- 通用的工具:被視為一般訪客的真實家用 IP,讓收集數百萬個頁面的爬取,不會觸發大量收集通常會遇到的防護。
- 爬蟲 API
- 當你完全不想自己執行爬蟲時:送出一個網址,取回乾淨的結構化資料,代理、重試與解除封鎖都替你處理好。
乾淨的輸入,或乾淨的輸出
有兩種誠實的做法。執行你自己的爬蟲並經由住宅 IP 傳送,讓你完全掌控擷取什麼、如何擷取。或者把擷取工作交給爬蟲 API,它接收網址並回傳解析好的資料,吸收代理輪換、重試與解除封鎖,讓你的資料管線只會看到乾淨的結果。
兩者都不是你能從架上買到的資料集,我們也不會假裝販售資料集。我們提供的是收集層,也就是 IP 與擷取,把開放的網路轉化為你的模型實際訓練用的輸入。
如何為 AI 擷取設定代理
- 1
決定由誰擷取
當你需要掌控每一個請求時,就用住宅代理設定執行你自己的爬蟲。當來源是爬蟲 API 支援的平台之一,而你想取回解析好的結果時,就使用爬蟲 API。
- 2
為爬取產生設定
選擇一個或多個國家,每個工作程序一行。輪換式設定會分散流量,所以沒有任何單一位址承擔太多。
- 3
控制每個工作程序的節奏
讓每個工作程序維持在一位訪客會產生的請求頻率,把流量交給設定的數量來承擔。
- 4
只保留真實的頁面
在每個回應進入資料集之前先檢查:狀態碼、長度,以及真實頁面上應該會有的某個字詞。許多封鎖頁面會以狀態碼 200 回應。
- 5
記錄每個頁面的來源
為每個頁面儲存網址、日期與出口國家,這樣日後發現某個頁面其實是封鎖頁面或地區版本時,就能找到並移除。
AI 擷取:常見問題與解決方法
- 封鎖頁面混進了資料集
- 驗證挑戰頁面以狀態碼 200 回應。在儲存頁面之前先檢測,並用新的住宅設定重新擷取那個頁面。
- 同一個頁面重複出現很多次
- 一個頁面存在於多個網址下。將網址正規化,並依內容的雜湊值移除重複項目。
- 資料集中混入了不同地區的版本
- 工作程序之間的出口國家改變了。在每一行設定上固定國家,讓每個頁面都來自你預期的市場。
- 一段時間後傳輸量下降
- 網站會降低重複模式的速度。把爬取分散到更多行設定上,並改變請求的順序。
設定指南與工具
FAQ
AI 擷取 個問題解答
我可以用這些代理為 LLM 收集訓練資料嗎?
可以。住宅代理與爬蟲 API 正是為此而生的收集層:以訓練語料所需的規模擷取公開網頁。你擷取什麼以及如何使用,由你決定,也由你負責;代理只是傳輸工具。
我應該使用住宅代理還是爬蟲 API?
當你執行自己的爬蟲、想掌控擷取過程時,使用住宅代理。當你寧願送出網址就取回乾淨的資料、讓封鎖問題由別人處理時,使用爬蟲 API。許多資料管線兩者並用:困難的目標用 API,其他一切用原始的住宅代理。
資料中心代理適用於 AI 擷取嗎?
對於沒有防護的來源,適用,而且更便宜。但值得擷取以取得高品質資料的網站,通常一看到資料中心 IP 段就會進行審查,所以在任何實際規模下,讓爬取撐下去的都是住宅代理。
你們有販售 AI 資料集嗎?
沒有。我們販售的是讓你自行收集資料的代理與爬蟲 API。我們沒有經營資料集市集或模型,也不會暗示我們有。
如何避免封鎖頁面進入資料集?
在保留每個回應之前先檢查:狀態碼、長度,以及真實頁面上應該會有的某個字詞。許多封鎖頁面會以狀態碼 200 回應,所以單靠狀態碼抓不到它們。
每個來源都需要住宅代理嗎?
不需要。不依網路審查的來源,使用成本較低的資料中心位址就能運作。只有在來源會封鎖資料中心 IP 段時,才使用住宅代理。

