ZH
開始使用

AI 擷取用代理。 為模型提供乾淨的資料。

語言模型的好壞取決於背後的資料,而這些資料就在會封鎖大量收集的網站上。住宅 IP 與爬蟲 API 能以訓練所需的規模收集資料,而不會遭到封鎖。

適合的選擇

2 項產品適合,最佳的排在前面

住宅推薦用於AI 擷取

200 多個國家的真實裝置 IP

  • 輪換或固定工作階段
  • Premium 提供州、城市與 ISP 定位
  • 按 GB 付費,餘額永不過期
  • HTTP 與 SOCKS5

從

US$ 0.23/ GB

開始使用

網路爬蟲

一次 REST 呼叫取回結構化 JSON

  • 代理、重試與解析都已處理
  • 被封鎖或出錯的呼叫不計費
  • 每次呼叫從你的餘額付款
  • 免訂閱,無每月最低消費

從

US$ 1.49/ 1,000 次呼叫

開始使用
住宅代理
通用的工具:被視為一般訪客的真實家用 IP,讓收集數百萬個頁面的爬取,不會觸發大量收集通常會遇到的防護。
爬蟲 API
當你完全不想自己執行爬蟲時:送出一個網址,取回乾淨的結構化資料,代理、重試與解除封鎖都替你處理好。

訓練資料是一個量的問題,而大量正是會被封鎖的原因

組建資料集意味著要以百萬計地擷取頁面,而沒有任何網站會依意圖區分研究用的爬取與惡意的爬取。網站會依位址計算請求數,而單一 IP 拉取這麼大的量,正是速率限制與機器人防護首先要阻擋的對象。

把爬取分散到大型住宅 IP 池,才能讓這麼大的量撐下來。每個位址只承擔總量的一小部分,看起來就像真實的訪客,讓爬取得以完成,不會在幾千次請求後就崩潰成一片封鎖與驗證碼。

乾淨的輸入,或乾淨的輸出

有兩種誠實的做法。執行你自己的爬蟲並經由住宅 IP 傳送,讓你完全掌控擷取什麼、如何擷取。或者把擷取工作交給爬蟲 API,它接收網址並回傳解析好的資料,吸收代理輪換、重試與解除封鎖,讓你的資料管線只會看到乾淨的結果。

兩者都不是你能從架上買到的資料集,我們也不會假裝販售資料集。我們提供的是收集層,也就是 IP 與擷取,把開放的網路轉化為你的模型實際訓練用的輸入。

如何為 AI 擷取設定代理

  1. 1

    決定由誰擷取

    當你需要掌控每一個請求時,就用住宅代理設定執行你自己的爬蟲。當來源是爬蟲 API 支援的平台之一,而你想取回解析好的結果時,就使用爬蟲 API。

  2. 2

    為爬取產生設定

    選擇一個或多個國家,每個工作程序一行。輪換式設定會分散流量,所以沒有任何單一位址承擔太多。

  3. 3

    控制每個工作程序的節奏

    讓每個工作程序維持在一位訪客會產生的請求頻率,把流量交給設定的數量來承擔。

  4. 4

    只保留真實的頁面

    在每個回應進入資料集之前先檢查:狀態碼、長度,以及真實頁面上應該會有的某個字詞。許多封鎖頁面會以狀態碼 200 回應。

  5. 5

    記錄每個頁面的來源

    為每個頁面儲存網址、日期與出口國家,這樣日後發現某個頁面其實是封鎖頁面或地區版本時,就能找到並移除。

AI 擷取:常見問題與解決方法

封鎖頁面混進了資料集
驗證挑戰頁面以狀態碼 200 回應。在儲存頁面之前先檢測,並用新的住宅設定重新擷取那個頁面。
同一個頁面重複出現很多次
一個頁面存在於多個網址下。將網址正規化,並依內容的雜湊值移除重複項目。
資料集中混入了不同地區的版本
工作程序之間的出口國家改變了。在每一行設定上固定國家,讓每個頁面都來自你預期的市場。
一段時間後傳輸量下降
網站會降低重複模式的速度。把爬取分散到更多行設定上,並改變請求的順序。

設定指南與工具

FAQ

AI 擷取 個問題解答

我可以用這些代理為 LLM 收集訓練資料嗎?

可以。住宅代理與爬蟲 API 正是為此而生的收集層:以訓練語料所需的規模擷取公開網頁。你擷取什麼以及如何使用,由你決定,也由你負責;代理只是傳輸工具。

我應該使用住宅代理還是爬蟲 API?

當你執行自己的爬蟲、想掌控擷取過程時,使用住宅代理。當你寧願送出網址就取回乾淨的資料、讓封鎖問題由別人處理時,使用爬蟲 API。許多資料管線兩者並用:困難的目標用 API,其他一切用原始的住宅代理。

資料中心代理適用於 AI 擷取嗎?

對於沒有防護的來源,適用,而且更便宜。但值得擷取以取得高品質資料的網站,通常一看到資料中心 IP 段就會進行審查,所以在任何實際規模下,讓爬取撐下去的都是住宅代理。

你們有販售 AI 資料集嗎?

沒有。我們販售的是讓你自行收集資料的代理與爬蟲 API。我們沒有經營資料集市集或模型,也不會暗示我們有。

如何避免封鎖頁面進入資料集?

在保留每個回應之前先檢查:狀態碼、長度,以及真實頁面上應該會有的某個字詞。許多封鎖頁面會以狀態碼 200 回應,所以單靠狀態碼抓不到它們。

每個來源都需要住宅代理嗎?

不需要。不依網路審查的來源,使用成本較低的資料中心位址就能運作。只有在來源會封鎖資料中心 IP 段時,才使用住宅代理。

相關內容:AI 代理程式, 網路爬蟲。

本頁術語說明

這項工作用到的術語,以淺白的語言定義。

瀏覽完整術語表,涵蓋代理、網路與擷取的所有術語。

HProxy.

上面的一切,實際運作。 從一個即時 IP開始。

住宅代理 每 GB US$ 0.23 起,隨用隨付,餘額永不過期。

HProxy