ZH
開始使用

術語表

擷取與自動化

爬蟲 API

接收目標網址並回傳頁面資料的服務,在單一端點背後處理代理、渲染、重試和反機器人阻力。

這項產品就是一次 HTTP 呼叫。你送出目標網址,加上要呈現的國家或是否渲染 JavaScript 之類的選項,回應就是頁面,以 HTML 或解析後的資料呈現。本詞彙表花了許多篇幅解釋的一切,選擇出口、輪替出口、讓指紋符合位址、重試失敗、撐過挑戰,全都在端點內部發生,由全職負責讓它持續運作的人執行。

它之所以存在,是因為收集的難度極度不均。大多數網站什麼都不需要:經由合理代理的一般請求就會成功,而且永遠會。少數網站則位於持續重新調整的防禦後方,在那裡維持存取是一個需要持續守住的陣地,而這份維護是某人持續投入的工作時間。這個 API 把這個人力問題轉換成計量服務:營運者同時為所有客戶守住陣地,你則消費結果。

計費模式透露了你實際買的是什麼。代理方案按流量計量;爬蟲 API 通常按成功請求收費,失敗免費,較困難的設定,例如 JavaScript 渲染、高級出口,則以倍數定價。按成功計價把重試的風險放在營運者身上,而這正是你想甩掉的風險。它也讓比較變得誠實:決定哪種做法對某個目標比較便宜的數字,是每千個結果的成本。

取捨在於控制和經濟。在容易的目標上,API 的溢價什麼也買不到,因為原始代理在那裡已經能以一小部分的價格成功,而在非常大的量下,按請求計價會越來越不利於你。在端點內部,你也繼承了它的選擇:它的節奏、它的工作階段行為、它的解析方式,而你自己的用戶端本可以精確調整這些。所以合理的分工依難度而定:原始代理處理大部分容易的目標,API 處理困難的尾端,在那裡它營運者的維護就是產品,並隨著目標防禦的變化,願意把目標在兩條路線之間移動。

整合之前值得檢查一個能力上的區別:有些產品回傳原始的渲染頁面,把擷取留給你,有些則針對特定網站類型回傳結構化欄位,而後者會以不同的方式悄悄壞掉,因為版面改變會變成營運者的解析錯誤。先想清楚你寧願自己承擔哪一種失敗。

HProxy 如何處理

我們在各類代理之外還經營爬蟲 API,因為這兩條路線確實適合不同的目標,而且我們會告訴你哪一種適合你的目標:容易的網站用一般代理比較便宜,在那裡付我們的按請求費率,等於買你不需要的幫助。

常見問題

什麼時候該用爬蟲 API 而不用代理?

依難度區分。透過像樣的出口發出一般請求就能成功的目標,用原始代理比較便宜,在大量時也一直如此。防禦需要持續調整的目標,才是按成功計價和別人的維護值得溢價的地方。很多資料管線同時執行兩條路線,並隨著網站變嚴或放寬,把目標在兩者之間移動。

為什麼爬蟲 API 按請求計費,不按 GB 計費?

因為交付的是結果。只為成功的結果收費,把重試和失敗的風險轉移到營運者身上,而這正是你付錢想擺脫的大部分東西,它也透過渲染或高級路由的倍數,誠實地為難度定價。它還給了你正確的比較數字:每千個結果的成本,對照你所有代理成本的總和。

爬蟲 API 在端點背後實際做了什麼?

本詞彙表描述的整套技術堆疊,持續運作:出口選擇和輪替、工作階段和 Cookie 處理、標頭和指紋的一致性、有要求時的 JavaScript 渲染、挑戰處理、以不同身分重試,以及監測目標開始提供降級內容的那種無聲失敗。價值在於有人的工作就是讓這些技術保持最新。

爬蟲 API 的缺點是什麼?

成本和控制。在沒有防禦的目標上,溢價什麼也買不到,而在大規模下,按請求計價可能比以代理為基礎的資料管線貴好幾倍。你也繼承了營運者在節奏、工作階段和解析上的選擇,而手工打造的用戶端能讓你調整這些;結構化輸出的產品則把版面損壞從你的程式碼移到他們的解析器,那是一種你再也無法自己修正的失敗。

回到完整詞彙表。

HProxy.

定義只能帶你走到這裡。 執行 對比 真實目標.

住宅代理 每 GB US$ 0.23 起,隨用隨付,餘額永不過期。

HProxy