術語表
代理詞彙表,沒有廢話。
141 個涵蓋代理、網路和網頁爬取的詞彙,每個都以白話定義,在重要之處附上決定它實際運作方式的真實細節。沒有字典式的空泛解釋。
從這裡開始:類型其實是四個問題
大多數對代理的困惑,來自把一個詞當成一個決定。位址屬於誰的網路、位址會不會改變、還有誰在用它、你用哪種協定和它溝通,這是四個獨立的問題,每個真實的產品都同時回答了這四個問題。如果這裡某一頁看起來和另一頁矛盾,通常是因為兩者回答的是不同的問題。
如果你想在深入定義之前一次看懂全貌,各種代理類型指南會逐一說明這四個問題,最後告訴你如何選擇。
代理類型
代理可以歸屬的類別,以及大家常常混為一談的幾個面向。位址屬於誰的網路是一個問題,它會不會改變是第二個,還有誰在用它是第三個。每個真實的產品都回答了這三個問題,只說出其中一個的供應商,就是沒交代另外兩個。
匿名代理
會隱藏你的真實 IP 位址,但仍會向你造訪的網站表明自己是代理的代理。
閱讀定義
頻寬分享
住宅代理的供應端:一般人透過 App 和 SDK 出借家用連線作為出口,有的拿到報酬,有的並不知情。
閱讀定義
快取代理
儲存回應副本並再次提供的正向代理,主要用途是節省頻寬。
閱讀定義
資料中心代理
IP 位址由商業資料中心託管的代理,速度快又便宜,但網站很容易辨認出它不是住宅位址。
閱讀定義
專屬代理
分配給單一客戶的代理 IP 位址,所以它的信譽只反映你自己的流量。
閱讀定義
扭曲代理
一種匿名等級,隱藏你的真實 IP,但刻意送出一個假的 IP 取代它,介於匿名代理和透明代理之間。
閱讀定義
DNS 代理
在名稱查詢階段介入的服務,不承載你的流量,涵蓋從路由器 DNS 轉送到智慧 DNS 解鎖的各種形式。
閱讀定義
高匿名代理
會隱藏你的真實 IP,且不轉送任何承認路徑中有代理的標頭的代理,所以請求抵達網站時看起來就像直接連線。
閱讀定義
閘道代理
把你的流量導入整個出口 IP 池的單一入口,你只要連上一個位址,就能用到許多位址。
閱讀定義
HTTP 代理
理解 HTTP 協定並轉送網頁請求的代理,途中也可以讀取和修改標頭。
閱讀定義
ISP 代理
一種代管在資料中心、卻註冊於消費者 ISP 的代理,兼具資料中心的速度與穩定性,以及住宅網路的信任度。
閱讀定義
行動代理
一種代理,會將流量經由行動電信業者分配給手機或行動數據機的 IP 位址傳送,擁有所有代理類型中最強的信任度。
閱讀定義
開放代理
不需驗證、接受任何人連線的代理,免費代理清單上的位址幾乎全都是這種。
閱讀定義
點對點代理
出口是其他使用者的裝置的住宅網路,大多數住宅代理池實際上就是這樣建立的。
閱讀定義
代理池
供應商能讓你經由的全部 IP 位址,也是輪替代理背後的那個數字。
閱讀定義
住宅代理
一種代理,會將你的流量經由網路服務供應商分配給家用連線的 IP 位址傳送,讓請求看起來就像一般人在瀏覽網頁。
閱讀定義
輪換式代理
一種代理設定,會為每個請求或依計時器分配不同的 IP 位址,把流量分散到 IP 池中,讓任何單一位址都不會引起注意。
閱讀定義
半專屬代理
介於中間的等級,一個位址由少數固定的使用者共用,介於專屬和無限共享之間。
閱讀定義
共享代理
IP 位址同時由多位客戶使用的代理,比專屬位址便宜,但它的信譽不完全由你掌控。
閱讀定義
球鞋代理
以限量球鞋和潮流服飾發售為訴求的代理,真正的需求是在很短的時間窗內備好大量可信的位址。
閱讀定義
SOCKS5 代理
使用 SOCKS5 協定的代理,能轉送任何類型的 TCP 或 UDP 流量而不檢查內容,網頁請求只是其中一種。
閱讀定義
靜態代理
一種在較長期間內保留同一個 IP 位址供你專屬使用的代理,不會在請求之間輪換。
閱讀定義
透明代理
會讓你的真實 IP 位址直接通過、且常在你未設定的情況下攔截流量的代理,常見於各種網路中,對匿名毫無用處。
閱讀定義
全新代理
行銷用語,指標榜從未被使用過的代理 IP;這個說法一部分是可驗證的新鮮度,一部分是無法驗證的歷史。
閱讀定義
網路技術
一切底下的基礎管線。位址到底是什麼、為什麼位址不夠用、區塊和網路如何作為一個整體承載信譽,以及查詢在哪裡發生。代理帶來的大多數意外,最後都會發現是其中某個事實突然冒了出來。
Anycast
同時從許多地方宣告的同一個 IP 位址。網路會把流量送到它的路由偏好的那個站點,所以沒有任何單一位置屬於這個位址。
閱讀定義
ASN
自治系統編號用來識別擁有某個 IP 位址區塊的網路,網站就是靠它分辨家用連線與資料中心。
閱讀定義
BGP
網路之間用來告訴彼此能連到哪些 IP 位址的協定。宣告代理位址的那個網路,就是 IP 查詢時列出的網路。
閱讀定義
CDN
內容傳遞網路,為大多數大型網站提供服務的地理分散式快取層,並在邊緣決定如何處理你的請求。
閱讀定義
CGNAT
電信等級 NAT,一種讓許多用戶共用一個公開 IP 位址、以節省稀缺 IPv4 空間的技術。
閱讀定義
C 類子網路
由 256 個 IPv4 位址組成的區塊,現在寫成 /24。分類制度在1993年被 CIDR 取代,但代理賣家仍在計算他們的 C 類子網路。
閱讀定義
DHCP
在一段時間內分配位址給裝置的協定。這個位址是租用的,續租時通常會拿回同一個。
閱讀定義
DNS
網域名稱系統把人類看得懂的主機名稱轉換成 IP 位址,而這個查詢在哪裡進行,可能會悄悄暴露你的真實位置。
閱讀定義
DNS 洩漏
雖然你可見的 IP 已被遮蔽,DNS 查詢卻繞過代理,洩露你真實的網路或位置。
閱讀定義
雙堆疊
同時執行 IPv4 和 IPv6。雙堆疊網站在兩者上都會回應,雙堆疊裝置或代理則為每條連線選擇其中一種,通常是 IPv6。
閱讀定義
動態 IP 位址
網際網路供應商在有限時間內指派給一條線路的公用 IP 位址,所以在重新連線後、依排程或租約到期時可能改變。
閱讀定義
出口節點
代理鏈的最後一跳,也就是目的地網站實際看到的位址,有別於你連上的閘道。
閱讀定義
防火牆
依規則允許或封鎖流量的屏障,正是它讓不尋常連接埠上的代理在嚴格的網路中連不上。
閱讀定義
正向代理
位於用戶端前方、轉送其對外請求的代理,也就是一般所說的代理,與位於伺服器前方的反向代理相對。
閱讀定義
Geofeed
網路在其中說明自己的 IP 位址位於何處、供位置資料庫讀取的檔案。註冊機構會連結它,但不會查核內容。
閱讀定義
網際網路交換中心
許多業者在此會合、直接互相交換流量的共用網路,不必付錢請第三方網路在彼此之間轉送。
閱讀定義
網際網路服務供應商
把家庭或企業連上網際網路、並指派 IP 位址的公司,每個網站在信任請求之前都會檢查這個位址屬於誰。
閱讀定義
IP 位址
在網路上識別裝置的數字標籤,也是代理用來取代你自己位址的那個位址。
閱讀定義
IP 地理定位
從 IP 位址推測實際位置,在國家層級可靠,在城市層級常常出錯,也是代理地理定位所依賴的機制。
閱讀定義
IP 租賃
向持有 IPv4 位址的網路租用位址,但不包含通常附帶的網際網路連線。註冊仍由持有者保留。
閱讀定義
IP 偽造
以別人的來源位址傳送封包。回覆會送到那個位址,傳送者收不到,所以偽造的連線無法維持。
閱讀定義
IPv4
最早的網際網路定址方式,約有 43 億個可能的位址,如今稀缺到供應商必須配給與共用。
閱讀定義
IPv6
較新的定址方式,位址供應量實際上近乎無限,但在全球各網路的採用程度並不平均。
閱讀定義
IPv6 洩漏
在只承載 IPv4 的通道或代理之外,透過 IPv6 送出的流量,所以網站會看到你真實的 IPv6 位址。因為沒有任何東西失敗,所以也沒有任何警告。
閱讀定義
IPv6 前綴
IPv6 位址的網路部分,大小以斜線後的數字表示。一個 /64 就是一個區域網路,許多網站把一個 /64 算作一位訪客。
閱讀定義
負載平衡器
把傳入請求分散到許多後端伺服器的基礎設施,是爬取時你從外部遇到的一種反向代理。
閱讀定義
MAC 位址
網路卡在自己連結上使用的位址。它無法穿過路由器,只有一個例外,會把它的一種形式帶進每個請求。
閱讀定義
NAT
網路位址轉譯,讓許多裝置共用一個公用 IP 位址的技術,在流量經過路由器時改寫它。
閱讀定義
NAT64
讓只有 IPv6 的裝置連到只有 IPv4 的網站的轉譯器。它讓許多使用者共用一組 IPv4 位址,所以那些網站看到的是電信業者的位址。
閱讀定義
連接埠
IP 位址上有編號的通道,把流量導向特定服務,例如你的代理監聽的連接埠。
閱讀定義
連接埠轉送
讓外部流量連到 NAT 後方特定裝置的規則,也是有些代理能接受傳入連線、有些不能的原因。
閱讀定義
代理鏈
讓流量依序經過不只一個代理,所以每一跳只知道相鄰的節點,沒有任何一跳知道完整路徑。
閱讀定義
代理伺服器
位於你和網際網路之間的伺服器,代替你發出請求,所以目的地看到的是伺服器的位址,看不到你的。
閱讀定義
區域網際網路註冊機構
負責為世界某個區域分配 IP 位址和 AS 編號、並保存誰持有它們的公開紀錄的五個組織之一。
閱讀定義
住宅 IP
網際網路供應商指派給家用連線的公用 IP 位址,位址資料庫因此把它標為住宅類型。
閱讀定義
反向 DNS
把 IP 位址轉回主機名稱的查詢,往往是透露誰在營運某個位址最有力的單一線索。
閱讀定義
SLAAC
IPv6 裝置為自己取得位址的方式:路由器公告一個前綴,裝置自行選擇後半段。
閱讀定義
靜態 IP 位址
不會改變的 IP 位址:在網路內固定給一台裝置,或供應商為一位客戶保留的公用位址。
閱讀定義
子網路
一個作為整體管理的連續 IP 位址區塊,通常連信譽也一起共用。
閱讀定義
TCP
承載幾乎所有代理流量的連線導向協定,以建立連線時的交握為代價,提供有序、可靠的傳送。
閱讀定義
Tor
由志工營運的匿名網路,讓流量經過三個加密的中繼;它為隱私而設計,用途與一般購買代理的工作不同。
閱讀定義
Traceroute
封包經過的路由器清單,藉由傳送刻意設定為會過期的封包建立。清單中段的可信度比看起來低。
閱讀定義
UDP
DNS、QUIC 和即時流量背後的無連線傳輸協定,大多數代理無法承載,SOCKS5 則可選擇支援。
閱讀定義
VPN
虛擬私人網路,把裝置的所有流量加密並經由一台伺服器傳送;代理通常只處理單一 App 的流量。
閱讀定義
WebRTC 洩漏
雖然你的流量經過代理,瀏覽器的即時通訊功能卻暴露了你的真實 IP 位址。
閱讀定義
WHOIS
說明誰持有某個 IP 位址或網域的公開註冊紀錄系統,也是本詞彙表中每次擁有者查詢背後的原始來源。
閱讀定義
協定與驗證
你的用戶端和代理如何溝通,以及這段溝通透露了什麼。匿名等級就落在這裡,因為只有理解你請求的協定,才能加上描述它的標頭。
Cookie
網站存在你用戶端中、每次請求都會讀回的一小段狀態,是登入、同意橫幅和許多機器人評分背後的機制。
閱讀定義
HTTP CONNECT
把代理變成盲通道的 HTTP 方法,HTTP 代理就是這樣承載它讀不到的 HTTPS 流量。
閱讀定義
HTTP 標頭
每個網頁請求和回應都會附帶的名稱與值的行,用戶端在這裡描述自己,代理也在這裡留下或移除痕跡。
閱讀定義
IP 白名單
預先核准允許使用代理的 IP 位址來授權使用,不必傳送使用者名稱和密碼。
閱讀定義
PAC 檔案
代理自動設定檔:一個 JavaScript 函式,逐一決定每個請求要直接連線,還是經過哪個代理。
閱讀定義
代理驗證
代理確認你有權使用它的方式,最常見的是使用者名稱和密碼,或允許特定的來源 IP。
閱讀定義
QUIC
HTTP/3 背後的傳輸協定,建構在 UDP 上以解決 TCP 的延遲,也是經過代理的瀏覽器會悄悄退回舊協定的原因。
閱讀定義
反向代理
位於伺服器前方的代理,代替伺服器處理傳入的請求,方向與爬取資料用的正向代理相反。
閱讀定義
SNI
TLS 交握中指明你要連到哪個網站的欄位,以明文傳送,路徑上的任何人都讀得到,包括代理。
閱讀定義
SOCKS4 代理
較舊版本的 SOCKS 協定,能轉送 TCP 流量,但沒有驗證、UDP 支援和遠端 DNS。
閱讀定義
固定工作階段
輪換式代理的一項功能,會讓你在設定的時間內維持同一個出口 IP,讓多步驟任務能在位址不變的情況下完成。
閱讀定義
TLS / SSL
保護 HTTPS 流量的加密,代理會以通道原封不動地傳送,不會讀取內容。
閱讀定義
WebSocket
把 HTTP 請求升級成持續雙向連線的協定,用於即時資料傳輸,也是代理承載時的特殊情況。
閱讀定義
WPAD
網路代理自動探索,也就是「自動偵測設定」核取方塊背後的機制,讓網路把代理設定交給你的電腦。
閱讀定義
擷取與自動化
大規模收集資料的工作詞彙:什麼限制你、什麼識別你,以及防禦實際上在測量什麼。這些幾乎都和位址無關。
防偵測瀏覽器
能執行許多隔離設定檔的瀏覽器,每個設定檔都有自己一致的指紋、Cookie 和代理,所以一台機器能經營好幾個看似可信的身分。
閱讀定義
API 爬取
呼叫頁面使用的 JSON 端點來收集資料,不必解析 HTML;有這種端點時,通常是最快、最便宜也最可靠的途徑。
閱讀定義
瀏覽器指紋
從瀏覽器和裝置細微特徵的組合來識別訪客,這一層偵測即使你換了 IP 也依然有效。
閱讀定義
CAPTCHA
用來分辨人類和機器人的挑戰,觸發原因多半是可疑的網路信譽,很少是因為單一請求。
閱讀定義
驗證碼破解服務
回傳挑戰答案的服務,可能由人工或自動化完成,處理的是信任分數低的症狀,治標不治本。
閱讀定義
CSS 選擇器
原本為網頁樣式發明的模式語法,被爬蟲借用為日常選取要擷取元素的方式。
閱讀定義
資料解析
把取得的回應轉成結構化資料,這是爬取在網路之後發生的那一半,而且會因為完全不同的原因壞掉。
閱讀定義
地理封鎖
依推測的訪客國家限制或改變網站顯示的內容,位於目標國家的代理就是為了繞過它。
閱讀定義
地理定位
刻意選擇特定國家、地區或城市的代理,讓你的流量正好從你需要的地方發出。
閱讀定義
無頭瀏覽器
沒有可見視窗、在背景執行的真實瀏覽器,用於在自動化中渲染大量使用 JavaScript 的頁面。
閱讀定義
IP 輪換
在整個工作中輪流使用許多 IP 位址,讓任何單一位址都不會累積可疑的請求數量。
閱讀定義
JavaScript 渲染
頁面在載入後於瀏覽器中建構內容的過程,決定了抓取 HTML 拿到的是資料還是空殼。
閱讀定義
分頁
網站把長清單分成許多頁或多次載入的方式,也是爬取中最容易悄悄漏掉資料或讓爬蟲陷入迴圈的部分。
閱讀定義
速率限制
網站對單一來源在一段時間內可發出多少請求所設的上限,也是爬蟲最常遇到的障礙。
閱讀定義
重試邏輯
爬蟲處理失敗請求的方式,做得不好會浪費頻寬並讓封鎖升級,做得好則能默默救回大多數暫時性失敗。
閱讀定義
robots.txt
放在網站根目錄的檔案,告訴爬蟲網站希望它們避開哪些路徑;這是一種慣例,沒有強制力。
閱讀定義
爬蟲 API
接收目標網址並回傳頁面資料的服務,在單一端點背後處理代理、渲染、重試和反機器人阻力。
閱讀定義
SERP
搜尋引擎結果頁,是網路上對位置最敏感、防護也最嚴密的頁面類型,也是 SEO 產業的原料。
閱讀定義
使用者代理
用戶端送出、用來表明瀏覽器和作業系統的字串,是網站拿來與你的 IP 比對的最簡單訊號之一。
閱讀定義
虛擬瀏覽器
在遠端基礎設施上執行、透過網路操控的瀏覽器,按工作階段租用,不用在自己的機器上執行。
閱讀定義
網路爬蟲
沿著連結從一個頁面走到另一個頁面、發現並抓取內容的程式,是大規模資料爬取底層的走訪引擎。
閱讀定義
網路爬蟲
從網站自動收集資料,也是大家大規模使用代理最常見的原因。
閱讀定義
XPath
用來定位 HTML 或 XML 文件各部分的查詢語言,是爬蟲指向頁面內資料的兩種方式中較強大的一種。
閱讀定義
偵測與信譽
網站如何決定是否信任你。偵測是由許多微弱訊號組成的分數,所以同樣的設定週一能通過,週四卻被挑戰。
Akamai Bot Manager
內建於 Akamai CDN 的企業級機器人防禦,以其用戶端腳本收集的遙測資料和發出的追蹤 Cookie 聞名。
閱讀定義
反機器人系統
結合網路、指紋和行為檢查的多層防禦,網站用它來區分自動化程式和真實使用者。
閱讀定義
行為分析
評分的依據是你如何互動的偵測方式,透過時間、動作和瀏覽路徑抓出自動化程式,乾淨的位址也救不了。
閱讀定義
殭屍網路
在擁有者不知情下被控制的受入侵裝置網路,是代理和住宅供應來源中屬於犯罪的那一端。
閱讀定義
Canvas 指紋
一種指紋技術,讓你的瀏覽器繪製一張圖片,再讀回它渲染時因硬體而產生的細微差異。
閱讀定義
乾淨 IP
沒有任何網站查得到的負面紀錄的位址:不在任何封鎖清單上、沒有濫用紀錄、由一般消費者 ISP 擁有,詐欺偵測引擎也評為低風險。
閱讀定義
Cloudflare
位於大量網站前方的 CDN 和安全層,包含爬蟲最常遇到的幾種反機器人挑戰。
閱讀定義
Cloudflare Turnstile
Cloudflare 自家的 CAPTCHA 替代方案,透過背景的瀏覽器檢查驗證訪客,不用解謎,通常只顯示一個核取方塊,甚至什麼都不顯示。
閱讀定義
DataDome
即時的機器人防護服務,依裝置、網路和行為訊號在幾毫秒內為每個請求評分,常見於電商和分類廣告網站。
閱讀定義
裝置指紋
由裝置硬體和系統特徵建立的身分,比瀏覽器指紋更穩定、更難改變,因為它反映的是實體機器。
閱讀定義
詐騙分數
詐欺偵測服務為 IP 位址指定的單一數字,概括來自它的流量看起來有多危險。
閱讀定義
FunCaptcha(Arkose Labs)
Arkose Labs 以輪換的互動式謎題為核心的挑戰系統,除了分辨人類和機器人之外,還要讓攻擊者付出代價。
閱讀定義
hCaptcha
以隱私為定位、會付費給部署網站的 CAPTCHA,最為人知的是曾是 Cloudflare 的預設選項,以及它的圖片分類挑戰。
閱讀定義
蜜罐
為自動化程式設下的陷阱,例如人類看不見的連結或欄位,任何與它互動的東西都會被標為機器人。
閱讀定義
Imperva(Incapsula)
歷史悠久的企業安全平台,結合 CDN、網頁應用程式防火牆和機器人管理,舊品牌名稱為 Incapsula。
閱讀定義
IP 黑名單
公開的濫用 IP 位址清單,網站和郵件伺服器會查詢它,直接拒絕流量。
閱讀定義
IP 信譽
網站或第三方服務依 IP 位址的網路、歷史與行為所給予的累積信任分數。
閱讀定義
Kasada
激進的機器人防禦,要求用戶端解出隱藏的運算挑戰,除了封鎖之外,還會主動刁難自動化程式。
閱讀定義
PerimeterX(HUMAN)
現屬 HUMAN Security 的行為式機器人防禦,除了網路信譽之外,還依賴用戶端感測器和程式碼完整性檢查。
閱讀定義
連接埠掃描
探測一個位址的許多連接埠,找出會回應的服務,大多數公開代理清單一開始就是這樣組成的。
閱讀定義
代理偵測
網站用來判斷訪客是否位於代理後方的各種技術,從網路查詢到行為分析都有。
閱讀定義
reCAPTCHA
Google 的挑戰系統,現在大多是 0.0 到 1.0 的隱形分數,很少再出現拼圖,依據的是 Google 這種規模才看得到的訊號。
閱讀定義
TCP 指紋
從 TCP 交握中讀出傳送者的作業系統:跳數上限、區段大小、視窗大小和選項的順序。
閱讀定義
TLS 指紋
依用戶端協商加密的方式建立的識別碼,即使透過乾淨的 IP 也能用來辨認自動化程式。
閱讀定義
網頁應用程式防火牆
依規則檢查傳入的網頁請求、封鎖看起來惡意的請求的過濾器,和爬蟲平常說的機器人管理屬於不同的層。
閱讀定義
X-Forwarded-For
代理可以加入、用來指出原始用戶端 IP 的 HTTP 標頭,也是區分匿名代理與透明代理最明顯的線索。
閱讀定義
效能
你買的是什麼,以及如何判斷你是否真的拿到了。可用率、延遲、頻寬和成功率衡量的是不同的東西,喊得最大聲的那個,很少是決定你的工作能否完成的那個。
頻寬
代理能傳輸的資料量,也是住宅與行動代理通常採用的計費單位。
閱讀定義
並行
你同時執行多少個請求,這是爬取吞吐量的主要槓桿,也是常見的隱藏限制。
閱讀定義
延遲
經由代理送出請求到收到回應之間的延遲,主要取決於與出口之間的實際距離。
閱讀定義
封包遺失
資料封包沒有抵達、必須重送的情況,是代理連線緩慢、不可靠的隱藏原因,光看延遲看不出來。
閱讀定義
QPS
每秒查詢數,也就是你送出請求的速率,必須同時兼顧目標的限制和代理的並行上限。
閱讀定義
成功率
帶回你想要資料的請求比例,這才是真正衡量代理價值的指標。
閱讀定義
首位元組時間
從送出請求到回應的第一個位元組抵達之間的延遲,這個效能數字能把代理路徑和下載大小分開來看。
閱讀定義
運作時間
代理實際可連線並正常運作的時間比例,對住宅代理池來說,這是即時測量值,並不保證。
閱讀定義

