ZH
開始使用

術語表

協定與驗證

HTTP 標頭

每個網頁請求和回應都會附帶的名稱與值的行,用戶端在這裡描述自己,代理也在這裡留下或移除痕跡。

HTTP 請求大部分是自我介紹。在任何內容傳送之前,用戶端會送出一段標頭,也就是一行行純文字的名稱與值,宣告它是誰、它接受什麼、它從哪裡來,以及它希望答案如何包裝。伺服器則以自己的一段標頭回覆。雙方協商的一切,都在這裡協商,一行一個事實。

在代理的情境中,少數幾個標頭幾乎完成了所有重要的工作。Host 指明你要哪個網站,這讓一個位址能服務數千個網域。User agent 那一行說明是什麼軟體在詢問。Accept-Language 宣告你偏好哪些語言。Referer 說明你是從哪個頁面點過來的。Cookie 那一行攜帶先前造訪儲存的任何狀態。而轉送系列,X-Forwarded-For 和 Via,是中介者可以記錄自己參與的地方,也就是匿名等級所測量的機制。

其中兩個值得代理使用者特別注意,因為它們能如此便宜地和地理位置矛盾。Accept-Language 會隨每個請求送出,一個在每個頁面都宣告 en-US、卻經由馬德里位址出口的瀏覽器,在標頭的第一個封包就把矛盾送給了網站,根本不需要指紋辨識。Referer 鏈顯示你是從你宣稱的國家看不到的語言版本過來的,也是一樣。位址說一個故事;標頭則主動說出另一個。

順序又說了第三個。規格把標頭視為無序的集合,但真實的軟體會以固定的習慣順序送出它們,而習慣各不相同:瀏覽器產生一種順序,每個 HTTP 函式庫產生另一種。防禦會把宣稱的身分和觀察到的順序比對,這毫無成本,而且能抓到把複製來的標頭值貼進一個以自己順序送出的用戶端的情況。HTTP/2 讓情況更複雜,它把名稱轉成小寫並壓縮整段標頭,還加入了自己的協商細節,同樣能用來建立指紋。

標頭也是成本藏身的地方。Accept-Encoding 是要求壓縮的那一行,按 GB 計費時忘了它,等於為本來能縮小好幾倍的文字付全額。每個請求都會重複整段標頭,在大量工作上,這會累積成真實的流量。小小的幾行,但它們會被送出數百萬次。

常見問題

使用代理時,哪些 HTTP 標頭最重要?

對外送出的:user agent、Accept-Language 和 Cookie,因為它們必須和你的出口宣稱的身分和位置一致。抵達網站的:X-Forwarded-For 和 Via,因為你的代理是否加上它們,正是區分透明、匿名和高匿名等級的關鍵。透過任何回顯端點讀回實際抵達的內容,一個請求就能確認兩者。

即使我的 IP 很乾淨,標頭也會暴露我在使用代理嗎?

會,有兩種方式。會加上轉送標頭的代理,不論位址品質如何,都會表明自己。而你自己的標頭也可能和出口矛盾:和宣稱國家不一致的語言偏好、Referer 鏈或與時區相關的值,看起來就像一位用著別人位址的訪客,而這正是事實。

標頭順序真的會被檢查嗎?

認真的防禦會例行檢查。軟體以有特色的順序送出標頭,瀏覽器一種,每個函式庫各一種,把順序和宣稱的 user agent 比對,是免費的一致性測試。把瀏覽器的標頭值複製到腳本中,卻沒有重現瀏覽器的順序,就過不了這項測試,這也是值完美的請求仍被歸類為自動化的原因之一。

標頭會消耗頻寬嗎?

它們每個請求都會重送,所以在大量時是真實的帳目,而更大的影響在於其中一個標頭控制的東西:Accept-Encoding 協商壓縮,省略它,就代表以好幾倍的大小接收未壓縮的頁面。在按 GB 計費的住宅代理上,少了那一行,是爬取中代價最高的預設之一。

回到完整詞彙表。

HProxy.

別只聽我們說。 自己量測看看。

檢查代理的協定取得免費代理來測試

在你的瀏覽器中針對即時位址執行。不需註冊,也不儲存清單。

HProxy