ZH
開始使用

術語表

擷取與自動化

使用者代理

用戶端送出、用來表明瀏覽器和作業系統的字串,是網站拿來與你的 IP 比對的最簡單訊號之一。

User agent 是每個請求都會附帶的一行文字,你的用戶端在其中說明自己是什麼。瀏覽器的版本是一長串雜亂的字串,列出渲染引擎、平台和好幾個相容性標記,這些標記之所以存在,只是因為數十年來網站一直在嗅探它們。腳本函式庫的版本通常簡短而誠實,例如 python-requests 或 curl 加上版本號碼。

網站讀取它,大多數時候是出於完全普通的理由:選擇行動版面、提醒過時的瀏覽器、提供用戶端支援的格式。它意外地成了代理偵測的訊號,因為自動化用戶端預設就會在其中表明自己,而很多人從來沒想過要改。任何使用未修改的函式庫預設值進行網頁爬取的人,都在請求的第一行就表明了自己的身分。

它也是整個請求中最容易偽造的東西,這正是它單獨證明不了任何事的原因。任何用戶端都能送出任何字串,每個網站也都知道。沒有認真的人會把一個逼真的 user agent 當作真實瀏覽器的證據,所以設定它只是基本門檻。

它對防禦方的價值在於一致性檢查,而這才是真正重要的部分。宣稱自己是 Windows 上的 Chrome,就讓你必須符合很多其他東西:相符的 TLS 指紋、相符的 client hints、合理的螢幕尺寸、真正的 Chrome 送出的標頭順序,以及瀏覽器指紋讀取到的底層機器的一切。只要和其中任何一項矛盾,這個字串反而給了網站一個能抓到你自相矛盾的具體依據。

標頭順序值得單獨一提,因為它經常被忽略。真正的瀏覽器會以一致、有特色的順序送出標頭,HTTP 函式庫則依程式碼加入的順序送出。一個完美的 user agent 字串,以沒有任何瀏覽器會產生的順序抵達,這種矛盾偵測起來毫無成本。

這讓實務建議比一般建議更窄。一定要設定一個真實、最新的 user agent,因為預設的函式庫字串等於免費送分。不要每個請求隨機更換,這是常見的直覺,卻是有害的:真實訪客不會在頁面載入之間換瀏覽器,用戶端身分不斷改變的工作階段,比從不改變的更引人注目。每個工作階段挑一個合理的身分並維持它。

常見問題

我該輪替 user agent 嗎?

不要每個請求輪替,很多建議就是在這裡出錯。真實訪客不會在頁面載入之間換瀏覽器,所以 user agent 不斷改變的工作階段,比維持不變的更可疑。每個工作階段或每個身分選擇一個合理、最新的字串,並在該工作階段的整個生命週期中維持它。

改變 user agent 能讓我不被偵測嗎?

不能。它只消除了一個明顯的破綻,也就是預設的函式庫字串,僅此而已。偵測系統會檢查這個宣稱是否和你的 TLS 指紋、標頭順序、client hints 和行為一致,而 Python 交握上的瀏覽器 user agent 是一種矛盾。它是必要的,但遠遠不夠。

網頁爬取最好的 user agent 是什麼?

一個最新、常見、和你呈現的其他一切都相符的 user agent。沒有神奇的字串,複製一個舊的或不尋常的字串比沒用還糟,因為稀有本身就能識別你。選擇一個廣泛使用的最新瀏覽器版本,然後確保你請求的其他部分都可能合理地來自它。

如果我改了 user agent,網站看得到我真實的 user agent 嗎?

它只會收到你送出的東西,所以看不到。它能做的是注意到你送出的東西和連線的其他一切不一致:TLS 交握屬於某個函式庫、標頭順序不對、缺少 client hints,或回報的螢幕尺寸不合理。它不需要你真正的字串,就知道你送出的那個不是真的。

回到完整詞彙表。

HProxy.

定義只能帶你走到這裡。 執行 對比 真實目標.

住宅代理 每 GB US$ 0.23 起,隨用隨付,餘額永不過期。

HProxy