在你請求的任何一個位元組加密之前,你的用戶端就已經自我介紹過了。TLS 交握的開頭訊息 ClientHello 以明文傳送,而且是一份詳細的宣告:你支援哪些 TLS 版本、哪些加密套件以及偏好順序、你實作了哪些擴充功能以及順序、你接受哪些橢圓曲線、哪些點格式。這些都不是秘密,而且全都在任何加密開始之前就被讀取。
這份宣告沒有標準化到連順序都規定,這正是它能識別身分的原因。Chrome 以一種順序提供一組。Firefox 以不同的順序提供不同的一組。Python 的 requests 函式庫、Go 的 net/http、curl 和無頭瀏覽器也各有各的。把整個排列雜湊成一個短字串,你就得到一個指紋,能說出是哪個軟體在說話,不論那個軟體之後怎麼宣稱自己。
JA3 是第一個被廣泛採用的版本,它是對 TLS 版本、加密清單、擴充功能清單、橢圓曲線和曲線點格式串接後計算的 MD5 雜湊。JA4 是它的後繼者,也是現在值得知道的那一個:它更能抵抗讓用戶端得以規避 JA3 的加密套件洗牌,而且它是結構化的,部分可供人閱讀,不再是不透明的雜湊,這讓它對防禦方有用得多。
它之所以比幾乎任何其他訊號都重要,在於它所在的位置。它位於你的 IP 位址之下,所以完美的住宅代理碰不到它。它位於你的標頭之下,所以完美的 User-Agent 字串也碰不到它。從受信任的德國家庭位址發出請求,宣稱自己是 Windows 上的 Chrome 130,卻交出一個 Python 的 TLS 交握,你就製造了一個只需一次查詢就能偵測、再好的代理也掩蓋不了的矛盾。
這就是一個在瀏覽器中完美運作的爬蟲,用同一個代理對同一個目標、從腳本執行卻失敗的具體原因。大家斷定代理不好,就去買更貴的。問題出在交握。
修正它,代表要改變你的用戶端實際送出的東西。這就是為什麼會有專門逐位元組重現真實瀏覽器交握的函式庫,Go 中知名的是 uTLS,也是為什麼驅動真正的瀏覽器能完全避開這個問題,因為它真的就是它所宣稱的東西。
有一點要注意:指紋只有在和你故事的其他部分不一致時,才構成矛盾。知名函式庫的交握,在預期腳本存取的 API 上並不自動可疑。當它打扮成消費者瀏覽器、出現在消費者位址上時才可疑,因為真正的消費者瀏覽器不會那樣。
HProxy 如何處理
這正是我們說位址只是其中一層的原因。受信任的 IP 能提高你的底線;它救不了一個在加密開始之前就表明自己是自動化程式的用戶端。任何在為封鎖除錯的人,都應該先檢查交握,再考慮買更貴的代理。
常見問題
JA3 和 JA4 有什麼差別?
JA3 是最初的 TLS 指紋:對 ClientHello 中的 TLS 版本、加密套件、擴充功能、橢圓曲線和曲線點格式計算的 MD5 雜湊。它的弱點是用戶端可以洗牌或填充這些清單,產生不同的雜湊來規避比對。JA4 是後繼者,設計上能抵抗這種洗牌,而且它是結構化的,部分可供人閱讀,所以防禦方可以分析它的各個部分,不必只拿它和已知清單比對。
代理能隱藏我的 TLS 指紋嗎?
不能。一般的代理轉送你的連線,所以你的用戶端產生的 ClientHello,就是抵達目的地的那一個。代理改變的是交握看起來來自哪個 IP 位址,對交握本身毫無改變。改變指紋,就得改變產生它的用戶端。
為什麼我的爬蟲在瀏覽器中能用,從腳本卻失敗?
通常是因為瀏覽器和腳本的 TLS 指紋不同,即使請求的其他一切都相符。腳本可以完全複製瀏覽器的標頭、Cookie 和 User-Agent,卻仍在 TLS 層宣告完全不同的加密套件和擴充功能順序,偵測系統在評估任何其他東西之前,就把它判讀為自動化。這是換了代理仍然被封鎖的最常見原因。
怎麼檢查我自己的 TLS 指紋?
透過你擔心的用戶端,向任何會回顯它觀察到的 JA3 或 JA4 值的服務發送請求,再從真正的瀏覽器重複同樣的請求並比較。如果兩者不同,你連絡的每個網站都看得到這個差異,而且在你的請求被解密之前就看得到。
使用 HTTP/2 會改變指紋嗎?
它會再加上一個。除了 TLS 交握之外,HTTP/2 用戶端在設定框架值、標頭順序和優先權行為上也各不相同,這會在 TLS 指紋之外產生另一個 HTTP/2 指紋。一個用戶端可能在 TLS 層和瀏覽器相符,在上一層仍能被辨識。
回到完整詞彙表。

