HTTP 在請求之間會忘了你。每次抓取都以陌生人的身分抵達,這對任何涉及登入、購物車或偏好的東西都行不通,所以 Cookie 的存在,就是為一個無狀態的協定釘上記憶:伺服器送出一行帶有名稱和值的 Set-Cookie,用戶端儲存它,之後對那個網站的每個請求,都在 Cookie 標頭中把它帶回去。網站其實是從你手上讀回它自己寫的紙條。
這張紙條上的屬性決定了它的範圍。Cookie 的範圍限定在一個網域和路徑,在工作階段結束時或在設定的日期過期,並帶有把它限制在加密連線上或對頁面腳本隱藏的旗標。第一方 Cookie 屬於你正在造訪的網站;第三方 Cookie 屬於嵌在頁面中的別人的基礎設施,也就是瀏覽器近年來基於隱私理由一直在扼殺的那種。對代理工作重要的登入工作階段和地區偏好,幾乎都是第一方的。
對任何輪替位址的人來說,Cookie 罐才是身分真正所在的地方。登入就是一個 Cookie;出示它,你就是那個帳號,不論從哪個位址,這就是為什麼在出口之間移動本身不會讓你登出,也是為什麼被盜的 Cookie 就是被盜的工作階段。其推論同樣值得重視:帶著同樣的 Cookie 輪替 IP,並不會讓你成為新的訪客。網站的紙條仍在你手上,上面寫著你昨天是誰。
偵測也會以更細膩的方式讀取 Cookie 罐。一位每個請求都完全沒有任何 Cookie 的訪客,本身就是一個可辨識的自動化樣貌:真實的瀏覽器在正常使用幾分鐘內,就會累積同意選擇、工作階段權杖和偏好狀態。有些防禦會在第一個回應中種下一個 Cookie,然後只檢查它在第二個請求中是否回來,這是天真的腳本會失敗的免費測試。而一個內容描述一段長時間工作階段、位址卻在各大洲之間跳來跳去的 Cookie 罐,描述的是一位不合理的旅人。
所以實務上的功夫在於管理 Cookie 罐。依身分保存 Cookie,並透過黏性工作階段讓每個身分的 Cookie 罐待在一致的出口上。接受並送回網站在流程中設定的東西。打算成為新訪客時清空 Cookie 罐,打算成為回訪者時保留它。兩個方向的失敗模式都一樣:狀態和位址說著不同的故事。
常見問題
Cookie 經由代理還能用嗎?
完全能用。Cookie 存在你的用戶端中,在你的請求內傳送,代理會像轉送其他流量一樣轉送它們。這兩面都有影響:你的工作階段能撐過位址改變,因為識別你的是 Cookie,而你的輪替效果也因為同樣的原因不如預期。代理改變的是你從哪裡出現,你的請求攜帶什麼則不受影響。
我的爬蟲應該接受 Cookie 嗎?
對任何多步驟流程,應該,而且要刻意管理。網站會在流程中途設定狀態,並預期它被送回來,有些防禦正是在第二個請求測試這一點。什麼都不接受的用戶端會在這些流程中失敗,也符合一個已知的自動化樣貌。每個身分保留一個 Cookie 罐,把每個身分綁在一致的出口上,只有在你真的想以全新身分抵達時才重設 Cookie 罐。
清除 Cookie 會讓我對網站匿名嗎?
它移除了網站存放的關於你的紙條,而這只是好幾個識別資訊之一。你的位址、TLS 指紋和瀏覽器指紋都還在,把它們串連起來的網站,可以悄悄把新的空 Cookie 罐和舊訪客重新關聯起來。清除 Cookie 是呈現全新身分的一部分;單靠它,主要只是表明狀態消失了,其他一切卻都還在。
為什麼我的登入撐過了 IP 改變,卻在換國家時失效?
工作階段 Cookie 讓登入可以帶著走:出示它就能驗證你的身分,不論從哪裡。觸發第二種情況的,是在它之上的風險評分:一個工作階段在使用中途跳到另一個國家的帳號,符合 Cookie 被盜的模式,所以網站讓工作階段失效或要求重新驗證。讓帳號作業待在穩定的出口上,就能避免觸發正是這項檢查。
回到完整詞彙表。

