速率限制(rate limiting)是對單一來源請求速度的上限。超過它,伺服器就會停止為你服務,最常見的是回傳 429 Too Many Requests,直到時間窗重設為止。它的存在是為了防止任何單一用戶端消耗其他人需要的容量,套用它的伺服器對你根本沒有任何看法。
它的決定性特徵是不看意圖,這點值得牢記。計數器不知道你是懷有敵意還是只是很忙。它依來源計算請求,依數字採取行動,所以完全正當的大量工作,和濫用一樣容易觸發它。守規矩也無法讓你免於算術。
計數器幾乎都以某種識別資訊為鍵:IP 位址、API 金鑰、帳號或工作階段。它用哪一種,決定了你有哪些選項,值得先查清楚。如果網站依位址限制,把請求分散到代理池就有效。如果它依 API 金鑰限制,再多位址也毫無作用,你需要不同的金鑰或更慢的節奏。
這就是輪替代理存在的原因,也是對它作用的誠實描述:它的作用是讓你不再把流量集中在單一計數器上。同樣的總流量分散到代理池,每個位址都遠低於它永遠接近不了的門檻。沒有任何規避;只是重新安排了算術。
你收到的回應透露很多資訊,正確解讀能省下好幾天。429 通常帶有 Retry-After 標頭,明確指出要等多久,這是網站以直白的方式告訴你它的規則。遵守它既有禮貌也有效,因為無視它、立刻重試,正是把暫時的限流升級成更長封鎖的做法。
不過不是每個限制都會表明自己,而無聲的那種才危險。有選擇的反機器人系統常常選擇降級回應:回應變慢、結果被截斷、快取資料過時,或悄悄省略紀錄。你的請求持續回傳 200,你的資料集卻是錯的。任何大量進行網頁爬取的人,都應該定期拿結果和已知正確的基準比對。
最被低估的解法就是放慢速度並加入變化。固定的延遲本身就是可偵測的模式,真正有變化的節奏既能保持在限制之下,看起來也比較不機械。這會花時間,而時間通常比被限流、被挑戰、最後被封鎖的不斷升高的成本便宜。
常見問題
429 錯誤是什麼意思?
Too Many Requests:你超過了伺服器計算依據的額度,時間窗重設後它就會再為你服務。檢查是否有 Retry-After 標頭,它會明確說明要等多久。這是暫時的拒絕,退後一步通常就夠了。
更多代理總能解決速率限制嗎?
只有在限制依 IP 位址計算時才行。如果它以 API 金鑰、帳號或工作階段 Cookie 為鍵,增加位址毫無作用,因為計數器從來沒看你的位址。在為了解決它而購買容量之前,先確認限制以什麼為鍵,否則你會擴充錯誤的維度。
怎麼找出一個網站的速率限制?
有時它是公開的,寫在 API 文件中,或在回應標頭中列出限制、剩餘額度和重設時間。沒有公開時,就小心地實際找出來:從遠低於任何可能門檻的地方開始,逐步增加,留意第一個 429 或內容降級的第一個跡象。為了找出限制而刻意猛攻網站,既沒禮貌,也很容易換來更長的封鎖。
輪替 IP 和放慢速度,哪個比較好?
兩者都要,它們解決不同的一半。輪替能防止流量集中在一個計數器上;以真正有變化的節奏放慢速度,處理的是流量本身的模式,而這是輪替無能為力的。輪替得夠快、卻維持機器般規律的節奏,看起來仍然像機器,只是一台用了許多位址的機器。
速率限制可能是無聲的嗎?
可能,而這是最值得防範的失敗。有些網站會降級回應:回應變慢、結果變少、快取值過時,或紀錄悄悄消失,全都以完全正常的 200 回傳。你的日誌不會標出任何問題。唯一可靠的防禦,是定期把你收集的資料,和一個你知道乾淨的請求比對。
回到完整詞彙表。

