重試邏輯是你的爬蟲在請求失敗時所做的事,它決定了一個資料管線能撐過不穩定的網路,還是會把暫時的小問題變成一張帳單與一次封鎖。在大規模的情況下,失敗是無可避免的,例如連線中斷、來源緩慢、短暫的速率限制,而其中大多數是暫時性的,所以重試是對的。重試得很糟,則是擷取中最常見的自找麻煩之一。
核心的原則是退避:每次嘗試之間等待更久,別立刻猛打。指數退避每次把延遲加倍,並加入一點隨機性,讓許多工作程序不會同步重試,這能分散負載,並給吃力的目標恢復的空間。立即重試則正好相反,會在原本就已經失敗的地方堆上更多請求,而這正是輕微的速率限制變成嚴重封鎖的過程。失敗是在告訴你要放慢,而立即重試的回應卻是加速。
解讀失敗,才能區分聰明的重試與愚蠢的重試,而不同的失敗需要不同的回應。帶有 Retry-After 標頭的 429 是精確的指示:等那麼久,不必猜。503 值得在退避後重試。連線逾時可能只需要換一個出口。但 403、驗證碼或降級的內容都不是暫時性的錯誤,那是針對你所做的決定,原封不動地重試,同樣的位址、同樣的指紋,只是花錢確認封鎖而已。這些情況需要改變某些東西,例如換新的位址或不同的做法,再試一次沒有用。
在按 GB 計費的情況下,有一個成本面向很容易被忘記。一個在傳輸了大部分回應之後才失敗的請求,仍然花了你那些流量,所以對不穩定的目標採取激進的重試策略,可能會讓頻寬帳單倍增,卻收集不到任何額外的東西。限制嘗試次數、在嘗試之間退避,以及一條停止重試非暫時性失敗的規則,這不只是禮貌;它決定了重試策略是在搶救請求,還是悄悄讓你的成本加倍。
常見問題
什麼是指數退避?
一種重試策略,每次嘗試之間的等待時間都會增加,通常是加倍,並且通常加入一點隨機性,讓許多工作程序不會同時重試。它能分散負載,並給吃力的目標恢復的空間,這就是它能在立即重試失敗的地方成功的原因。它是處理暫時性請求失敗的標準合理預設做法。
我應該重試每個失敗的請求嗎?
不應該,這正是常見的錯誤。重試暫時性的失敗,例如逾時、503、在 Retry-After 延遲之後的 429,因為這些往往在第二次嘗試時就會成功。不要原封不動地重試 403、驗證碼或降級的內容:那些是針對你的決定,算不上小故障,所以用同樣的位址與指紋重試,只是付錢確認封鎖。改變某些東西,或者停下來。
糟糕的重試邏輯會增加我的代理成本嗎?
在按 GB 計費的情況下,影響很大。一個在傳輸了大部分回應之後才失敗的請求,已經花了你那些頻寬,所以對不穩定的目標激進地重試,會讓帳單倍增,卻收集不到任何東西。限制嘗試次數、在嘗試之間退避,並停止重試非暫時性的失敗,就能讓重試從成本倍增器變成真正的搶救手段。
回到完整詞彙表。

