Cloudflare 以 CDN 和安全代理的身分,位於非常大比例的網站前方,這代表它的機器人防禦是自動化最常遇到的障礙之一。當請求看起來像自動化時,Cloudflare 可以在抵達真正的網站之前插入挑戰,例如 JavaScript 檢查、受管理的挑戰,有時是 CAPTCHA。
因為 Cloudflare 是網站的反向代理,你面對的是它的防禦。這份防禦衡量的,和每個認真的反機器人系統一樣:IP 信譽、TLS 指紋、瀏覽器行為。資料中心位址比乾淨的住宅位址更容易招來挑戰。
實際的結論不變:受信任的位址、真實的瀏覽器指紋和從容的行為,三者兼具才能通過,單靠其中任何一個都不行;對最嚴格的設定,專門打造的爬蟲端點常常是務實的途徑。
值得了解的結構性重點是,這項防護由每個網站自行設定。網站營運者選擇自己的安全等級、規則和門檻,這就是為什麼一個位於它後方的網站完全開放,另一個卻立刻挑戰你。斷定位於它後方的一切都爬不了,或都爬得了,這兩種結論都是從某人選擇的設定推論出來的。
這也代表你得到的回應不是二元的。依設定不同,一個請求可能正常提供服務、經過一次你察覺不到就通過的無聲 JavaScript 檢查、被顯示互動式挑戰、被限流,或被直接拒絕。讀懂你實際收到的是哪一種,比把每個非 200 都當成同一道牆,更能告訴你該改什麼。
對任何追查位址的人來說,有一個真正有用的結果:因為它扮演反向代理,你看到的位址屬於它。查詢網站的 IP,常常回傳的是 CDN,這是預期中的行為,不代表任何事。
對於最嚴格的設定,這是我們實際被問到的問題,我們的誠實立場是:乾淨的住宅位址能提高你的底線,但本身決定不了結果,因為網路層之上的檢查仍會繼續。當目標的設定夠激進時,實際的選項是專門打造的爬取端點、有官方 API 時使用官方 API,或接受這個網站不希望被自動化存取。把更貴的代理當作這個問題的答案來賣,並不誠實。
常見問題
為什麼 Cloudflare 封鎖我的爬蟲,卻不封鎖我的瀏覽器?
因為你的瀏覽器和你的腳本,除了位址之外一切都不同。HTTP 函式庫的 TLS 指紋不是瀏覽器的,標頭順序不同,缺少 client hints,而且完全沒有人類互動。這些在你的請求抵達網站之前就被讀取,這就是為什麼同一個 IP 在一個成功、在另一個失敗。
住宅代理能通過 Cloudflare 嗎?
它們消除了挑戰你最強的理由之一,在設定寬鬆的網站上,這單獨就常常足夠。在設定激進的網站上則不夠,因為不論你的位址多受信任,指紋和行為檢查都會執行。它提高你的底線,但結果不由它決定。
為什麼位於 Cloudflare 後方的不同網站,表現差這麼多?
因為每個營運者都設定自己的安全等級、規則和門檻。它是一個有各種設定的平台,所以兩個網站使用同一項產品,一個可以完全開放,另一個卻立刻充滿敵意。請測試特定的網站。
封鎖我的是 Cloudflare 還是網站?
通常是邊緣,依網站營運者選擇的規則行事。因為它是反向代理,決定通常在網站自己的應用程式看到任何東西之前就已做出,這就是為什麼封鎖可能是即時的,也是為什麼來源伺服器可能完全沒有你請求的紀錄。這也解釋了為什麼查詢網站的位址,回傳的是 CDN。
回到完整詞彙表。

