查詢幾乎任何大型網站的位址,回傳的組織常常是內容傳遞網路(CDN):分布在數百個城市的一群快取伺服器,位於訪客和網站真正的機器之間。來源伺服器可能位於一個地方;CDN 則從離提問者最近的地方回答。
這個機制是在地理規模上營運的反向代理。網站的 DNS 指向 CDN,路由把每位訪客導向附近的節點,那個節點盡可能提供快取的副本,只在快取未命中或遇到無法快取的內容時才諮詢來源。訪客從幾百公里外的伺服器得到回應,來源只看到一小部分流量,延遲的物理就說明了其餘的一切。
對任何經由代理工作的人來說,有兩個後果很重要。第一,你從哪裡出口,決定了你和網站的哪一份副本溝通。來自德國出口的請求會落在歐洲節點,帶著那個節點的快取內容和新鮮度;從美國出口抓取的同一個網址,則由持有可能不同快取狀態的不同機器回答。在任何刻意的地區差異介入之前,兩者的內容就可能因為完全平凡的原因而不同,例如一個邊緣節點持有另一個已經更新過的過時副本。
第二,CDN 節點正是網路大部分防禦實際執行的地方。速率限制、信譽檢查、機器人分類和挑戰,都在邊緣、在網站租用的基礎設施上執行,來源什麼都還沒聽到。當一個被大量前置防護的網站拒絕你時,拒絕通常發生在 CDN 層,這也是為什麼來源的營運者有時確實看不到你問他們的那些流量。
值得分開來看:位於網站前方的 CDN 是網站的選擇,為網站服務。它和你為自己設定的代理無關,即使兩者的機制,快取式反向代理,同屬一個家族。你能選的是出口,CDN 則決定如何對待它。
常見問題
為什麼網站的 IP 位址屬於 CDN,看不到網站本身?
因為網站的 DNS 刻意指向這個網路,讓每位訪客都落在附近的快取節點。來源自己的位址不會公布,而且常常完全以防火牆擋住直接流量。查詢一個有前置防護的網站,告訴你的是它租用哪個傳遞網路,對網站本身在哪裡執行則透露得很少。
我代理的位置會改變 CDN 提供給我的內容嗎?
它決定哪個邊緣節點回答,並因此可能改變你收到的內容。不同地區的節點各自持有快取的副本,各有自己的新鮮度,所以在任何刻意的地理定位介入之前,同一個網址從不同的出口就可能回傳不同的內容。任何跨國比較頁面的人,都應該假設有些差異是快取造成的。
CDN 和 Cloudflare 是同一種東西嗎?
Cloudflare 是這種模式的知名營運者之一,其他還有 Akamai、Fastly、CloudFront 等。這個詞指的是模式本身:分散式的快取反向代理,並在邊緣執行安全防護。網站常常用一個網路做傳遞,再在上面疊加其他服務,所以品牌和機制值得分開。
為什麼 CDN 邊緣節點會封鎖爬蟲?
因為邊緣就是網站的防護被設定執行的地方:信譽查詢、速率計算和機器人分類,都在接收你的節點上執行,在諮詢來源之前。這對網站很便宜,因為被拒絕的請求從不碰到它們的機器,這也是為什麼對有前置防護的網站的封鎖可能是即時的,而且在來源自己的日誌中看不到。
回到完整詞彙表。

