ZH
開始使用

術語表

網路技術

負載平衡器

把傳入請求分散到許多後端伺服器的基礎設施,是爬取時你從外部遇到的一種反向代理。

負載平衡器會把進來的流量分散到一群後端伺服器上,讓任何一台機器都不會被壓垮,而且任何一台故障時服務都能存活。它是反向代理家族中的一項特定工作:位於網站自己的基礎設施前面,接收請求,並把每個請求交給當下健康、最不忙碌的後端。如果一個網站在後面的個別伺服器重新開機時仍然在線,通常就是負載平衡器的功勞。

你是從外部遇到它的,這讓它值得了解,不只是伺服器端的冷知識。當你連到大型網站時,你幾乎總是在和它的負載平衡器溝通,碰不到來源機器,而平衡器通常也擔負著和反向代理相同的邊緣功能:TLS 終止、健康檢查,而且常常還有決定你的請求能否繼續的速率限制與機器人規則。拒絕可能就發生在這裡,在任何應用程式伺服器參與之前。

它也解釋了一個讓爬蟲困惑的行為:相同請求之間看似不一致的結果。因為連續的請求可能被送到狀態或快取內容略有不同的後端,同一個網址可能在相隔片刻之間回傳略有差異的回應,而一個假設自己一直在和同一台機器溝通的工作階段就可能嚇一跳。這和刻意的變化不同;這只是伺服器池透出來的樣子。

這個詞與反向代理、CDN 大幅重疊,誠實的區分在於重點不同。反向代理是總體類別;負載平衡是它執行的其中一項功能,與快取、過濾並列;CDN 則是在地理規模上運作的這種模式。專用的負載平衡器可能只負責分配,而大多數反向代理與每一個 CDN,都把平衡負載當作更大工作的一部分。對爬蟲來說,實務上的結論是一樣的:回應你的是位於網站前面的基礎設施,而決定你命運的常常是它,網站本身反倒沒參與。

常見問題

負載平衡器和反向代理一樣嗎?

負載平衡是反向代理的工作之一,所以每個負載平衡器都像反向代理,但並非每個反向代理都只是負載平衡器。反向代理還會快取、終止 TLS 並過濾流量;專用的負載平衡器可能只把請求分配到各個後端。兩者重疊得夠多,同一套軟體常常同時扮演兩種角色。

為什麼位於負載平衡器後面的網站給我的結果不一致?

因為連續的請求可能落在快取或狀態略有不同的後端伺服器上,所以相同的請求會回傳略有差異的回應。這不是針對你的刻意變化;這只是伺服器池透出來的樣子。假設自己一直在和同一台機器溝通的程式碼,可能會把這誤讀成錯誤或封鎖。

負載平衡器會封鎖我的爬蟲嗎?

封鎖你的常常就是它。位於來源前面的負載平衡器,通常會執行和反向代理相同的邊緣功能,包括速率限制與機器人規則,所以拒絕可能在任何應用程式伺服器看到你的請求之前就在那裡發生。這也是為什麼網站自己的紀錄中,可能完全看不到一個在平衡器就被拒絕的請求。

回到完整詞彙表。

HProxy.

別只聽我們說。 自己量測看看。

在你的瀏覽器中針對即時位址執行。不需註冊,也不儲存清單。

HProxy