WebSocket 一開始偽裝成一般的網頁請求。用戶端送出一個看起來像普通 HTTP 請求、帶有 Upgrade 標頭的請求;伺服器回答 101 Switching Protocols;從那一刻起,連線就完全不再是請求和回應的形式。它成了一條在同一條 TCP 連線上持續存在的雙向通道,只要連線存在,任何一方都能隨時傳送訊息。
偽裝正是設計目標:以 HTTP 的形式在標準網頁連接埠上開始,ws 用 80,以 TLS 包裝的 wss 用 443,這個協定就能穿越為網頁流量建構的基礎設施。比起反覆詢問伺服器是否有任何改變,它換來的是即時和經濟,一條常駐連線,取代一陣陣的輪詢,這就是為什麼它承載著網路的即時介面:價格行情、委託簿、聊天、通知、體育比分、協作編輯器、即時儀表板。
這份清單解釋了爬蟲為什麼一再遇到它。在這類頁面上,你抓取的文件只是骨架,你要的數字會在之後,以訊息的形式從頁面載入後開啟的通訊端送下來。抓取 HTML,你得到的是沒有資料的空殼;就算渲染頁面,也只有在之後持續聆聽才有幫助。直接的途徑和頁面使用的一樣:自己開啟通訊端端點,送出網站自己的用戶端送出的訂閱訊息,然後讀取資料流,它通常是比頁面能顯示的更乾淨的 JSON。
代理它是可行的,但有一些值得知道的不對稱。加密的 wss 會在一般的 CONNECT 通道內經過 HTTP 代理,和 HTTPS 使用的是同樣的盲目中繼,所以通常直接就能用。一般的 ws 則要求代理明確處理 Upgrade,有些 HTTP 代理處理得很差;實務上,幾乎所有真實的部署都是 wss。SOCKS5 代理轉送 TCP 而不解讀,兩者都能順利承載。通訊端特有的失敗模式在於持續時間:一條保持開啟好幾個小時的連線,讓出口的穩定性成為你架構的一部分,而輪替代理池的出口並不是為持續存在而建構的。長時間的資料流,需要靜態位址或長度符合工作的黏性工作階段。
在大量時還有一個特性很重要:通訊端是有狀態的,請求則沒有。你的訂閱、你的驗證,以及伺服器認為你是誰,全都存在於那一條連線上,所以串流中途出口掉線時,需要的是重新連線並重新訂閱,單純重試沒有用,而建構良好的消費端會把這當作預期中的事件。
常見問題
WebSocket 經由代理能用嗎?
通常可以。加密形式的 wss,會在和任何 HTTPS 流量相同的 CONNECT 通道內經過 HTTP 代理,SOCKS5 則把它當作一般的 TCP 轉送。經由 HTTP 代理的未加密 ws 是脆弱的組合,因為代理必須轉送 Upgrade 交握,而這方面的支援參差不齊。由於真實的部署絕大多數是 wss,大多數設定直接就能用。
為什麼爬取即時頁面時資料不見了?
因為頁面是空殼,內容在載入後透過通訊端抵達。抓取文件只會取得骨架。有效率的解法,是在瀏覽器的網路分頁中找到通訊端端點,直接連上它,送出頁面送出的同樣訂閱訊息,然後消費資料流,它通常會回傳比解析渲染後的頁面更乾淨的結構化資料。
WebSocket 資料流該用哪種代理類型?
出口一小時後還會存在的那種。保持開啟的連線讓出口穩定性成為設計的一部分,所以輪替代理池的形態不對:靜態位址、ISP 代理,或長度符合連線預期壽命的黏性工作階段比較適合。除了持續性之外,一般的網路信任考量照樣適用,因為網站看到通訊端的來源,就和看到請求的來源一樣。
WebSocket 連線會受到速率限制嗎?
方式和請求不同。網站會限制每個位址和每個帳號的並行連線數、限制連線內的訊息速率,並切斷訂閱範圍太廣的消費端。由於狀態存在於連線上,執行常常表現為斷線,不會有錯誤代碼,所以有韌性的消費端會把重新連線和重新訂閱視為家常便飯。
回到完整詞彙表。

