網頁應用程式防火牆(WAF)讀取每個傳入的請求,並依規則集決定是否讓它抵達應用程式。它在請求本身中尋找攻擊:資料庫注入嘗試的查詢模式、跨站攻擊的腳本片段、路徑遍歷、格式錯誤的輸入,以及 OWASP 十大風險中編目完善的各種形態。符合的請求會在邊緣被拒絕,背後的應用程式根本看不到。
它和機器人管理的區別,是最值得記住的一件事,因為兩者經常被混為一談,而它們讓你失敗的方式不同。WAF 問的是這個請求是不是攻擊。機器人管理問的是這位訪客是不是人。不注入任何東西的一般爬蟲,只會意外觸發 WAF,通常是因為送出了某個剛好符合攻擊模式的格式錯誤內容,卻會單純因為是自動化而觸發機器人管理。當大家說被 WAF 封鎖時,他們常常指的是被機器人管理封鎖,而解法完全取決於真正是哪一種。
話雖如此,這些產品在市場上已經合併,所以這種混淆情有可原。主要的供應商,也就是爬蟲遇到的那些反機器人系統名稱,把 WAF 和機器人管理當作一項產品,部署在同一個網站前方,所以一次拒絕可能來自任何一個子系統。解讀回應就能區分兩者:攻擊規則的封鎖通常是帶有規則編號的直接 403,機器人判定則比較常產生挑戰、插頁或降級的內容。
對爬蟲來說,實際的暴露比它的名聲小,值得精確了解。你可能在毫無惡意的情況下觸發攻擊規則:含有類似 SQL 標點的搜尋詞、帶有規則視為遍歷的字元的網址、過大或編碼奇怪的參數。解法是看起來像普通的流量,正確編碼的請求、合理的參數值、沒有任何符合漏洞利用模式的東西,這和你的位址無關,因為 WAF 規則根本不讀你的 IP 信譽。
位址真正重要的地方,是很多 WAF 在純規則比對之上疊加的信譽資料:已知惡意 IP 清單,以及越來越常見的同一套機器人評分訊號。這種重疊正是 WAF 和機器人管理變得模糊的原因,也是為什麼乾淨的住宅出口對這種合併產品有幫助,即使它對純攻擊模式那一半毫無作用。
常見問題
WAF 和機器人管理有什麼差別?
WAF 檢查請求中的攻擊,例如注入、跨站腳本、遍歷、OWASP 目錄,並封鎖請求。機器人管理則以信譽、指紋和行為判斷訪客是不是人。一般的爬蟲大多觸發的是後者。它們由同樣的廠商一起銷售,這就是為什麼明明是機器人判定造成的封鎖,卻被怪到 WAF 頭上。
我又沒在攻擊任何東西,WAF 為什麼封鎖我的爬蟲?
幾乎都是因為你送出的某個東西碰巧符合攻擊模式:帶有類似 SQL 標點的搜尋查詢、含有遍歷規則會標記的字元的網址、過大或編碼奇怪的參數。解法是格式正確、看起來普通的請求,換更好的代理沒有用,因為純粹的 WAF 規則讀的是請求內容。
換 IP 能讓我通過 WAF 嗎?
就攻擊比對的部分而言,不能:規則讀的是請求,所以同樣格式錯誤的請求從任何 IP 都會失敗。對現代 WAF 綁在一起的信譽和機器人評分層,乾淨的住宅出口確實有幫助。這解釋了為什麼換位址有時有用、有時毫無作用:你面對的是頂著同一個名稱的兩個子系統。
AWS WAF、Imperva 和 Cloudflare 的 WAF 是同一種東西嗎?
同一類別,不同產品,而它們現在都把基於規則的過濾和機器人管理結合成一項產品。規則集、預設值和可調整的嚴格程度,依產品和網站營運者而異,所以一項技巧或一個出口能通過某個設定,對下一個設定說明不了什麼。找出你的目標前方是哪項產品,並測試那個特定的網站。
回到完整詞彙表。

