阿里云代理商:Web應(yīng)用防火墻 - 防爬動態(tài)令牌能力發(fā)布(WAF-v6.5.2.0)
聚搜云(m.gzjcsc123.com)是上海聚搜信息技術(shù)有限公司旗下品牌,坐落于魔都上海,服務(wù)于全球、2019年成為阿里云代理商生態(tài)合作伙伴。與阿里云代理商、騰訊云、華為云、西部數(shù)碼、美橙互聯(lián)、AWS亞馬遜云國際站代理商、聚搜云,長期戰(zhàn)略合作的計(jì)劃!阿里云國際站代理商專業(yè)的云服務(wù)商!
動態(tài)令牌驗(yàn)證主要解決JS校驗(yàn)容易被破解等攻防問題
適用客戶
WAF產(chǎn)品中使用防爬場景化配置的用戶
發(fā)布功能
防爬場景化配置新增動態(tài)令牌驗(yàn)證,主要解決JS校驗(yàn)容易被破解等攻防問題。具體原理為Web端請求加簽??蛻舳税l(fā)送請求時經(jīng)過了WAF下發(fā)的WebSDK針對請求進(jìn)行加簽保護(hù),并將簽名隨請求上報。如果加簽驗(yàn)簽正常,則該請求直接回源,否則會返回一段動態(tài)令牌執(zhí)行代碼請求并要求客戶端重新加簽。
配置瀏覽器訪問網(wǎng)頁的防爬場景化規(guī)則
Web應(yīng)用防火墻(Web Application Firewall,簡稱WAF)針對Bot管理模塊進(jìn)行全面升級,提供防爬場景化配置功能。您可以基于實(shí)際業(yè)務(wù)場景對防爬規(guī)則進(jìn)行場景化定制,更有針對性地對業(yè)務(wù)進(jìn)行爬蟲風(fēng)險防護(hù)。本文指導(dǎo)您針對瀏覽器訪問網(wǎng)頁的場景配置防爬場景化規(guī)則。
背景信息
防爬場景化配置功能支持基于不同業(yè)務(wù)場景定制防爬規(guī)則,結(jié)合智能算法,精準(zhǔn)識別爬蟲流量,并對命中規(guī)則的爬蟲行為進(jìn)行自動處置。同時,在定制場景化防爬規(guī)則后,您可以在測試環(huán)境中對防爬規(guī)則進(jìn)行應(yīng)用前的驗(yàn)證,避免因規(guī)則配置不合理或防護(hù)兼容性問題,對您的網(wǎng)站或App業(yè)務(wù)產(chǎn)生誤攔截或防護(hù)效果低等不利影響。
前提條件
如果是包年包月實(shí)例:已開通高級版、企業(yè)版、旗艦版的Bot管理增值服務(wù)。更多信息,請參見開通Web應(yīng)用防火墻。
如果是按量計(jì)費(fèi)實(shí)例:已在賬單與套餐中心,開啟Bot管理模塊下場景化配置功能。
說明 使用按量計(jì)費(fèi)WAF實(shí)例的防爬場景化配置功能時,阿里云將根據(jù)您已設(shè)置的場景個數(shù)來計(jì)費(fèi)。相關(guān)內(nèi)容,請參見按量計(jì)費(fèi)2.0。
已完成網(wǎng)站接入。具體操作,請參見網(wǎng)站接入概述。
添加瀏覽器訪問網(wǎng)頁的防爬場景
登錄Web應(yīng)用防火墻控制臺。
在頂部菜單欄,選擇Web應(yīng)用防火墻實(shí)例的資源組和地域(中國內(nèi)地、非中國內(nèi)地)。
在左側(cè)導(dǎo)航欄,選擇防護(hù)配置 > 網(wǎng)站防護(hù)。
在網(wǎng)站防護(hù)頁面上方,切換到要設(shè)置的域名。切換域名
如果您沒有創(chuàng)建過防爬場景化規(guī)劃,單擊Bot管理頁簽,在場景化配置模塊單擊點(diǎn)我開始,創(chuàng)建您的第一條防爬場景化規(guī)則。如果您已創(chuàng)建過防爬場景化規(guī)則,在Bot管理頁簽右上角單擊添加,創(chuàng)建更多的防爬場景化規(guī)則。
說明 每個域名最多可添加50條場景化配置規(guī)則。
在防護(hù)場景定義配置向?qū)ы撁?,設(shè)置防爬保護(hù)目標(biāo)的基礎(chǔ)信息,并單擊下一步。
配置項(xiàng)說明
防護(hù)業(yè)務(wù)場景填寫該防爬規(guī)則防護(hù)的業(yè)務(wù)場景類型。常見場景例如:登錄、注冊、下單等。
防護(hù)目標(biāo)類型選擇網(wǎng)頁/瀏覽器,表示對瀏覽器訪問的網(wǎng)頁或H5頁面(包括App中使用的H5頁面)進(jìn)行防護(hù)。
如果網(wǎng)站用戶從另一個域名發(fā)起對當(dāng)前防護(hù)目標(biāo)的訪問請求,則需選擇防護(hù)目標(biāo)有來自其它域名的跨域調(diào)用,并從下拉列表中選擇跨域訪問的來源域名。
防護(hù)目標(biāo)特征添加目標(biāo)流量的HTTP請求字段及其規(guī)則,即訪問該防護(hù)目標(biāo)時,HTTP請求報文中生成的有關(guān)該防護(hù)業(yè)務(wù)場景的字段內(nèi)容。有關(guān)字段的詳細(xì)內(nèi)容,請參見匹配條件字段說明。最多可以添加5個條件。
注意 輸入IP地址后需要按回車。
在防護(hù)規(guī)則推薦向?qū)ы撁?,設(shè)置防爬場景規(guī)則的詳細(xì)內(nèi)容,并單擊下一步。
配置項(xiàng)說明
簡單腳本過濾開啟此開關(guān)后,對訪問防爬防護(hù)目標(biāo)的客戶端進(jìn)行JS校驗(yàn),對不支持JS校驗(yàn)的來自非瀏覽器類工具的流量進(jìn)行過濾,阻斷簡單腳本類攻擊。
動態(tài)令牌挑戰(zhàn)默認(rèn)未開啟。開啟此開關(guān)后,對每一次請求數(shù)據(jù)進(jìn)行簽名驗(yàn)證,不能通過驗(yàn)簽的請求將被攔截。您可以選擇簽名驗(yàn)證異常(該項(xiàng)為必選,指為攜帶簽名或者簽名非法)、簽名時間戳異常、WebDriver攻擊,開啟動態(tài)令牌挑戰(zhàn)。
AI智能防護(hù)開啟此開關(guān)后,防爬規(guī)則會通過AI智能防護(hù)引擎對訪問流量進(jìn)行分析和自動學(xué)習(xí),生成有針對性的防護(hù)規(guī)則或黑名單。您可根據(jù)需要將AI智能防護(hù)生成的規(guī)則設(shè)置為觀察模式或滑塊校驗(yàn)?zāi)J?。設(shè)置為觀察模式,防爬規(guī)則會放行命中流量并將流量記錄在安全報表中;設(shè)置為滑塊校驗(yàn)?zāi)J?,客戶端需完成滑塊校驗(yàn)后才能繼續(xù)訪問防護(hù)目標(biāo)。
爬蟲威脅情報庫匹配通過與阿里云威脅情報庫匹配,準(zhǔn)確識別出阿里云上對多個用戶有多次惡意爬取行為的攻擊源IP地址,來自這些攻擊源IP地址的訪問請求將需要完成滑塊校驗(yàn),才能繼續(xù)訪問防護(hù)目標(biāo)。
IDC黑名單封禁對來自阿里云和其他主流云廠商IDC黑名單庫的IP地址進(jìn)行封禁,阻止這些黑名單地址對防護(hù)目標(biāo)發(fā)起訪問請求。IDC黑名單庫
IP限速開啟后即可設(shè)置訪問頻率限制條件,有針對性地對訪問頻率過高的爬蟲請求進(jìn)行過濾,有效緩解CC攻擊。
您可以自定義IP限速條件來規(guī)定在指定時長內(nèi),來自同一IP地址的訪問次數(shù)超過指定閾值時,對來自該IP的訪問請求執(zhí)行阻斷、滑塊校驗(yàn)或觀察的處置動作,并規(guī)定處置動作的生效時長。最多可以設(shè)置3個條件。相關(guān)內(nèi)容,請參見設(shè)置自定義防護(hù)策略。
自定義會話限速開啟后即可自定義訪問頻率限制條件,有針對性地對訪問頻率過高的爬蟲請求進(jìn)行過濾,有效緩解CC攻擊。
您可以自定義會話限速條件來規(guī)定在指定時長內(nèi),來自同一會話的訪問次數(shù)超過指定閾值時,對該會話執(zhí)行阻斷、滑塊校驗(yàn)或觀察的處置動作,并規(guī)定處置動作的生效時長。相關(guān)內(nèi)容,請參見設(shè)置自定義防護(hù)策略。
可選:在防護(hù)動作驗(yàn)證頁面,對防爬防護(hù)規(guī)則進(jìn)行效果測試。
本操作為可選操作,您也可以單擊左下角跳過。我們強(qiáng)烈建議您(特別是首次配置時)先完成防護(hù)動作驗(yàn)證,再發(fā)布策略,避免出現(xiàn)規(guī)則配置錯誤、兼容性等問題引發(fā)的誤攔截。
驗(yàn)證步驟如下:
填寫公網(wǎng)測試IP:填寫您測試設(shè)備(PC或手機(jī))的公網(wǎng)IP。本防爬規(guī)則驗(yàn)證測試將僅針對該公網(wǎng)IP生效,不會對您的業(yè)務(wù)產(chǎn)生影響。
注意 請不要填寫通過ipconfig查詢的IP地址(即內(nèi)網(wǎng)IP地址)。如果不確定您設(shè)備的公網(wǎng)IP,可以通過本頁面提示信息中的網(wǎng)絡(luò)診斷工具或在線IP查詢工具進(jìn)行查詢。
選擇動作進(jìn)行測試:將對前序步驟中配置策略所涉及到的防護(hù)動作(可選JS校驗(yàn)防護(hù)效果驗(yàn)證、動態(tài)令牌驗(yàn)證、滑塊驗(yàn)證、攔截驗(yàn)證)生成一條只針對您測試IP生效的測試規(guī)則,供您在實(shí)際環(huán)境中測試防護(hù)動作的效果。
在測試動作模塊上單擊去測試后,WAF會將防護(hù)策略即刻下發(fā)到測試設(shè)備,同時為您展示測試效果演示圖和說明,建議您仔細(xì)閱讀。
完成測試后,單擊已完成測試進(jìn)入下一步;如果測試結(jié)果異常,可以單擊返回去再準(zhǔn)備一下,優(yōu)化防爬規(guī)則后重新測試。
有關(guān)測試時出現(xiàn)的異常情況說明和對應(yīng)的解決方法,請參見防爬策略測試常見問題。
在策略預(yù)覽和發(fā)布頁面,確認(rèn)策略的內(nèi)容,單擊發(fā)布。
策略發(fā)布后即刻生效。
說明 首次創(chuàng)建場景時規(guī)則ID不會展示,正式發(fā)布防爬場景化規(guī)則后,您可以在安全報表頁面的Bot管理頁簽下方,查看規(guī)則ID信息。規(guī)則ID可用于日志服務(wù)中檢索特定規(guī)則的命中情況。
防爬策略測試常見問題
報錯原因解決方法
未查詢到任何有效測試請求,您可以查看幫助文檔或咨詢我們以分析可能的原因。實(shí)際測試請求沒有發(fā)送成功,或者沒有發(fā)送到WAF。確認(rèn)測試請求已經(jīng)成功發(fā)送到WAF解析的地址。
實(shí)際測試請求的字段內(nèi)容與防爬規(guī)則中定義的防護(hù)目標(biāo)特征不一致。在防爬策略中修改防護(hù)目標(biāo)特征的內(nèi)容。
實(shí)際測試請求的源IP與配置策略中填寫的公網(wǎng)測試IP不一致。請確保您使用的是正確的公網(wǎng)IP,建議直接使用診斷工具查詢您的公網(wǎng)IP地址。
請求未通過校驗(yàn),您可以查看幫助文檔或咨詢我們以分析可能的原因。沒有模擬真實(shí)用戶訪問,例如使用了調(diào)試模式、自動化工具等。測試時使用客戶端真實(shí)模擬用戶訪問。
防護(hù)場景選擇錯誤,例如實(shí)際需要配置App防爬場景規(guī)則,但錯選為網(wǎng)頁/瀏覽器。在防爬場景化規(guī)則中修改防護(hù)場景類型。
訪問請求存在跨域的情況,但在防爬場景化規(guī)則中未正確配置。修改防爬場景化規(guī)則,選中防護(hù)目標(biāo)有來自其它域名的跨域調(diào)用并從下拉列表中選擇跨域訪問的來源域名。
前端兼容性問題。您可以通過釘釘群或工單聯(lián)系我們排查。
請求未觸發(fā)校驗(yàn),您可以查看幫助文檔或咨詢我們以分析可能的原因。測試規(guī)則沒有下發(fā)完畢。建議您多測試幾次,等待防爬測試規(guī)則下發(fā)完成。
未攔截且查詢到任何有效測試請求,您可以查看幫助文檔或咨詢我們以分析可能的原因。實(shí)際測試請求沒有發(fā)送成功,或者沒有發(fā)送到WAF。確認(rèn)測試請求已經(jīng)成功發(fā)送到WAF解析的地址。
實(shí)際測試請求的字段內(nèi)容與防爬規(guī)則中定義的防護(hù)目標(biāo)特征不一致。在防爬策略中修改防護(hù)目標(biāo)特征的內(nèi)容。
實(shí)際測試請求的源IP與配置策略中填寫的公網(wǎng)測試IP不一致。請確保您使用的是正確的公網(wǎng)IP,建議直接使用診斷工具查詢您的公網(wǎng)IP地址。
后續(xù)步驟
前往安全報表中的Bot管理頁簽,查看防護(hù)效果和規(guī)則命中的詳細(xì)內(nèi)容,并且根據(jù)防護(hù)效果,對防爬場景化策略進(jìn)行優(yōu)化。
