阿里云代理商：Web應(yīng)用防火墻 - 防爬動態(tài)令牌能力發(fā)布（WAF-v6.5.2.0）

　　聚搜云（m.gzjcsc123.com）是上海聚搜信息技術(shù)有限公司旗下品牌，坐落于魔都上海，服務(wù)于全球、2019年成為阿里云代理商生態(tài)合作伙伴。與阿里云代理商、騰訊云、華為云、西部數(shù)碼、美橙互聯(lián)、AWS亞馬遜云國際站代理商、聚搜云,長期戰(zhàn)略合作的計(jì)劃！阿里云國際站代理商專業(yè)的云服務(wù)商！

　　動態(tài)令牌驗(yàn)證主要解決JS校驗(yàn)容易被破解等攻防問題

　　適用客戶

　　WAF產(chǎn)品中使用防爬場景化配置的用戶

　　發(fā)布功能

　　防爬場景化配置新增動態(tài)令牌驗(yàn)證，主要解決JS校驗(yàn)容易被破解等攻防問題。具體原理為Web端請求加簽?？蛻舳税l(fā)送請求時經(jīng)過了WAF下發(fā)的WebSDK針對請求進(jìn)行加簽保護(hù)，并將簽名隨請求上報。如果加簽驗(yàn)簽正常，則該請求直接回源，否則會返回一段動態(tài)令牌執(zhí)行代碼請求并要求客戶端重新加簽。

　　配置瀏覽器訪問網(wǎng)頁的防爬場景化規(guī)則

　　Web應(yīng)用防火墻（Web Application Firewall，簡稱WAF）針對Bot管理模塊進(jìn)行全面升級，提供防爬場景化配置功能。您可以基于實(shí)際業(yè)務(wù)場景對防爬規(guī)則進(jìn)行場景化定制，更有針對性地對業(yè)務(wù)進(jìn)行爬蟲風(fēng)險防護(hù)。本文指導(dǎo)您針對瀏覽器訪問網(wǎng)頁的場景配置防爬場景化規(guī)則。

　　背景信息

　　防爬場景化配置功能支持基于不同業(yè)務(wù)場景定制防爬規(guī)則，結(jié)合智能算法，精準(zhǔn)識別爬蟲流量，并對命中規(guī)則的爬蟲行為進(jìn)行自動處置。同時，在定制場景化防爬規(guī)則后，您可以在測試環(huán)境中對防爬規(guī)則進(jìn)行應(yīng)用前的驗(yàn)證，避免因規(guī)則配置不合理或防護(hù)兼容性問題，對您的網(wǎng)站或App業(yè)務(wù)產(chǎn)生誤攔截或防護(hù)效果低等不利影響。

　　前提條件

　　如果是包年包月實(shí)例：已開通高級版、企業(yè)版、旗艦版的Bot管理增值服務(wù)。更多信息，請參見開通Web應(yīng)用防火墻。

　　如果是按量計(jì)費(fèi)實(shí)例：已在賬單與套餐中心，開啟Bot管理模塊下場景化配置功能。

　　說明 使用按量計(jì)費(fèi)WAF實(shí)例的防爬場景化配置功能時，阿里云將根據(jù)您已設(shè)置的場景個數(shù)來計(jì)費(fèi)。相關(guān)內(nèi)容，請參見按量計(jì)費(fèi)2.0。

　　已完成網(wǎng)站接入。具體操作，請參見網(wǎng)站接入概述。

　　添加瀏覽器訪問網(wǎng)頁的防爬場景

　　登錄Web應(yīng)用防火墻控制臺。

　　在頂部菜單欄，選擇Web應(yīng)用防火墻實(shí)例的資源組和地域（中國內(nèi)地、非中國內(nèi)地）。

　　在左側(cè)導(dǎo)航欄，選擇防護(hù)配置 > 網(wǎng)站防護(hù)。

　　在網(wǎng)站防護(hù)頁面上方，切換到要設(shè)置的域名。切換域名

　　如果您沒有創(chuàng)建過防爬場景化規(guī)劃，單擊Bot管理頁簽，在場景化配置模塊單擊點(diǎn)我開始，創(chuàng)建您的第一條防爬場景化規(guī)則。如果您已創(chuàng)建過防爬場景化規(guī)則，在Bot管理頁簽右上角單擊添加，創(chuàng)建更多的防爬場景化規(guī)則。

　　說明 每個域名最多可添加50條場景化配置規(guī)則。

　　在防護(hù)場景定義配置向?qū)ы撁?，設(shè)置防爬保護(hù)目標(biāo)的基礎(chǔ)信息，并單擊下一步。

　　配置項(xiàng)說明

　　防護(hù)業(yè)務(wù)場景填寫該防爬規(guī)則防護(hù)的業(yè)務(wù)場景類型。常見場景例如：登錄、注冊、下單等。

　　防護(hù)目標(biāo)類型選擇網(wǎng)頁/瀏覽器，表示對瀏覽器訪問的網(wǎng)頁或H5頁面（包括App中使用的H5頁面）進(jìn)行防護(hù)。

　　如果網(wǎng)站用戶從另一個域名發(fā)起對當(dāng)前防護(hù)目標(biāo)的訪問請求，則需選擇防護(hù)目標(biāo)有來自其它域名的跨域調(diào)用，并從下拉列表中選擇跨域訪問的來源域名。

　　防護(hù)目標(biāo)特征添加目標(biāo)流量的HTTP請求字段及其規(guī)則，即訪問該防護(hù)目標(biāo)時，HTTP請求報文中生成的有關(guān)該防護(hù)業(yè)務(wù)場景的字段內(nèi)容。有關(guān)字段的詳細(xì)內(nèi)容，請參見匹配條件字段說明。最多可以添加5個條件。

　　注意 輸入IP地址后需要按回車。

　　在防護(hù)規(guī)則推薦向?qū)ы撁?，設(shè)置防爬場景規(guī)則的詳細(xì)內(nèi)容，并單擊下一步。

　　配置項(xiàng)說明

　　簡單腳本過濾開啟此開關(guān)后，對訪問防爬防護(hù)目標(biāo)的客戶端進(jìn)行JS校驗(yàn)，對不支持JS校驗(yàn)的來自非瀏覽器類工具的流量進(jìn)行過濾，阻斷簡單腳本類攻擊。

　　動態(tài)令牌挑戰(zhàn)默認(rèn)未開啟。開啟此開關(guān)后，對每一次請求數(shù)據(jù)進(jìn)行簽名驗(yàn)證，不能通過驗(yàn)簽的請求將被攔截。您可以選擇簽名驗(yàn)證異常（該項(xiàng)為必選，指為攜帶簽名或者簽名非法）、簽名時間戳異常、WebDriver攻擊，開啟動態(tài)令牌挑戰(zhàn)。

　　AI智能防護(hù)開啟此開關(guān)后，防爬規(guī)則會通過AI智能防護(hù)引擎對訪問流量進(jìn)行分析和自動學(xué)習(xí)，生成有針對性的防護(hù)規(guī)則或黑名單。您可根據(jù)需要將AI智能防護(hù)生成的規(guī)則設(shè)置為觀察模式或滑塊校驗(yàn)?zāi)Ｊ?。設(shè)置為觀察模式，防爬規(guī)則會放行命中流量并將流量記錄在安全報表中；設(shè)置為滑塊校驗(yàn)?zāi)Ｊ?，客戶端需完成滑塊校驗(yàn)后才能繼續(xù)訪問防護(hù)目標(biāo)。

　　爬蟲威脅情報庫匹配通過與阿里云威脅情報庫匹配，準(zhǔn)確識別出阿里云上對多個用戶有多次惡意爬取行為的攻擊源IP地址，來自這些攻擊源IP地址的訪問請求將需要完成滑塊校驗(yàn)，才能繼續(xù)訪問防護(hù)目標(biāo)。

　　IDC黑名單封禁對來自阿里云和其他主流云廠商IDC黑名單庫的IP地址進(jìn)行封禁，阻止這些黑名單地址對防護(hù)目標(biāo)發(fā)起訪問請求。IDC黑名單庫

　　IP限速開啟后即可設(shè)置訪問頻率限制條件，有針對性地對訪問頻率過高的爬蟲請求進(jìn)行過濾，有效緩解CC攻擊。

　　您可以自定義IP限速條件來規(guī)定在指定時長內(nèi)，來自同一IP地址的訪問次數(shù)超過指定閾值時，對來自該IP的訪問請求執(zhí)行阻斷、滑塊校驗(yàn)或觀察的處置動作，并規(guī)定處置動作的生效時長。最多可以設(shè)置3個條件。相關(guān)內(nèi)容，請參見設(shè)置自定義防護(hù)策略。

　　自定義會話限速開啟后即可自定義訪問頻率限制條件，有針對性地對訪問頻率過高的爬蟲請求進(jìn)行過濾，有效緩解CC攻擊。

　　您可以自定義會話限速條件來規(guī)定在指定時長內(nèi)，來自同一會話的訪問次數(shù)超過指定閾值時，對該會話執(zhí)行阻斷、滑塊校驗(yàn)或觀察的處置動作，并規(guī)定處置動作的生效時長。相關(guān)內(nèi)容，請參見設(shè)置自定義防護(hù)策略。

　　可選：在防護(hù)動作驗(yàn)證頁面，對防爬防護(hù)規(guī)則進(jìn)行效果測試。

　　本操作為可選操作，您也可以單擊左下角跳過。我們強(qiáng)烈建議您（特別是首次配置時）先完成防護(hù)動作驗(yàn)證，再發(fā)布策略，避免出現(xiàn)規(guī)則配置錯誤、兼容性等問題引發(fā)的誤攔截。

　　驗(yàn)證步驟如下：

　　填寫公網(wǎng)測試IP：填寫您測試設(shè)備（PC或手機(jī)）的公網(wǎng)IP。本防爬規(guī)則驗(yàn)證測試將僅針對該公網(wǎng)IP生效，不會對您的業(yè)務(wù)產(chǎn)生影響。

　　注意 請不要填寫通過ipconfig查詢的IP地址（即內(nèi)網(wǎng)IP地址）。如果不確定您設(shè)備的公網(wǎng)IP，可以通過本頁面提示信息中的網(wǎng)絡(luò)診斷工具或在線IP查詢工具進(jìn)行查詢。

　　選擇動作進(jìn)行測試：將對前序步驟中配置策略所涉及到的防護(hù)動作（可選JS校驗(yàn)防護(hù)效果驗(yàn)證、動態(tài)令牌驗(yàn)證、滑塊驗(yàn)證、攔截驗(yàn)證）生成一條只針對您測試IP生效的測試規(guī)則，供您在實(shí)際環(huán)境中測試防護(hù)動作的效果。

　　在測試動作模塊上單擊去測試后，WAF會將防護(hù)策略即刻下發(fā)到測試設(shè)備，同時為您展示測試效果演示圖和說明，建議您仔細(xì)閱讀。

　　完成測試后，單擊已完成測試進(jìn)入下一步；如果測試結(jié)果異常，可以單擊返回去再準(zhǔn)備一下，優(yōu)化防爬規(guī)則后重新測試。

　　有關(guān)測試時出現(xiàn)的異常情況說明和對應(yīng)的解決方法，請參見防爬策略測試常見問題。

　　在策略預(yù)覽和發(fā)布頁面，確認(rèn)策略的內(nèi)容，單擊發(fā)布。

　　策略發(fā)布后即刻生效。

　　說明 首次創(chuàng)建場景時規(guī)則ID不會展示，正式發(fā)布防爬場景化規(guī)則后，您可以在安全報表頁面的Bot管理頁簽下方，查看規(guī)則ID信息。規(guī)則ID可用于日志服務(wù)中檢索特定規(guī)則的命中情況。

　　防爬策略測試常見問題

　　報錯原因解決方法

　　未查詢到任何有效測試請求，您可以查看幫助文檔或咨詢我們以分析可能的原因。實(shí)際測試請求沒有發(fā)送成功，或者沒有發(fā)送到WAF。確認(rèn)測試請求已經(jīng)成功發(fā)送到WAF解析的地址。

　　實(shí)際測試請求的字段內(nèi)容與防爬規(guī)則中定義的防護(hù)目標(biāo)特征不一致。在防爬策略中修改防護(hù)目標(biāo)特征的內(nèi)容。

　　實(shí)際測試請求的源IP與配置策略中填寫的公網(wǎng)測試IP不一致。請確保您使用的是正確的公網(wǎng)IP，建議直接使用診斷工具查詢您的公網(wǎng)IP地址。

　　請求未通過校驗(yàn)，您可以查看幫助文檔或咨詢我們以分析可能的原因。沒有模擬真實(shí)用戶訪問，例如使用了調(diào)試模式、自動化工具等。測試時使用客戶端真實(shí)模擬用戶訪問。

　　防護(hù)場景選擇錯誤，例如實(shí)際需要配置App防爬場景規(guī)則，但錯選為網(wǎng)頁/瀏覽器。在防爬場景化規(guī)則中修改防護(hù)場景類型。

　　訪問請求存在跨域的情況，但在防爬場景化規(guī)則中未正確配置。修改防爬場景化規(guī)則，選中防護(hù)目標(biāo)有來自其它域名的跨域調(diào)用并從下拉列表中選擇跨域訪問的來源域名。

　　前端兼容性問題。您可以通過釘釘群或工單聯(lián)系我們排查。

　　請求未觸發(fā)校驗(yàn)，您可以查看幫助文檔或咨詢我們以分析可能的原因。測試規(guī)則沒有下發(fā)完畢。建議您多測試幾次，等待防爬測試規(guī)則下發(fā)完成。

　　未攔截且查詢到任何有效測試請求，您可以查看幫助文檔或咨詢我們以分析可能的原因。實(shí)際測試請求沒有發(fā)送成功，或者沒有發(fā)送到WAF。確認(rèn)測試請求已經(jīng)成功發(fā)送到WAF解析的地址。

　　實(shí)際測試請求的字段內(nèi)容與防爬規(guī)則中定義的防護(hù)目標(biāo)特征不一致。在防爬策略中修改防護(hù)目標(biāo)特征的內(nèi)容。

　　實(shí)際測試請求的源IP與配置策略中填寫的公網(wǎng)測試IP不一致。請確保您使用的是正確的公網(wǎng)IP，建議直接使用診斷工具查詢您的公網(wǎng)IP地址。

　　后續(xù)步驟

　　前往安全報表中的Bot管理頁簽，查看防護(hù)效果和規(guī)則命中的詳細(xì)內(nèi)容，并且根據(jù)防護(hù)效果，對防爬場景化策略進(jìn)行優(yōu)化。