隨著生成式 AI 熱潮席捲全球,OpenAI、Google 等 AI 業者的網頁機器人(bot)在未經許可的情況下,大量抓取網路內容以訓練 AI 模型的行為,引發越來越多的爭議和法律訴訟。為協助網站維護自身權益,Cloudflare 近日宣布對所有方案用戶(免費方案也可使用),推出更強大的 AI 機器人封鎖工具,讓網站管理員能有效阻止 AI 爬蟲程式掠奪網站內容。
操作方法
用戶只需在 Cloudflare 控制台的「網路安全」 >「機器人」頁面中,開啟「AI 抓取程式和網路爬蟲」滑鈕即可啟用。
Cloudflare 如何抵禦 AI 機器人
Cloudflare 早已為所有方案的用戶提供 機器人對抗模式(Bot Fight Mode) 服務,透過攻擊簽章比對、啟發式技術、機器學習和行為分析技術,區分「好的」和「壞的」機器人。所謂「好的」AI 機器人會遵守 robots.txt 規則,合法獲取網站內容;而「壞的」機器人則會無視網站規範,強行抓取數據。Cloudflare 也建立了驗證機器人目錄,允許 Googlebot 等「好機器人」註冊,方便網站管理員放行。
Cloudflare 指出,網際網路充斥著 AI 機器人,其服務的前一百萬個網站中,約有 39% 的流量來自這些機器人。儘管 robots.txt 文件能指示機器人哪些內容可以抓取,但如同過去的「Do Not Track」瀏覽器標頭一樣,robots.txt 經常被 AI 機器人無視。
為了解決 AI 機器人規避 robots.txt 規則的問題,Cloudflare 的機器學習評分系統會根據機器人的行為特徵,辨識並封鎖可疑的 AI 爬蟲程式。Cloudflare 強調,將持續監控 AI 機器人的活動,並不斷更新封鎖規則和機器學習模型,確保網站管理員能完全掌控其內容的使用方式,並創造一個讓內容創作者安心發展的網路環境。