隨著生成式 AI 熱潮席捲全球，OpenAI、Google 等 AI 業者的網頁機器人（bot）在未經許可的情況下，大量抓取網路內容以訓練 AI 模型的行為，引發越來越多的爭議和法律訴訟。為協助網站維護自身權益，Cloudflare 近日宣布對所有方案用戶(免費方案也可使用)，推出更強大的 AI 機器人封鎖工具，讓網站管理員能有效阻止 AI 爬蟲程式掠奪網站內容。

操作方法

用戶只需在 Cloudflare 控制台的「網路安全」 >「機器人」頁面中，開啟「AI 抓取程式和網路爬蟲」滑鈕即可啟用。

Cloudflare 如何抵禦 AI 機器人

Cloudflare 早已為所有方案的用戶提供 機器人對抗模式(Bot Fight Mode) 服務，透過攻擊簽章比對、啟發式技術、機器學習和行為分析技術，區分「好的」和「壞的」機器人。所謂「好的」AI 機器人會遵守 robots.txt 規則，合法獲取網站內容；而「壞的」機器人則會無視網站規範，強行抓取數據。Cloudflare 也建立了驗證機器人目錄，允許 Googlebot 等「好機器人」註冊，方便網站管理員放行。

Cloudflare 指出，網際網路充斥著 AI 機器人，其服務的前一百萬個網站中，約有 39% 的流量來自這些機器人。儘管 robots.txt 文件能指示機器人哪些內容可以抓取，但如同過去的「Do Not Track」瀏覽器標頭一樣，robots.txt 經常被 AI 機器人無視。

為了解決 AI 機器人規避 robots.txt 規則的問題，Cloudflare 的機器學習評分系統會根據機器人的行為特徵，辨識並封鎖可疑的 AI 爬蟲程式。Cloudflare 強調，將持續監控 AI 機器人的活動，並不斷更新封鎖規則和機器學習模型，確保網站管理員能完全掌控其內容的使用方式，並創造一個讓內容創作者安心發展的網路環境。