2023/08/08
為了解決從公開網頁環境擷取資料涉及隱私及著作權爭議，OpenAI宣布推出名為GPTBot的網頁爬蟲技術，將以更透明方式蒐集人工智慧訓練時所需資料。
OpenAI表示，GPTBot將以完整字串及代幣方式闡明其爬蟲機器人身分，同時其所抓取公開網頁資料僅用於改良未來人工智慧模型，並且剔除抓取需要付費使用內容。
不過，如果網頁經營維護者不希望被GPTBot擷取內容的話，例如網頁可能存放大量涉及個人隱私等內容，僅需在網頁架構中的robots.txt檔案加入「GPTBot」描述，或是自訂GPTBot可抓取內容，甚至OpenAI也提供直接透過限制IP存取範圍方式禁止GPTBot抓取網頁資料的方式，讓網頁經營維護者能避免內容被GPTBot抓取。
