迅速ブログ

ChatGPTで有名なAI開発企業・OpenAIは、自社のAI開発のために「GPTbot」を使って各ウェブページをクロールしています。

このGPTbotに自分のウェブサイトをクロールされたくない方は、robots.txtに以下の2行を追加すればOKです。

User-agent: GPTBot
Disallow: /

また、以下のように記述する事で、一部のディレクトリ（サイトの一部）だけを許可・ブロックする事もできます。

User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

（Allowは許可、Disallowはブロック）

GPTbotで収集した情報は、ペイウォール（課金コンテンツ）や個人情報などを削除するためにフィルタリングされます。

しかし、そうしたコンテンツを扱っているウェブサイトは、あらかじめrobots.txtに上記の記述を行い、GPTbotがウェブサイトの情報を収集するのをブロックしておくと良いでしょう。

なお、これは今後のデータ収集をブロックする方法であって、既にOpenAIに収集された情報には影響を及ぼしません。

参考：GPTBot – OpenAI API

Googleは会話型のAI・Geminiを提供しており、そのためにウェブ上のコンテンツを学習（トレーニング）に利用しています。

自身のウェブサイトがGoogleの生成AIモデルの学習に利用されないようにするには、robots.txtに以下を記述し、「Google-Extended」をブロックすればOKです。

User-agent: Google-Extended
Disallow: /

この2行を記述すれば、自身のウェブサイトがGoogleの生成AIモデルの学習に利用されるのを防ぐことが可能です。

関連：ChatGPTのクローラーをブロックする方法はこちら

既に学習されたコンテンツは削除できない

今回紹介したのは、コンテンツがGoogleに新たに学習されるのを防ぐオプションであり、Googleに既に学習されたコンテンツを削除する事は不可能です。

Googleはこのオプションを発表する前から、ウェブ上のコンテンツを学習に利用していました。

その為、このオプションをrobots.txtに記述しても、既に自分のウェブサイトがGoogleに利用されている可能性がある点に注意しましょう。