OpenAIのクローラーも普通に robots.txt が効くとのこと。 User-agent: GPTBot

OpenAI、Webデータ収集クローラー「GPTBot」のブロック方法を説明 - ITmedia NEWS https://www.itmedia.co.jp/news/articles/2308/08/news124.html