【急増するAIクローラー対策として「llms.txt」を導入してみた】

AIクローラーのスパイクアクセス対策にllms.txtを導入。レート制限、正規URL、メタデータなどを記述し、適切なクロールを促す設定を試みました

https://dev.classmethod.jp/articles/llms-txt-for-ai-crawlers/