(KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot) openai的爬虫怎么 不看robots.txt规则,我设置的间隔3秒,google,亚马逊都遵守,他不遵守;不间断的抓信息。搞的我NostrHTTP 经常满了。
Discussion
No replies yet.
(KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot) openai的爬虫怎么 不看robots.txt规则,我设置的间隔3秒,google,亚马逊都遵守,他不遵守;不间断的抓信息。搞的我NostrHTTP 经常满了。
No replies yet.