GoogleだとTwitterの詳細が出てくるからクロールって禁止されてなかったけってrobots.txt見たらグーグルだけ除外してた…
これってどうなん…
(調べたらこんな記事も出てきたhttps://internet.watch.impress.co.jp/docs/yajiuma/1519618.html)
あ、)までリンクとして認識されてた
https://internet.watch.impress.co.jp/docs/yajiuma/1519618.html
Please Login to reply.
No replies yet.