GoogleだとTwitterの詳細が出てくるからクロールって禁止されてなかったけってrobots.txt見たらグーグルだけ除外してた…

これってどうなん…

（調べたらこんな記事も出てきたhttps://internet.watch.impress.co.jp/docs/yajiuma/1519618.html）