ren さんが説明した通り、殆どの日本人は瞳の色素が濃く、強い太陽光が当たらない限りサングラスを必要とはしません。

（伝統的に、日焼けした肌色が尊ばれることが特になかった為、わざわざ日光浴をしたりもしませんでした。）

日本では「目は口ほどに物を言う」という諺があります。

自分と同じ空間を共有する相手がどちらに向いているか、どんな表情をしているかを目から読み取ろうとするからかもしれません。

その為、サングラスをかけている人は表情が読み取りにくく、少し怖いと感じる人もいます。

典型的なヤクザのイメージがサングラスをかけている、ということも理由の一つかもしれません。