CPUから見るとGPUは汎用性を捨ててある(グラフィック形の)演算に特化してる方です。

CPUはだいたいコアが10個くらいで、いろんな順番で全然違う処理が出来るようにクロックを上げまくって頑張る方針ですが、GPUはコア10000個くらい用意して、メモリアクセスを速くして、入出力が大量な決まった演算が得意、っていう方針の違いがあると思います。