開発者側の視点からだと、もしユーザの秘密鍵を預かっちゃうと、もしその秘密鍵が流出した時に容疑者リストに載ってしまうというリスクがあります。

「自分が秘密鍵を入力したのはサイトAとサイトBなのでどちらかが秘密鍵を漏らしたに違いない」

みたいなクレームに巻き込まれちゃう。