Caso alguém consiga acesso à sua chave privada, ela ainda terá que passar pela senha. O mesmo vale para você caso queira fazer um backup.