No caso do acesso físico, sempre há o risco de infecção.

No caso de ser um ataque pela rede, se sua máquina física for comprometida, será capas de alterar sua VM sim.

Por isso recomendo Proxmox, VMware e Unraid. Que por sua vez tem correções de segurança, não tem opção fácil de executar programas diretamente na máquina física.

Diferente de uma máquina de uso comum, aonde você efetua seus downloads e instala programas diretamente.