Há uma configuração na Conta do Google onde há como desmarcar isto. No Google Takeout aparece os áudios e pesquisas gravadas.
Discussion
Sim. Ele próprio diz isso, mas parece que não é mais pelo Takeout:
https://support.google.com/websearch/answer/6030020?hl=pt-BR-GI&co=GENIE.Platform%3DDesktop
De qualquer forma, não dá pra confiar só nisso, o ideal seria isolar microfones fisicamente e também evitar ao máximo google como um todo.