Parando para pensar, é bem provável que em uma versāo inicial do "Detectar idioma" do Google Tradutor tenha uma lista de palavras nos mais diversos idiomas associados a sua respectiva versāo no alfabeto fonético internacional.
De modo que, o tradutor apenas transcreva o que foi ouvido nessa linguagem fonética internacional e compare com a lista de palavras indexadas.
Na teoria é bem bonito, na prática esse sistema teria dificuldade de identificar o início e o fim de cada palavra e teria que ser recalibrado mediante o uso nas mais diferentes línguas.
Porém nada impede que isso tenha sido um protótipo ou tenha sido aplicado dessa forma em versões iniciais.