Diarização de Locutores

A diarização de locutores é o equivalente temporal de separar uma conversa em faixas: o sistema detecta onde há fala, encontra mudanças de locutor, extrai características vocais e agrupa segmentos que parecem pertencer à mesma pessoa. O resultado costuma usar rótulos anônimos, como `SPEAKER_00`, acompanhados de intervalos. Só uma etapa adicional de reconhecimento pode associar um rótulo a uma identidade cadastrada. A diarização pode ser offline, com acesso a todo o áudio, ou online, em tempo real. Em ambientes residenciais, microfones distantes, reverberação, TV, crianças, sobreposição e ruído dificultam. A métrica DER combina erros de fala perdida, fala falsa e atribuição. O resultado é probabilístico e não deve autorizar fechaduras ou compras sem fator independente.

• O pipeline clássico começa com VAD, que distingue fala e não fala. Depois segmenta e detecta mudança de locutor. Cada trecho recebe um embedding de locutor, uma representação das características vocais. Um algoritmo de clustering agrupa. O número de pessoas pode ser conhecido ou estimado. Técnicas modernas usam redes end-to-end, spectral clustering, agglomerative clustering, x-vectors, ECAPA-TDNN e modelos neurais conjuntos. O áudio é convertido em features, como espectrogramas ou filterbanks. Janelas curtas capturam mudança, mas fornecem pouca identidade; longas misturam locutores. O sistema precisa equilibrar. Um pós-processamento suaviza. O resultado contém timestamps. O ASR pode ser executado antes ou depois e alinhado para produzir transcrição por locutor.
• Diarização e reconhecimento de locutor são diferentes. A diarização responde “quantos padrões de voz há e em quais intervalos?”. O reconhecimento responde “esta voz corresponde ao perfil de Ana?”. Um rótulo `SPEAKER_01` pode mudar entre sessões. Mesmo dentro da sessão, erros de cluster podem dividir uma pessoa ou unir duas. Para identificar, é necessário enrollment, embeddings de referência, limiar e consentimento. Voice Match em assistentes é uma aplicação de perfil, mas não deve ser tratado como autenticação forte. Voz pode ser gravada ou sintetizada. Em casa inteligente, a diarização pode personalizar respostas com sinais adicionais, mas não liberar acesso físico. A associação deve mostrar incerteza e permitir correção.
• Fala sobreposta é um desafio. Duas pessoas podem falar ao mesmo tempo. Pipelines simples atribuem um único locutor ou erram. Overlap-aware diarization tenta marcar ambos. TV e alto-falante do próprio assistente podem ser confundidos. Echo cancellation ajuda a remover a reprodução conhecida. Beamforming melhora relação sinal-ruído. Em cozinhas e salas, reverberação mistura. Microfones múltiplos podem usar direção. O sistema precisa testar distâncias de 1, 3 e 5 metros, ruído de ventilador e música, conforme ambiente. Não há precisão única. Um modelo treinado em reuniões pode não funcionar com crianças e português. A qualidade do áudio e do VAD define teto.
• A métrica Diarization Error Rate é calculada a partir de tempo de fala perdido, fala espúria e confusão de locutor, normalmente com tolerância de collar em fronteiras. A configuração importa. Jaccard Error Rate é outra. Uma DER de 10% não significa que 90% das identidades foram corretas; depende de corpus e avaliação. Para uso, medir impacto: atribuição de comandos, transcrição e resumo. Um erro em conversa casual é tolerável; em comando de acesso não. Avalie fala sobreposta separadamente. Use conjunto residencial, não apenas benchmark. A rotulagem humana é trabalhosa. Modelos mudam. O sistema monitora taxa de correção do usuário, segmentos sem locutor e número estimado.
• Privacidade é central porque embeddings de voz podem ser dados biométricos. Obter consentimento, informar finalidade, reter o mínimo e proteger. A diarização pode operar sem identificar, usando rótulos temporários e apagando após resumo. Isso reduz. Se há perfis persistentes, o usuário pode revisar e excluir. Não usar para inferir emoção, saúde ou atributos sem necessidade. O microfone deve ter indicador e controle físico. Processamento local é preferível quando possível. Upload cloud precisa de política. Áudio bruto pode ser mais sensível que transcrição. Logs não guardam gravação integral por padrão. Em casas com visitantes, a captação deve ser transparente.
• A integração com assistente de voz pode separar turnos. O sistema alinha transcrição e rótulos, mantém contexto por pessoa e evita que uma preferência de um morador seja atribuída a outro. Porém, a confiança precisa. Se o locutor não é conhecido, responde de forma neutra. A autorização usa conta, app, presença e confirmação. Em conversação contínua, a diarização ajuda a saber quem fez follow-up. Um comando interrompido por outra pessoa pode exigir esclarecimento. O modelo não deve combinar trechos de dois locutores como uma única intenção. O endpoint de diálogo usa timestamps e turn-taking. A diarização é um sinal, não identidade absoluta.