Ao passar do wav2vec2 para o whisper-large-v3, a melhora na robustez da sincronização labial multilingue é evidente, a linha de divisão entre uso acadêmico e comercial deve ser claramente reconhecida

A equipe LongCat do Meituan open sourceou LongCat-Video-Avatar 1.5, reconstruindo a geração de áudio e vídeo para melhorar a estabilidade temporal e espacial e a velocidade de inferência. Substituiu o wav2vec2 por whisper-large-v3, aprimorando a sincronização dos movimentos labiais e a robustez multilingue; através do aprendizado por reforço GRPO, reduziu artefatos nas mãos e quadros incorretos, fortalecendo a consistência da identidade em vídeos longos. Utiliza inferência em múltiplos segmentos com rotação e contexto anterior, o DMD2 com 8 etapas de destilação equilibra eficiência e fidelidade. A estrutura pode ser generalizada para estilos de anime/animal, suporta áudio mono/multicanal, licença MIT, voltado principalmente para uso acadêmico, para uso comercial verifique.