Tornando Modelos de IA Grandes Mais Acessíveis a PCs Domésticos

Há mais de três meses, venho pesquisando em silêncio métodos para reduzir a carga de hardware e de memória necessária para executar modelos de IA muito grandes — especialmente modelos do tipo mixture-of-experts como GLM-5.2-on — em computadores comuns de casa.
Este trabalho faz parte do meu mestrado em ciência da computação, e os resultados iniciais são promissores.
Agora tenho um protótipo funcionando, e planejo compartilhar mais sobre isso em breve.
O objetivo não é apenas criar uma versão menor do modelo nem alegar que centenas de bilhões de parâmetros possam, magicamente, caber dentro de uma GPU voltada ao consumidor.
O modelo completo continua disponível, mas o sistema tenta carregar, manter e transferir apenas os componentes necessários para a etapa atual de inferência.
Minha pesquisa envolve áreas como:
Residência dinâmica de especialistas
Pré-busca preditiva de especialistas
Carregamento hierárquico entre VRAM, RAM do sistema e armazenamento NVMe
Roteamento ciente de cache
Redução de movimentação desnecessária de parâmetros
Adaptação do caminho de execução ao hardware disponível
Recentemente vi outro projeto explorando uma direção semelhante, o que me incentivou a tornar meu próprio trabalho público.
No entanto, acredito que algumas abordagens atuais podem estar subestimando a carga real de inferência.
Contar apenas os parâmetros atribuídos a especialistas ativos não representa o custo completo da inferência. Camadas compartilhadas, estados de atenção, o cache KV, decisões de roteamento, transições entre especialistas, largura de banda de memória, page faults e sincronização CPU-GPU podem se tornar gargalos importantes.
Um sistema pode parecer eficiente ao medir somente os parâmetros ativos, enquanto ainda apresenta desempenho ruim na inferência real fim a fim, porque repetidamente transfere dados entre armazenamento, RAM e VRAM.
Por isso, minha abordagem não se concentra apenas em escolher menos especialistas.
Ela também considera onde os componentes do modelo devem residir, quando devem ser movidos, o que deve permanecer em cache e como prever requisitos futuros sem carregar partes desnecessárias do modelo.
A pesquisa ainda está em andamento, e ainda há muito teste a ser concluído. No entanto, os resultados até agora sugerem que pode existir um caminho prático para rodar modelos muito maiores em hardware de consumo, com pressão de memória de pico significativamente menor.
O protótipo já está em funcionamento, embora ainda seja experimental e exija mais otimização, validação e testes em diferentes configurações de hardware.
Pretendo compartilhar o protótipo, ou uma demonstração pública inicial dele, em breve.
Os experimentos estão gerando resultados promissores.
E acredito que a inferência de modelos grandes em computadores domésticos pode se tornar consideravelmente mais eficiente do que é hoje.
Mais será compartilhado em breve. #AI