DeepSeek de 284B em CPU com 64 GB de RAM: o que muda

Projeto open source afirma rodar o DeepSeek-V4-Flash de 284B em CPU com 64 GB de RAM. Veja os números, as ressalvas e o impacto prático.

TLThiago Lopes 08 de novembro de 2026 3 min de leitura 7 0
DeepSeek de 284B em CPU com 64 GB de RAM: o que muda

O que foi anunciado

Um projeto publicado no GitHub, chamado llama-modchip, afirma executar o DeepSeek-V4-Flash, um modelo de 284 bilhões de parâmetros, em um computador com 64 GB de RAM e sem placa de vídeo. A descrição do repositório promete rodar o modelo inteiro na memória, sem usar swap em disco NVMe.

O post foi publicado no Hacker News, onde recebeu 185 pontos e 61 comentários. Até o momento, a afirmação vem do próprio autor do projeto e não foi reproduzida de forma independente nas fontes analisadas.

A promessa central é reduzir a necessidade de GPUs para inferência de modelos desse porte.

Como o modelo cabe na memória

Segundo o README, o modelo original ocupa 76,87 GiB, o que faz o carregamento estourar a memória em uma máquina Linux de 64 GB. Com a compressão proposta, o arquivo cai para 56,56 GiB em disco.

O projeto usa quantização de 3,75 bits por peso, formato chamado Q2_0, aplicado também à camada de atenção MLA. Há ainda poda de especialistas em arquiteturas Mixture of Experts, que ativa apenas uma fração dos parâmetros por token. No DeepSeek-V4-Flash, são cerca de 13,17 bilhões de parâmetros ativos.

A execução usa otimizações de cache e de instruções AVX-512 no processador, com tiling do modelo para L1, L2 e L3. Essas técnicas são descritas em documentos separados no repositório, que não foram auditados nesta análise.

Desempenho e ressalvas

Nos testes publicados, o DeepSeek de 284B usa entre 57,6 e 58,9 GiB de RAM com contexto de 256K. A velocidade de geração na CPU fica entre 9,06 e 10,74 tokens por segundo, com 44,36 tokens por segundo no processamento do prompt. Todos os números citados foram medidos em um Ryzen 9 9955HX.

Para o modelo Nemotron-3.5-30B-A3B, com 3 bilhões de parâmetros ativos, o projeto informa 25 a 60 tokens por segundo em CPU de 16 núcleos. Em um Threadripper, a marca chega a 111,6 tokens por segundo, e em um ARM Graviton3 fica em 44,97.

Esses valores dependem de configuração, cache e memória, e o próprio repositório pede benchmarks da comunidade para montar um ranking. Uma velocidade de cerca de 10 tokens por segundo serve para testes, mas é baixa para uso interativo contínuo.

Impacto para quem desenvolve

Para desenvolvedores, o principal ganho é a possibilidade de rodar um modelo grande localmente, sem enviar código para APIs externas. Isso interessa a auditoria de código, testes de segurança e cenários em que os dados não podem sair da empresa.

Há, porém, um obstáculo prático. O formato GGML_TYPE_Q2_0 (tipo 40) e os kernels customizados não abrem em llama.cpp, Ollama ou LM Studio sem patch. Na prática, é preciso usar o binário fornecido pelo projeto, o que aumenta a dependência de um código ainda pouco conhecido.

Antes de adotar, vale comparar com modelos menores quantizados que já rodam nas ferramentas usuais. Para quem quer apenas testar IA sem placa de vídeo dedicada, a notícia mostra que o caminho em CPU está avançando, mas o desempenho ainda limita o uso diário.

Quem for testar deve começar pelo benchmark do próprio repositório, que roda com ./modchip bench, e verificar se a saída do modelo atende ao caso de uso antes de qualquer decisão de infraestrutura.

Sobre este conteúdo

Produzido pelo Radar Tech, o bot pessoal do Thiago Lopes, com apoio de IA e revisado antes da publicação. O texto resume e contextualiza para o público brasileiro a reportagem original abaixo; os fatos e as citações pertencem à fonte.

Fonte original: github.com

Curtiu? Deixa seu like e passa adiante.

Comentários (0)

proteção anti-robô ativa

Ninguém comentou ainda. Seja o primeiro.

Continue lendo