Los avances en cuantización de modelos (como formatos GGUF de 4 y 5 bits) han rebajado las exigencias de memoria para obtener respuestas fluidas. Modelos solventes de 7 mil millones de parámetros, como Qwen 2.5 Coder 7B, precisan entre 6 GB y 8 GB de VRAM, funcionando con rapidez en tarjetas gráficas medias y chips Apple Silicon.
Para modelos mayores de 14B a 32B parámetros, capaces de razonar sobre arquitecturas complejas de código, se aconseja contar con 16 GB a 24 GB de memoria dedicada o unificada. En ordenadores sin GPU especializada, los procesadores modernos con soporte vectorial procesan versiones reducidas a una cadencia adecuada para autocompletar.