Nuevo lanzamiento de DeepSeek: pila completamente abierta para acelerar la generación de LLM

Dentro, hay algoritmos listos, entrenamiento, evaluación e incluso un pipeline de datos. Tómalo y úsalo, es súper práctico. github.com/deepseek-ai/DeepSpec

La esencia radica en el algoritmo DSpark. DeepSeek ya lo está utilizando para DeepSeek-V4 Flash y Pro en producción, y según sus datos, la velocidad de generación para los usuarios ha aumentado aproximadamente entre un 60 y un 85% en comparación con la línea base anterior.

Cómo funciona el algoritmo:

• Fundamentalmente, es un modelo pequeño que redacta borradores para el LLM principal. Esto se llama modelo de borrador.

• Este enfoque está de moda actualmente, pero DeepSeek lo está llevando a un nuevo nivel. Su modelo de borrador opera de manera inusual, en dos etapas. Primero, se recopila un bloque de tokens en paralelo, y luego un módulo de Markov ligero refina las dependencias entre los tokens vecinos. Gracias a este enfoque, el redactor trabaja rápidamente y no cae significativamente en las colas.

• Después de que el redactor ha esbozado un borrador, el LLM principal lo verifica y acepta solo el prefijo correcto, ajustando el resto. Mientras tanto, DSpark decide cuántos tokens enviar para verificación, basándose en las estimaciones de confianza de los tokens y la carga actual en el hardware.

Como resultado, logramos una aceleración de al menos 1.5 veces sin pérdida de calidad. Nos quitamos el sombrero ante DeepSeek por este trabajo de código abierto.