Modelo de lenguaje compacto y abierto con 50,000 estrellas en GitHub

Modelo de lenguaje compacto y abierto con 50,000 estrellas en GitHub

Se ha encontrado un pequeño modelo abierto que ya ha ganado 50,000 estrellas en GitHub y ha llegado a la sección de Tendencias.

Con su ayuda, se puede entrenar un modelo de lenguaje supercompacto con solo 25.8 millones de parámetros — aproximadamente por 3 dólares y dos horas.

El proyecto apuesta por la máxima compactidad: la versión más pequeña es solo 1/2700 del tamaño de GPT-3. Además, se ha hecho disponible el entrenamiento del tokenizador, así como el código completo para todas las etapas de entrenamiento — Pretrain, SFT y más. El proyecto también incluye el modelo visual multimodal MiniMind-V.

Todos los scripts de entrenamiento están escritos en PyTorch puro, son compatibles con arquitecturas MoE y, de hecho, representan una implementación abierta de todas las etapas de entrenamiento de grandes modelos de lenguaje.