Відкрита компактна мовна модель з 50 тисячами зірок на GitHub
Представлено нову відкриту компактну мовну модель, яка вже здобула популярність на GitHub. Вона дозволяє навчати моделі з мінімальними витратами та часом.
Відкрита компактна мовна модель з 50 тисячами зірок на GitHub
Знайдена відкрита невелика модель, яка вже набрала 50 тисяч зірок на GitHub і потрапила в розділ Trending.
З її допомогою можна навчити надкомпактну мовну модель всього з 25,8 млн параметрів — приблизно за 3 долари і два години.
Проект робить ставку на максимальну компактність: найменша версія становить всього 1/2700 від розміру GPT-3. Крім того, в відкритий доступ викладено навчання токенізатора, а також повний код для всіх етапів навчання — Pretrain, SFT і не тільки. Проект також включає мультимодальну візуальну модель MiniMind-V.
Всі навчальні скрипти написані на чистому PyTorch, сумісні з архітектурами MoE і фактично представляють собою відкриту реалізацію всіх етапів навчання великих мовних моделей.
Чому це важливо
АналітикаЦя модель є важливим кроком у розвитку компактних мовних моделей, що дозволяє зменшити витрати на навчання та використовувати менше ресурсів. Відкритий доступ до коду та навчальних матеріалів сприяє розвитку спільноти розробників.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками