Открытая компактная языковая модель с 50 тысячами звезд на GitHub
Представлена новая открытая компактная языковая модель, которая уже завоевала популярность на GitHub. Она позволяет обучать модели с минимальными затратами и временем.
Открытая компактная языковая модель с 50 тысячами звезд на GitHub
Найдена открытая небольшая модель, которая уже набрала 50 тысяч звезд на GitHub и попала в раздел Trending.
С ее помощью можно обучить сверхкомпактную языковую модель всего с 25,8 млн параметров — примерно за 3 доллара и два часа.
Проект делает ставку на максимальную компактность: самая маленькая версия составляет всего 1/2700 от размера GPT-3. Кроме того, в открытый доступ выложено обучение токенизатора, а также полный код для всех этапов обучения — Pretrain, SFT и не только. Проект также включает мультимодальную визуальную модель MiniMind-V.
Все обучающие скрипты написаны на чистом PyTorch, совместимы с архитектурами MoE и по факту представляют собой открытую реализацию всех этапов обучения больших языковых моделей.
Почему это важно
АналітикаЭта модель является важным шагом в развитии компактных языковых моделей, позволяя снизить затраты на обучение и использовать меньше ресурсов. Открытый доступ к коду и учебным материалам способствует развитию сообщества разработчиков.
Обсудить в сообществе
Діліться своїм досвідом та думками з ШІ-розробниками