Нова архітектура маршрутизації для AI-моделей
Розроблено компактний LLM-маршрутизатор, який оптимізує використання AI-моделей для різних запитів.
Це цікаво: чувак виполнив реверс-інжиниринг архітектури маршрутизації, що лежить в основі Skana AI Fugu, і реалізував її аналог для відкритих фронтир-моделей.
tinyrouter — це компактний LLM-маршрутизатор приблизно на 10 тисяч параметрів, який навчається визначати, яку модель використовувати і яку роль вона повинна виконувати для кожного запиту.
Ціль була простою: перевершити кожну окрему модель, направляючи кожне завдання найбільш підходящому спеціалізованому виконавцю, замість того щоб покладатися на одну LLM.
Кілька цікавих спостережень:
- Маршрутизація приносить користь тільки тоді, коли моделі мають взаємодоповнюючі сильні сторони. Якщо всі моделі показують схожі результати на одному бенчмарку, маршрутизатору практично нічого оптимізувати.
- На MMLU маршрутизатор перевершив кожну окрему модель. На математичних задачах він показав результат на рівні найкращої моделі, оскільки набір моделей демонстрував дуже низьке різноманіття в якості рішень.
- Попередня ініціалізація маршрутизатора і налаштування функції винагороди в еволюційному навчанні покращили процес навчання. Однак автори поки не заявляють про реальний приріст якості, оскільки розкид результатів при оцінці виявився занадто високим. Для підтвердження ефекту необхідні більш суворі експерименти.
Чому це важливо
АналітикаЦей проект демонструє інноваційний підхід до оптимізації AI-моделей, що може суттєво підвищити їх ефективність. Розробка нових рішень у цій сфері має потенціал для значних покращень у багатьох застосуваннях.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками