В мережі набирає популярності плагін Caveman, який змушує LLM говорити як печерна людина для економії токенів
В мережі набирає популярності плагін Caveman, який змушує LLM говорити як печерна людина для економії токенів
Плагін Caveman оптимізує відповіді LLM, виключаючи зайві фрази та економлячи до 75% токенів без втрати якості.
Він налаштовує модель так, щоб вона виключала з відповіді привітання, ввічливі фрази, довгі переходи, визначення для новачків та інші вступні фрази, залишаючи лише суть.
Як стверджує автор, економиться до 75% токенів без втрати якості (існують різні режими стиснення, від легкого до ультра телеграфного).
На GitHub проект (github.com/JuliusBrussee/caveman) вже отримав майже 80 тисяч зірок. Спочатку це був просто скіл для Claude Code, але тепер автор створив з Caveman окремий плагін і навіть випустив повноцінного кодинг-агента Caveman Code.
Автор зазначає, що скілл використовують навіть співробітники OpenAI, Nvidia, GitHub тощо. А в компанії Legrand співробітникам нібито рекомендують використовувати Caveman, щоб не перевищувати ліміти токенів.
До речі, проект підтримав технічний директор OpenAI Шейн Суіні, який особисто вніс внесок у репозиторій, додавши підтримку Codex.
Чому це важливо
АналітикаCaveman демонструє інноваційний підхід до оптимізації використання токенів у LLM, що може суттєво знизити витрати на обчислення. Це також підкреслює важливість ефективності у розробці AI-рішень.
Обговорити новину у спільноті
Діліться своїм досвідом та думками з ШІ-розробниками