Aleph Alpha представила Kolibri — эффективную модель с 78 млрд параметров
Aleph Alpha, немецкий разработчик языковых моделей, анонсировал новую модель Kolibri. Она содержит 78 миллиардов параметров, но благодаря архитектуре смеси экспертов (Mixture-of-Experts, MoE) на каждый токен активируется лишь около 3 миллиардов. Это делает модель значительно эффективнее традиционных dense-моделей.
Что произошло
Компания Aleph Alpha выпустила модель Kolibri с 78 млрд параметров. Ключевая особенность — архитектура смеси экспертов, при которой для обработки каждого токена задействуется только часть параметров (около 3 млрд). Такой подход позволяет снизить вычислительные затраты при сохранении высокой ёмкости знаний.
Архитектура смеси экспертов
В традиционных dense-моделях все параметры активны для каждого токена, что требует огромных ресурсов. MoE делит модель на несколько «экспертов» — подсетей, специализирующихся на разных типах данных. Роутер выбирает, какие эксперты активировать для конкретного токена. В Kolibri из 78 млрд параметров одновременно работает только около 3 млрд, что сопоставимо по затратам с моделью в 3 млрд параметров, но с качеством более крупной.
Почему это важно
Редакционный анализ: MoE-архитектура — один из главных трендов в создании масштабируемых и доступных языковых моделей. Kolibri от европейского разработчика демонстрирует, что регион способен создавать конкурентоспособные решения, не уступающие американским аналогам. Это шаг к цифровому суверенитету Европы в области искусственного интеллекта. Кроме того, эффективность MoE снижает порог входа: исследователи и компании могут запускать модель на менее мощном оборудовании.
Что это даёт пользователю
На практике Kolibri может быть полезна для задач, где важна высокая точность при ограниченных вычислительных ресурсах. Например, для обработки документов на немецком и других европейских языках, для научных исследований или встраивания в приложения, работающие на локальных серверах. Благодаря активации лишь части параметров, время ответа и потребление памяти снижаются, что делает модель пригодной для реальных продуктов.
Что пока неизвестно
До сих пор не раскрыты точные характеристики производительности Kolibri на стандартных бенчмарках, дата официального релиза, условия распространения (лицензия) и объём обучающих данных. Также нет информации о поддержке русского языка. Эти детали появятся после публикации модели.