Яндекс опубликовал в открытом доступе языковую модель AliceAI-Foundation-80B-A3B-Base — эксперимент на пути к единой рассуждающей модели (ЕРМ), которая ляжет в основу агентных возможностей «Алисы AI». Модель обучена с нуля, без использования весов сторонних открытых решений, и распространяется под лицензией Apache 2.0. Её архитектура построена по схеме MoE: из 80 млрд параметров в каждый момент активны только 3 млрд. В претрейн-замерах модель лидирует или делит первое место в большинстве категорий, несмотря на то что все участники сравнения, кроме Qwen3.5-35B-A3B, крупнее неё. На LiveCodeBench v5-6 pass@1 она показывает 50,5 балла против 50,4 у Qwen и 38,1 у DeepSeek-V4-Flash-Base. На олимпиадном AIME 2026 делит лидерство с Qwen, а на HMMT Feb 2026 вырывается вперёд с результатом 96,9 против 87,9. В фактологических задачах перевес особенно заметен на русскоязычных данных: WikiWebFacts — 86,5 балла, CultCat — 86,5, HardMultiQA — 67,9. Предыдущая закрытая модель Яндекса Alice AI LLM 235B проигрывает новинке в 75% случаев при втрое большем числе общих параметров. Вместе с весами выложен технический отчёт, охватывающий весь процесс — от пайплайнов подготовки данных до стабилизации обучения. Описана четырёхстадийная схема: 17,5 трлн токенов основного претрейна, два этапа расширения контекста до 256K и стадия рассуждений с агентскими данными. Авторы подробно разбирают, как переход от дообучения к полному претрейну потребовал пересбора корпуса — фактологический веб увеличен вдвое, а аугментации распространены с точечных источников на весь корпус, что дало около 5 процентных пунктов на тесте HardMultiQA.
Комментарии