Qualcomm раскрыла детали следующего поколения Hexagon NPU — процессора Snapdragon для выполнения ИИ-задач непосредственно на устройстве. Главные изменения затронули не только вычислительные блоки: объём общей локальной памяти NPU увеличили на 50%, а в архитектуру добавили Element Accelerator — специализированный ускоритель для трансформер-моделей. Он работает совместно с уже существующими блоками. Какой именно процессор Snapdragon получит этот NPU, компания пока не сообщила. Увеличение локальной памяти ценно тем, что при работе трансформеров NPU постоянно обрабатывает промежуточные данные, активации и состояния модели. Если их приходится регулярно переносить во внешнюю LPDDR-память, то растут задержки и энергопотребление. Qualcomm рассчитывает хранить больше таких данных непосредственно рядом с вычислительными блоками, что особенно актуально при обработке длинного контекста и одновременной работе нескольких ИИ-агентов. Для моделей в формате INT4 компания заявляет до 50% более высокую производительность на этапе обработки входного контекста до начала генерации ответа. Отдельный акцент Qualcomm делает на Mixture-of-Experts (MoE) — архитектуре, при которой для каждого шага вычислений активируется только часть параметров модели. В качестве примера компания приводит модель с 30 млрд параметров, из которых на одном шаге задействуется около 3 млрд. В сочетании с управлением кэшем и флеш-памятью такой подход должен позволять запускать более крупные модели на устройствах с ограниченным объёмом оперативной памяти. Поддерживаются форматы INT2, INT4, INT8, FP8 и FP16, позволяющие выбирать между экономией памяти и точностью вычислений.
Источник: IXBT — https://www.ixbt.com/news/2026/09/15/435937-qualcomm-dobavila-50-pamiati-v-hexagon-npu-dlia-lokalnyx-ii-agentov.html
Комментарии