От 30 до 100 млрд параметров: что нужно смартфону для постоянно работающей локальной ИИ-модели
К 2028 году ИИ-компании рассчитывают запускать на смартфонах модели как минимум со 100 млрд параметров - причём не только по команде пользователя, а в постоянном режиме. Об этом рассказал глава Qualcomm Криштиану Амон. Названия компаний он не раскрыл, но отметил, что некоторые из них уже работают над собственными телефонами. Один из примеров такого направления - устройство Nubia с ассистентом Doubao от ByteDance.
Амбиции отрасли заметно опережают нынешние возможности мобильной техники. В конце сентября Qualcomm представила флагманский Snapdragon 8 Elite Extreme Gen 6, способный запускать на устройстве MoE-модель примерно на 30 млрд параметров. В июне Apple выпустила модель такого типа на 20 млрд параметров. Запрос на переход к 100 млрд означает более чем трёхкратное увеличение масштаба всего за два поколения чипов. Кроме того, речь идёт уже не о разовом запуске, а о работе в фоне.
Память - первое серьёзное препятствие
Даже при 4-битной квантизации веса модели на 100 млрд параметров займут около 50 ГБ. Это в три-четыре раза больше объёма оперативной памяти, которым обычно оснащён современный флагман. Но смартфону требуется память не только для самой нейросети: часть ресурсов понадобятся операционной системе, приложениям и KV-кэшу, где хранятся данные для продолжения диалога.
Теоретически проблему можно частично смягчить за счёт более эффективного сжатия и новых способов размещения данных. Однако уменьшение модели обычно требует компромисса: ответы могут стать менее точными, а обработка сложных запросов - медленнее. Поэтому одного увеличения объёма памяти недостаточно: производителям придётся одновременно улучшать архитектуру моделей и подсистему хранения данных.
Скорость работы зависит от пропускной способности
Для генерации текста важна не только вычислительная мощность процессора. Мобильному устройству необходимо быстро считывать веса модели из памяти - и именно пропускная способность часто становится ограничителем скорости ответа.
Если предположить, что модель будет построена по схеме MoE и для каждого токена окажется активна часть параметров, эквивалентная примерно 10 млрд, на обработку одного токена может потребоваться чтение около 5 ГБ данных. При скорости мобильной памяти порядка 100 ГБ/с это соответствует примерно 20 токенам в секунду в идеальных условиях. Реальная скорость будет зависеть от архитектуры, температуры устройства и других задач, выполняемых одновременно.
Такой расчёт - ориентир, а не точный прогноз. Но он показывает, почему для крупных моделей особенно перспективны разреженные архитектуры MoE: в конкретный момент они задействуют не все параметры, а лишь часть специализированных блоков. Ещё один возможный путь - новые поколения памяти LPDDR с более высокой пропускной способностью.
Постоянная работа потребует экономить заряд
Запрос к модели, который пользователь отправляет вручную, обычно ограничен по времени. Always-on-режим устроен иначе: система должна удерживать контекст, анализировать события и быть готовой отреагировать без отдельной команды. Для аккумулятора это существенно тяжелее.
Возможным решением станет распределение нагрузки. Например, маломощная модель сможет постоянно следить за контекстом и выполнять простые действия, а крупная будет подключаться только для сложных запросов. Помогут и специализированные нейропроцессоры, которые способны выполнять типичные ИИ-задачи эффективнее универсального CPU или GPU. Однако итоговую автономность придётся оценивать в реальных сценариях, а не по скорости выполнения одного тестового запроса.
Рост спроса может изменить рынок компонентов
По словам Амона, цены на память увеличились в пять-шесть раз и уже влияют на продажи смартфонов в текущем году. Особенно чувствительны к подорожанию средний и бюджетный сегменты. Если производителям понадобится устанавливать в телефоны 64 ГБ оперативной памяти и больше, мобильная индустрия станет ещё активнее конкурировать за DRAM с дата-центрами.
Это важно не только для стоимости флагманов. Приоритетное распределение памяти в пользу серверов может привести к затяжному дефициту и сделать дорогие конфигурации менее доступными. Если спрос на компоненты продолжит расти, нынешние перебои рискуют оказаться не временным явлением, а устойчивой особенностью рынка.
Смартфон как платформа для автономных агентов
Амон описывает будущее устройство как среду, в которой сторонние ИИ-агенты получают доступ к личному контексту пользователя, памяти и датчикам - и могут самостоятельно выполнять задачи. Такой подход напоминает появление магазинов приложений: смартфон становится не просто набором функций, а платформой для сервисов. "Будет битва агентов", - заявил руководитель Qualcomm.
Для компаний, разрабатывающих модели, локальная обработка привлекательна сразу по нескольким причинам. Данные не обязательно отправлять в облако, ответ можно получить с меньшей задержкой, а расходы на каждый запрос частично переносятся с серверной инфраструктуры на устройство пользователя. При этом автономность агента повышает требования к защите данных: владельцу телефона должно быть понятно, к какой информации и сенсорам получает доступ приложение и какие действия оно выполняет.
Ближайшие два года, вероятно, останутся временем моделей в диапазоне от 3 до 30 млрд параметров с квантизацией. Поэтому наиболее реалистичная архитектура - гибридная: простые и конфиденциальные операции выполняются на смартфоне, а сложные задачи передаются в облако. Сам Амон рассматривает телефон и облачную инфраструктуру как единую вычислительную систему, а не как конкурирующие варианты.
Переход к постоянно работающему ИИ потребует не одного прорыва, а согласованных изменений: более ёмкой и быстрой памяти, экономичных чипов, эффективных моделей и новых механизмов управления энергопотреблением. Важно будет и то, сможет ли пользователь ограничивать фоновую активность и контролировать доступ агентов к личным данным.
Поэтому показатель в 100 млрд параметров сам по себе не гарантирует полезного ИИ-смартфона. Не менее важны скорость ответа, время автономной работы, качество результатов и прозрачность обработки данных. Пока эти требования не будут выполнены одновременно, локальные модели станут дополнением к облаку, а не его полной заменой.
