Читаю про on-device модели на десятки миллиардов параметров и ловлю знакомый энтузиазм: «наконец всё офлайн, приватно, быстро». Потом открываю раздел про DRAM и понимаю, что «быстро» тут скорее про маркетинг, чем про мой карман.
Как разработчику мне нравится идея гибрида: простые задачи локально, тяжёлые — в облако. Плохо, когда продукт обещает «полный ИИ всегда с собой», а на деле либо ест батарею, либо отвечает медленнее, чем хочется набирать сообщение. Пользователь этого не прощает — он просто выключает фичу.
Ещё больнее продуктовые обещания без инженерии. Если приложение держит большую модель в фоне «на всякий», телефон греется в кармане, а отзывы пишут не про умный ассистент, а про «почему всё тормозит». Знакомо по любым фоновым сервисам — только теперь ставки выше.
Я бы закладывал локальный ИИ как опцию с понятными границами: что умеет офлайн, что уходит в сеть, сколько это стоит по энергии. Честность тут важнее вау-эффекта. Иначе получим очередную галочку в презентации и тихий выключатель в настройках.