Будущее ИИ готово сместиться от энергоемкой, основанной на облачной инфраструктуре, которая доминировала в заголовках. Вместо этого отрасль движется к более эффективному и децентрализованному подходу, при котором вычисления ИИ перемещаются на краевые устройства, такие как смартфоны, ноутбуки и даже автомобили.

Компании-производители чипов, такие как Qualcomm, возглавляют эту тенденцию, разрабатывая мощные и энергоэффективные процессоры, специально предназначенные для запуска крупных языковых моделей и других рабочих нагрузок ИИ локально на устройстве. Этот подход предлагает ряд ключевых преимуществ, включая улучшенную конфиденциальность, безопасность, низкую задержку и экономическую эффективность.

Совершенствование методов сжатия и оркестровки моделей позволяет развертывать высокоэффективные модели ИИ на краевых устройствах. Проекты, такие как Mixture of Agents и RouteLL M, демонстрируют, как несколько небольших, эффективных моделей могут сотрудничать, чтобы производить результаты, сопоставимые с более крупными, более дорогостоящими моделями. Это позволяет обрабатывать 90% случаев использования с помощью локальных, недорогих моделей, что приводит к значительной экономии затрат.

Будущее ИИ смещается в сторону вычислений на краю, где мощные, но эффективные модели ИИ могут быть развернуты непосредственно на устройствах, таких как смартфоны, ноутбуки и даже автомобили. Этот подход предлагает ряд преимуществ, включая улучшенную конфиденциальность, безопасность, низкую задержку и снижение затрат по сравнению с полной зависимостью от облачной обработки ИИ.

Производители чипов, такие как Qualcomm, возглавляют разработку специализированных процессоров, оптимизированных для запуска крупных языковых моделей и других рабочих нагрузок ИИ на краевых устройствах. Эти чипы разработаны для высокой энергоэффективности, что позволяет обеспечить плавную интеграцию возможностей ИИ в широкий спектр приложений.

Совершенствование методов сжатия и оркестровки моделей, таких как Mixture of Agents и RouteLL, позволяет развертывать более мелкие и эффективные модели ИИ, которые могут обеспечивать сопоставимую производительность с более крупными, более ресурсоемкими моделями. Эти инновации позволяют обрабатывать большинство случаев использования с помощью локальной, встроенной обработки, снижая необходимость постоянного подключения к облаку и связанные с этим затраты и задержки.

Будущее ИИ движется к более децентрализованному и ориентированному на пользователя подходу, при котором вычисления ИИ перемещаются на краевые устройства, такие как смартфоны, ноутбуки и даже автомобили. Этот сдвиг обусловлен достижениями в области технологии чипов, поскольку компании, такие как Qualcomm, разрабатывают мощные и энергоэффективные процессоры, специально предназначенные для запуска крупных языковых моделей и других рабочих нагрузок ИИ на устройстве.

Одним из ключевых нововведений в этой области является разработка слоев оркестровки, которые могут интеллектуально определять, какие задачи ИИ следует обрабатывать локально на краевом устройстве, а какие следует передавать более мощным, но более дорогостоящим облачным моделям. Исследователи недавно опубликовали статьи и открытый исходный код, демонстрирующие эффективность этих методов оркестровки.

Например, подход "Mixture of Agents" позволяет нескольким небольшим агентам ИИ сотрудничать и производить ответы, сопоставимые с ответами более крупных, более дорогостоящих моделей. Аналогичным образом, статья "Route LLM" представляет слой оркестровки, который может маршрутизировать 90% случаев использования к более мелким, эффективным моделям, что приводит к 80% экономии затрат по сравнению с полной зависимостью от более мощных, облачных моделей.

Компания Qualcomm продемонстрировала ряд захватывающих демонстраций этого будущего ИИ на краю. От интерфейсов автомобилей, управляемых ИИ, и интеллектуальных дронов до ПК-компаньонов и программных инструментов, таких как AIUB, компания внедряет интеграцию ИИ в широкий спектр интеллектуальных устройств. Функции, такие как перевод в реальном времени и помощь в написании с использованием ИИ, работающие непосредственно на устройстве, дают представление о бесшовных и обеспечивающих конфиденциальность опытах с ИИ в будущем.

Производители смартфонов, такие как Qualcomm, возглавляют тенденцию по внедрению мощных возможностей ИИ непосредственно на краевых устройствах. Интегрируя передовую обработку ИИ в свои последние мобильные чипсеты, они позволяют реализовывать широкий спектр инновационных функций, которые могут работать плавно на устройстве, без необходимости подключения к облаку.

Одним из выдающихся примеров является функция живого перевода, когда пользователи могут просто нажать кнопку, чтобы переводить разговоры в реальном времени, все это работает на основе ИИ, встроенного в устройство. Еще одна впечатляющая возможность - это функция "помощник чата", которая выступает в качестве помощника, работающего на основе ИИ, помогая пользователям улучшать их сообщения, корректируя тон, проверяя орфографию и предоставляя услуги перевода - все это без необходимости покидать устройство.

Будущее ИИ-оснащенных смартфонов действительно захватывающее, поскольку пользователи теперь могут иметь интеллектуальных агентов, работающих от их имени, выполняющих задачи, такие как планирование, управление электронной почтой и даже финансовое планирование - все это при обеспечении конфиденциальности и безопасности их личных данных, поскольку эти возможности интегрированы непосредственно в аппаратное и программное обеспечение устройства.