Хотя искусственный интеллект рекламировался как потенциальный инструмент повышения эффективности в нескольких отраслях, эта технология столкнулась с несколькими собственными препятствиями. Неэффективность централизованных серверов привела к тому, что некоторые системы столкнулись с высокая задержка проблемы или даже прямо аварийТем не менее, возможно, существует решение этой неэффективности: периферийные вычисления.
Граничные вычисления относится к обработке данных в сетях и устройствах, расположенных ближе к пользователю, в отличие от традиционных методов вычислений централизованных серверов и центров обработки данных. Периферийные вычисления можно увидеть в действии со всем, от систем точек продаж (POS) до устройств и датчиков Интернета вещей (IoT) — по сути, периферийные устройства — это все, что вычисляется локально и взаимодействует с облаком. Теперь мы начинаем видеть модели искусственного интеллекта, добавленные к этой категории периферийных вычислений.
Пересечение ИИ и периферийных вычислений
Эксперт по искусственному интеллекту Сиддхартха Рао имеет непосредственный опыт работы как с ИИ, так и с технологиями облачных вычислений. После более чем десятилетнего опыта работы с ведущими технологическими компаниями, такими как Amazon Web Services, Рао теперь является соучредителем и генеральным директором Позитронные сети, компания AI, ориентированная на решения в области искусственного интеллекта для научно-исследовательского сообщества. Учитывая уникальные потребности этого сообщества, Рао особенно заинтересован в пересечении AI и периферийных вычислений.
«Есть несколько причин, по которым периферийные вычисления стали такой важной парадигмой, включая снижение задержки взаимодействия с пользователем, снижение затрат на облачные вычисления и поддержку автономного пользовательского опыта», — объясняет Рао. «Эти преимущества противоречат другим целям периферийных вычислений, таким как повышение маржи за счет снижения затрат на устройства, продление срока службы батареи с помощью маломощных процессоров или загрузка обновлений моделей в средах с низкой пропускной способностью, таких как развивающиеся страны».
Однако это поднимает вопрос о том, как модели искусственного интеллекта, требующие значительной вычислительной мощности, могут работать «на периферии». Рао объясняет, что для успешного переноса моделей искусственного интеллекта на периферию необходимо упростить эти операции.
«Для контекста, модель — это последовательность операций линейной алгебры (матричной математики), последовательно выполняемых для прогнозирования ответа на основе входных данных», — объясняет Рао. «Инженеры и ученые машинного обучения снижают математическую сложность этих операций, применяя различные методы. Результатом являются меньшие модели, требующие меньше вычислительных циклов для выполнения, снижающие вычислительные требования и улучшающие маржу, одновременно увеличивая срок службы батареи».
«Эта разработка имеет несколько положительных последствий для отрасли», — продолжает он. «Например, модели, которые выполняются с меньшей задержкой, потребляют меньше энергии батареи и выделяют меньше тепла. Они также используют меньше ресурсов облачных вычислений для выполнения, что еще больше снижает их воздействие на окружающую среду, и они уменьшают потребление полосы пропускания обновления модели. Все эти преимущества улучшают пользовательский опыт, одновременно повышая маржу за счет снижения себестоимости товаров».
Почему периферийные вычисления — это будущее ИИ
Главное преимущество периферийных вычислений заключается в том, что они значительно улучшают пользовательский опыт. Задержка — одна из самых больших проблем, с которой сталкиваются любые технологические инновации, особенно учитывая короткие (и уменьшающиеся) промежутки внимания людей.
«Если периферийное устройство всегда должно обращаться к облаку для прогнозирования, влияние задержки ухудшает пользовательский опыт, снижая вовлеченность клиентов», — объясняет Рао. «Менее вовлеченные клиенты с меньшей вероятностью будут использовать устройство, что снижает полезность и принятие».
Периферийные вычисления также могут потенциально снизить затраты на технологию искусственного интеллекта до уровня, более достижимого для малого бизнеса. В конце концов, обслуживание серверов, необходимых для работы крупномасштабных моделей, обходится дорого. Периферийные вычисления снижают сложность этих приложений, позволяя им работать на периферии.
Однако Рао также предостерегает от некоторых последствий, которые могут иметь периферийные вычисления в сфере ИИ, называя их «компромиссами» за преимущества, которые они предлагают. «Более высокие показатели ошибок и галлюцинаций, поскольку использование более низкой точности впоследствии влияет на точность ответа», — объясняет он. «Дистилляция знаний может усилить проблемы предвзятости и справедливости в более крупных моделях. Наконец, периферийные вычисления требуют найма дорогостоящих, специализированных специалистов по машинному обучению и приобретения дорогостоящей инфраструктуры обучения машинному обучению, такой как графические процессоры, которые пользуются большим спросом».
В качестве примера успешного пересечения искусственного интеллекта и технологии периферийных вычислений Рао приводит пример из своего времени в AWS, который успешно упростил модель в масштабе. «Модель, которую я спонсировал в AWS, использовалась в кодеке Opus», — говорит он. «Этот кодек используется более чем на 1 миллиарде устройств по всему миру и недавно был обновлен Amazon с помощью алгоритма маскировки пакетов на основе машинного обучения, который восстанавливал аудиопотоки даже в сетях с потерями. Этот кодек можно использовать на устройствах с ограниченной вычислительной мощностью, таких как Raspberry Pi или настольный телефон, для прогнозирования аудиосэмплов за миллисекунды».
Рао также упоминает вариант использования, который показал особый потенциал в оборонном секторе. «Видео в реальном времени обрабатывалось на камерах на прицеле винтовки солдата, чтобы направлять их на предмет того, были ли движения бойца подозрительными или, возможно, поддерживали вредоносную деятельность, такую как терроризм», — добавляет он. «Затем солдат мог сосредоточить наблюдение на чувствительных и высокорисковых зонах поля боя. В обоих примерах сложные аудио- или видеоданные в реальном времени обрабатывались маломощными микропроцессорами, работающими на устройствах IoT».
Действительно, эти варианты использования являются прекрасными примерами того, как искусственный интеллект, вычисляемый на периферии, обеспечивает превосходные результаты с точки зрения эффективности и стоимости. «Если новейшие модели ИИ не могут быть оптимизированы для работы на периферии, их применение будет ограничено облачными приложениями и пользовательским опытом», — заключает Рао.
