Ноември 18, 2024

Edge AI: Преодоляване на предизвикателствата на гигантските модели

Въпреки че изкуственият интелект е рекламиран заради потенциала му да повишава ефективността в няколко индустрии, технологията се сблъска с няколко собствени пречки. Неефективността на централизираните сървъри е причина някои системи да изпитват проблеми висока латентност въпроси или дори направо катастрофи. Въпреки това може да има решение за тези неефективности: крайни изчисления.

Крайни изчисления се отнася до обработка на данни в мрежи и устройства, които са по-близо до потребителя, за разлика от традиционните изчислителни методи на централизирани сървъри и центрове за данни. Edge computing може да се види в действие с всичко - от системите за продажба (POS) до устройствата и сензорите за интернет на нещата (IoT) - по същество крайните устройства са всичко, което изчислява локално и взаимодейства с облака. Сега започваме да виждаме модели с изкуствен интелект да се добавят към тази категория периферни изчисления.

Пресечната точка на AI и edge computing

Експерт по изкуствен интелект Сидхарта Рао има опит от първа ръка в работата както с AI, така и с облачни изчислителни технологии. След повече от десетилетие опит в работата с водещи технологични компании като Amazon Web Services, Рао сега служи като съосновател и главен изпълнителен директор на Позитронни мрежи, компания за изкуствен интелект, фокусирана върху решения за изкуствен интелект за научноизследователската общност. Като се имат предвид уникалните нужди на тази общност, Рао се интересува особено от пресечната точка на AI и крайните изчисления.

„Има няколко причини, поради които периферните изчисления се превърнаха в толкова важна парадигма, включително намаляване на латентността на потребителските взаимодействия, понижаване на разходите за облачни изчисления и поддържане на офлайн потребителски изживявания“, обяснява Рао. „Тези предимства са в противоречие с други цели на периферните изчисления, като подобряване на маржовете чрез намаляване на разходите за устройства, удължаване на живота на батерията с процесори с ниска мощност или изтегляне на актуализации на модели в среди с ниска честотна лента, като например развиващите се страни.“

Това обаче повдига въпроса как моделите с изкуствен интелект – които изискват значителна изчислителна мощност – могат да се управляват „на ръба“. Рао обяснява, че успешното преминаване на моделите с изкуствен интелект към ръба изисква опростяване на тези операции.

„За контекст моделът е последователност от операции на линейната алгебра (матрична математика), последователно изпълнявани за прогнозиране на отговор въз основа на вход“, обяснява Рао. „Инженерите и учените по машинно обучение намаляват математическата сложност на тези операции чрез прилагане на различни техники. Резултатът е по-малки модели, изискващи по-малко изчислителни цикли за изпълнение, понижаване на изчислителните изисквания и подобряване на маржовете, като същевременно подобрява живота на батерията.“

„Това инженерство има няколко положителни въздействия върху индустрията“, продължава той. „Например, модели, които се изпълняват с по-ниска латентност, използват по-малко енергия от батерията и произвеждат по-малко топлина. Те също така използват по-малко облачни изчислителни ресурси за изпълнение, като допълнително намаляват въздействието си върху околната среда и намаляват консумацията на честотна лента за актуализиране на модела. Всички тези предимства подобряват потребителското изживяване, като същевременно подобряват маржовете чрез понижаване на цената на стоките.“

Защо периферните изчисления са бъдещето на AI

Основното предимство на edge computing е, че значително подобрява потребителското изживяване. Латентността е едно от най-големите предизвикателства, пред които е изправена всяка технологична иновация, особено като се има предвид краткият (и намаляващ) период на внимание на хората.

„Ако крайно устройство винаги трябва да отива в облака за прогнозиране, въздействието върху латентността влошава потребителското изживяване, намалявайки ангажираността на клиентите“, обяснява Рао. „По-малко ангажираните клиенти е по-малко вероятно да използват устройството, намалявайки полезността и приемането.“

Edge computing може също потенциално да намали разходите за технологията за изкуствен интелект до точка, която е по-постижима за по-малките предприятия. В крайна сметка поддържането на сървърите, необходими за работа с мащабни модели, е скъпо. Edge computing намалява сложността на тези приложения, за да им позволи да работят на ръба.

Въпреки това, Рао също предупреждава срещу някои от последствията, които крайните изчисления в сферата на ИИ могат да имат, наричайки ги „компромиси“ за предимствата, които предлага. „По-високите нива на грешки и халюцинации, тъй като използването на по-ниска точност впоследствие се отразява на точността на отговора“, обяснява той. „Дестилирането на знания може да засили проблемите с пристрастията и справедливостта в по-големите модели. И накрая, периферните изчисления изискват наемане на скъпи, специализирани таланти за машинно обучение и придобиване на скъпа инфраструктура за обучение за машинно обучение, като GPU, които са в голямо търсене.“

Като пример за успешното пресичане на изкуствения интелект и крайните изчислителни технологии, Рао посочва случай на употреба от времето си в AWS, който успешно опрости модел в мащаб. „Модел, който спонсорирах в AWS, беше използван в кодека Opus“, казва той. „Този ​​кодек се използва от над 1 милиард устройства в световен мащаб и наскоро беше надграден от Amazon с алгоритъм за прикриване на пакети, базиран на машинно обучение, който възстанови аудио потоци дори в мрежи със загуба. Този кодек може да се използва на устройства с ограничена процесорна мощност, като Raspberry Pi или настолен телефон, за да предсказва аудио проби за милисекунди.“

Рао също споменава случай на употреба, който е показал особен потенциал в отбранителния сектор. „Видео в реално време беше обработено на камери на мерника на войник, за да ги насочи дали движенията на боеца са подозрителни или евентуално в подкрепа на злонамерена дейност като тероризъм“, добавя той. „След това войникът може да фокусира наблюдението върху чувствителни и високорискови зони на бойното поле. И в двата примера сложното аудио или видео в реално време се обработваше от микропроцесори с ниска мощност, работещи на IoT устройства.“

Наистина, тези случаи на употреба са идеални примери за това как изкуственият интелект, изчислен на ръба, осигурява превъзходни резултати по отношение на ефективност и цена. „Ако най-новите модели на AI не могат да бъдат оптимизирани да работят на ръба, техните приложения ще бъдат ограничени до облачни приложения и потребителско изживяване“, заключава Рао.

За автора 

Кайри Матос


{"email": "Имейл адресът е невалиден", "url": "Адресът на уебсайта е невалиден", "задължително": "Задължително поле липсва"}