Novembru 18, 2024

Edge AI: Negħlbu l-Isfidi tal-Mudelli Ġganti

Għalkemm l-intelliġenza artifiċjali ġiet promossa għall-potenzjal tagħha li żżid l-effiċjenza f'diversi industriji, it-teknoloġija laqtet diversi ostakli tagħha stess. L-ineffiċjenza tas-servers ċentralizzati kkawża li xi sistemi jesperjenzaw latency għolja kwistjonijiet jew saħansitra għal kollox crashes. Cela dit, jista 'jkun hemm soluzzjoni għal dawn l-ineffiċjenzi: edge computing.

edge computing tirreferi għall-ipproċessar tad-dejta f'netwerks u apparati eqreb tal-utent, għall-kuntrarju tal-metodi tal-kompjuters tradizzjonali ta 'servers ċentralizzati u ċentri tad-dejta. Edge computing jista 'jidher fl-azzjoni ma' kollox minn sistemi tal-punt tal-bejgħ (POS) għal apparati u sensuri tal-Internet tal-Oġġetti (IoT) - essenzjalment, apparati edge huma kwalunkwe ħaġa li tikkalkula lokalment u jinteraġixxi mal-cloud. Issa, qed nibdew naraw mudelli ta 'intelliġenza artifiċjali miżjuda ma' dik il-kategorija ta 'edge computing.

L-intersezzjoni tal-AI u l-edge computing

Espert tal-intelliġenza artifiċjali Siddhartha Rao għandu esperjenza diretta ta' xogħol kemm mat-teknoloġiji tal-AI kif ukoll tal-cloud computing. Wara aktar minn għaxar snin ta’ esperjenza ta’ ħidma ma’ kumpaniji ewlenin tat-teknoloġija bħall-Amazon Web Services, Rao issa jservi bħala l-ko-fundatur u CEO ta’ Netwerks tal-Pożitroni, kumpanija AI ffukat fuq soluzzjonijiet ta 'intelliġenza artifiċjali għall-komunità tar-riċerka xjentifika. Minħabba l-ħtiġijiet uniċi ta 'din il-komunità, Rao huwa partikolarment interessat fl-intersezzjoni ta' AI u edge computing.

"Hemm diversi raġunijiet għaliex edge computing sar paradigma tant prominenti, inkluż it-tnaqqis tal-latency tal-interazzjonijiet tal-utent, it-tnaqqis tal-ispejjeż tal-cloud computing, u l-appoġġ tal-esperjenzi tal-utent offline," jispjega Rao. "Dawn il-benefiċċji huma konfliġġenti ma 'għanijiet oħra ta' edge computing, bħat-titjib tal-marġini billi jitbaxxew l-ispejjeż tal-apparat, jestendu l-ħajja tal-batterija bi proċessuri ta 'enerġija baxxa, jew tniżżil ta' aġġornamenti tal-mudelli f'ambjenti b'bandwidth baxx bħal pajjiżi li qed jiżviluppaw."

Madankollu, dan iqajjem il-mistoqsija dwar kif mudelli ta 'intelliġenza artifiċjali - li jeħtieġu qawwa tal-kompjuter sinifikanti - jistgħu jitmexxew "fuq it-tarf." Rao jispjega li t-tranżizzjoni b'suċċess tal-mudelli ta 'intelliġenza artifiċjali għat-tarf teħtieġ is-simplifikazzjoni ta' dawn l-operazzjonijiet.

"Għall-kuntest, mudell huwa sekwenza ta 'operazzjonijiet ta' alġebra lineari (matematika tal-matriċi) esegwiti b'mod sekwenzjali biex ibassar rispons ibbażat fuq input," jispjega Rao. “L-inġiniera u x-xjenzati tat-tagħlim tal-magni jnaqqsu l-kumplessità matematika ta’ dawn l-operazzjonijiet billi japplikaw diversi tekniki. Ir-riżultat huwa mudelli iżgħar li jeħtieġu inqas ċikli tal-kompjuter biex jiġu eżegwiti, inaqqsu r-rekwiżiti tal-kompjuters u jtejbu l-marġni filwaqt li jtejbu l-ħajja tal-batterija.”

"Din l-inġinerija għandha bosta impatti pożittivi fuq l-industrija," ikompli. “Pereżempju, mudelli li jeżegwixxu b’latenza aktar baxxa, jużaw inqas enerġija tal-batterija, u jipproduċu inqas sħana. Huma jużaw ukoll inqas riżorsi tal-cloud computing biex jeżegwixxu, inaqqsu aktar l-impatt ambjentali tagħhom, u jnaqqsu l-konsum tal-bandwidth tal-aġġornament tal-mudell. Dawn il-benefiċċji kollha jtejbu l-esperjenza tal-utent filwaqt li jtejbu l-marġini billi jnaqqsu l-ispiża tal-merkanzija.”

Għaliex l-edge computing huwa l-futur tal-AI

Il-benefiċċju ewlieni tal-edge computing huwa li jtejjeb b'mod sinifikanti l-esperjenza tal-utent. Il-latenza hija waħda mill-akbar sfidi li tiffaċċja kwalunkwe innovazzjoni teknoloġika, speċjalment meta wieħed iqis il-firxa ta' attenzjoni qosra (u dejjem jonqos) tal-bnedmin.

"Jekk apparat tarf irid dejjem imur fis-sħab għal tbassir, l-impatt fuq il-latency jiddegrada l-esperjenza tal-utent, u jnaqqas l-involviment tal-klijent," jispjega Rao. "Klijenti inqas impenjati huma inqas probabbli li jisfruttaw l-apparat, u jnaqqsu l-utilità u l-adozzjoni."

Edge computing jista 'wkoll potenzjalment inaqqas l-ispejjeż tat-teknoloġija tal-intelliġenza artifiċjali sa punt li huwa aktar aċċessibbli għal negozji iżgħar. Wara kollox, iż-żamma tas-servers meħtieġa biex joperaw mudelli fuq skala kbira hija għalja. Edge computing inaqqas il-kumplessità ta 'dawn l-applikazzjonijiet biex jippermettilhom jaħdmu fuq it-tarf.

Madankollu, Rao iwissi wkoll kontra xi wħud mill-konsegwenzi li l-edge computing fl-isfera tal-AI jista 'jkollu, billi jirreferi għalihom bħala "kompromessi" għall-benefiċċji li joffri. "Rati ogħla ta 'żball u alluċinazzjoni peress li l-użu ta' preċiżjoni aktar baxxa sussegwentement jaffettwa l-eżattezza tat-tweġiba," jispjega. “Id-distillazzjoni tal-għarfien tista’ tkabbar il-preġudizzju u l-problemi ta’ ġustizzja fil-mudelli akbar. Fl-aħħar nett, l-edge computing jeħtieġ il-kiri ta’ talent għali u speċjalizzat għat-tagħlim tal-magni u l-akkwist ta’ infrastruttura għalja ta’ taħriġ għat-tagħlim tal-magni bħal GPUs, li huma fid-domanda kbira.”

Bħala eżempju tal-intersezzjoni b'suċċess tal-intelliġenza artifiċjali u t-teknoloġija edge computing, Rao jindika każ ta 'użu minn żmienu fl-AWS li ssimplifika b'suċċess mudell fuq skala. "Mudell li sponsorjejt f'AWS intuża fil-codec Opus," jgħid. “Dan il-codec jintuża minn aktar minn biljun apparat globalment u reċentement ġie aġġornat minn Amazon b’algoritmu ta’ ħabi tal-pakketti bbażat fuq it-tagħlim tal-magni li rkupra flussi tal-awdjo anke f’netwerks b’telf. Dan il-codec jista’ jintuża fuq apparati b’qawwa ta’ pproċessar limitata, bħal Raspberry Pi jew desk phone, biex ibassar kampjuni tal-awdjo f’millisekondi.”

Rao isemmi wkoll każ ta’ użu li wera potenzjal partikolari fis-settur tad-difiża. "Vidjow f'ħin reali ġie pproċessat fuq kameras fuq l-iskop ta 'xkubetta ta' suldat biex jiggwidahom dwar jekk il-movimenti ta 'ġellieda kinux suspettużi jew possibilment bħala appoġġ għal attività malizzjuża bħat-terroriżmu," huwa jżid. “Is-suldat jista’ mbagħad jiffoka s-sorveljanza fuq żoni tal-kamp tal-battalja sensittivi u ta’ riskju għoli. Fiż-żewġ eżempji, awdjo jew vidjo kumplessi f’ħin reali kienu qed jiġu pproċessati minn mikroproċessuri b’qawwa baxxa li jaħdmu fuq apparati IoT.”

Tabilħaqq, dawn il-każijiet ta 'użu huma eżempji perfetti ta' kif l-intelliġenza artifiċjali kkalkulata fuq it-tarf tagħti riżultati superjuri f'termini ta 'effiċjenza u spiża. "Jekk l-aħħar mudelli AI ma jistgħux jiġu ottimizzati biex jaħdmu fuq it-tarf, l-applikazzjonijiet tagħhom ikunu limitati għal applikazzjonijiet cloud u esperjenza tal-utent," tikkonkludi Rao.

Dwar l-Awtur 

Kyrie Mattos


{"email": "Indirizz tal-posta elettronika mhux validu", "url": "Indirizz tal-websajt mhux validu", "meħtieġ": "Qasam meħtieġ nieqes"}