Bien que l'intelligence artificielle ait été vantée pour son potentiel d'augmentation de l'efficacité dans plusieurs secteurs, la technologie s'est heurtée à plusieurs obstacles. L'inefficacité des serveurs centralisés a entraîné des problèmes pour certains systèmes. latence élevée des problèmes ou même carrément accidentsCela dit, il existe peut-être une solution à ces inefficacités : l’edge computing.
Edge computing L'informatique de pointe désigne le traitement des données sur des réseaux et des appareils plus proches de l'utilisateur, par opposition aux méthodes informatiques traditionnelles basées sur des serveurs centralisés et des centres de données. L'informatique de pointe est présente dans de nombreux domaines, des systèmes de point de vente (POS) aux appareils et capteurs de l'Internet des objets (IoT) : les appareils de pointe sont essentiellement tout ce qui calcule localement et interagit avec le cloud. Aujourd'hui, nous commençons à voir des modèles d'intelligence artificielle ajoutés à cette catégorie d'informatique de pointe.
L'intersection entre l'IA et l'informatique de pointe
Expert en intelligence artificielle Siddhartha Rao possède une expérience directe du travail avec les technologies de l'IA et du cloud computing. Après plus d'une décennie d'expérience auprès d'entreprises technologiques de premier plan comme Amazon Web Services, Rao est désormais cofondateur et PDG de Réseaux de positons, une société d'IA axée sur les solutions d'intelligence artificielle pour la communauté de recherche scientifique. Compte tenu des besoins uniques de cette communauté, Rao s'intéresse particulièrement à l'intersection de l'IA et de l'informatique de pointe.
« Plusieurs raisons expliquent pourquoi l’edge computing est devenu un paradigme aussi important, notamment la réduction de la latence des interactions utilisateur, la réduction des coûts du cloud computing et la prise en charge des expériences utilisateur hors ligne », explique Rao. « Ces avantages sont en concurrence avec d’autres objectifs de l’edge computing, tels que l’amélioration des marges en réduisant les coûts des appareils, l’allongement de la durée de vie des batteries avec des processeurs à faible consommation ou le téléchargement des mises à jour de modèles dans des environnements à faible bande passante comme les pays en développement. »
Cependant, cela soulève la question de savoir comment les modèles d’intelligence artificielle, qui nécessitent une puissance de calcul importante, peuvent être exécutés « en périphérie ». Rao explique que la transition réussie des modèles d’intelligence artificielle vers la périphérie nécessite de simplifier ces opérations.
« Pour le contexte, un modèle est une séquence d’opérations d’algèbre linéaire (mathématiques matricielles) exécutées séquentiellement pour prédire une réponse en fonction d’une entrée », explique Rao. « Les ingénieurs et scientifiques en apprentissage automatique réduisent la complexité mathématique de ces opérations en appliquant diverses techniques. Le résultat est des modèles plus petits nécessitant moins de cycles de calcul pour s’exécuter, ce qui réduit les besoins en calcul et améliore les marges tout en améliorant la durée de vie de la batterie. »
« Cette ingénierie a plusieurs impacts positifs sur l’industrie », poursuit-il. « Par exemple, les modèles s’exécutent avec une latence plus faible, consomment moins d’énergie de batterie et produisent moins de chaleur. Ils utilisent également moins de ressources de cloud computing pour s’exécuter, ce qui réduit encore davantage leur impact environnemental, et ils réduisent la consommation de bande passante de mise à jour des modèles. Tous ces avantages améliorent l’expérience utilisateur tout en améliorant les marges en réduisant le coût des marchandises. »
Pourquoi l'edge computing est l'avenir de l'IA
Le principal avantage de l'edge computing est qu'il améliore considérablement l'expérience utilisateur. La latence est l'un des plus grands défis auxquels toute innovation technologique est confrontée, en particulier si l'on tient compte de la capacité d'attention courte (et décroissante) des humains.
« Si un périphérique de pointe doit toujours se rendre dans le cloud pour effectuer une prédiction, l’impact sur la latence dégrade l’expérience utilisateur, réduisant ainsi l’engagement client », explique Rao. « Les clients les moins engagés sont moins susceptibles d’exploiter l’appareil, ce qui réduit son utilité et son adoption. »
L’informatique de pointe peut également réduire les coûts de la technologie de l’intelligence artificielle à un niveau plus accessible pour les petites entreprises. Après tout, la maintenance des serveurs nécessaires à l’exploitation de modèles à grande échelle est coûteuse. L’informatique de pointe réduit la complexité de ces applications pour leur permettre de fonctionner en périphérie.
Cependant, Rao met également en garde contre certaines des conséquences que l’informatique de pointe pourrait avoir dans le domaine de l’IA, les qualifiant de « compromis » pour les avantages qu’elle offre. « Des taux d’erreur et d’hallucination plus élevés, car l’utilisation d’une précision plus faible affecte ensuite l’exactitude de la réponse », explique-t-il. « La distillation des connaissances peut amplifier les problèmes de biais et d’équité dans les modèles plus vastes. Enfin, l’informatique de pointe nécessite de recruter des talents coûteux et spécialisés en apprentissage automatique et d’acquérir des infrastructures de formation en apprentissage automatique coûteuses telles que les GPU, qui sont très demandées. »
Pour illustrer l’alliance réussie entre l’intelligence artificielle et la technologie de l’informatique de pointe, Rao cite un cas d’utilisation de son expérience chez AWS qui a permis de simplifier un modèle à grande échelle. « Un modèle que j’ai parrainé chez AWS a été utilisé dans le codec Opus », explique-t-il. « Ce codec est utilisé par plus d’un milliard d’appareils dans le monde et a récemment été mis à niveau par Amazon avec un algorithme de masquage de paquets basé sur l’apprentissage automatique qui a récupéré les flux audio même dans les réseaux avec perte. Ce codec peut être utilisé sur des appareils à puissance de traitement limitée, comme un Raspberry Pi ou un téléphone de bureau, pour prédire les échantillons audio en quelques millisecondes. »
Rao évoque également un cas d’utilisation qui a montré un potentiel particulier dans le secteur de la défense. « Des vidéos en temps réel ont été traitées sur des caméras installées sur la lunette de visée d’un soldat pour l’aider à déterminer si les mouvements d’un combattant étaient suspects ou s’ils pouvaient soutenir une activité malveillante telle que le terrorisme », ajoute-t-il. « Le soldat pouvait alors concentrer sa surveillance sur les zones sensibles et à haut risque du champ de bataille. Dans les deux cas, des données audio ou vidéo complexes en temps réel étaient traitées par des microprocesseurs à faible puissance fonctionnant sur des appareils IoT. »
En effet, ces cas d’utilisation sont de parfaits exemples de la manière dont l’intelligence artificielle calculée en périphérie produit des résultats supérieurs en termes d’efficacité et de coût. « Si les derniers modèles d’IA ne peuvent pas être optimisés pour fonctionner en périphérie, leurs applications seront limitées aux applications cloud et à l’expérience utilisateur », conclut Rao.
