인공 지능은 여러 산업에서 효율성을 높일 수 있는 잠재력이 있다고 알려졌지만, 이 기술은 그 자체로 여러 가지 장애물에 부딪혔습니다. 중앙 집중형 서버의 비효율성으로 인해 일부 시스템에서 다음과 같은 문제가 발생했습니다. 높은 대기 시간 문제 또는 심지어 노골적으로 충돌. 그럼에도 불구하고, 이러한 비효율성에 대한 해결책이 있을 수 있습니다. 바로 엣지 컴퓨팅입니다.
에지 컴퓨팅 중앙 집중형 서버와 데이터 센터의 기존 컴퓨팅 방식과 달리, 사용자에게 더 가까운 네트워크와 장치에서 데이터를 처리하는 것을 말합니다. 엣지 컴퓨팅은 POS(Point of Sale) 시스템에서 사물 인터넷(IoT) 장치와 센서에 이르기까지 모든 것에서 실제로 볼 수 있습니다. 기본적으로 엣지 장치는 로컬에서 계산하고 클라우드와 상호 작용하는 모든 것입니다. 이제 우리는 엣지 컴퓨팅 범주에 인공 지능 모델이 추가되는 것을 보게 되었습니다.
AI와 엣지 컴퓨팅의 교차점
인공지능 전문가 싯다르타 라오 AI와 클라우드 컴퓨팅 기술을 모두 직접 사용한 경험이 있습니다. Amazon Web Services와 같은 선도적인 기술 회사에서 10년 이상 일한 경험을 바탕으로 Rao는 현재 공동 창립자 겸 CEO로 활동하고 있습니다. 포지트론 네트워크, 과학 연구 커뮤니티를 위한 인공 지능 솔루션에 중점을 둔 AI 회사입니다. 이 커뮤니티의 고유한 요구 사항을 감안할 때, Rao는 특히 AI와 엣지 컴퓨팅의 교차점에 관심이 있습니다.
라오는 "엣지 컴퓨팅이 이렇게 두드러진 패러다임이 된 데에는 여러 가지 이유가 있는데, 여기에는 사용자 상호작용의 지연 시간을 낮추고, 클라우드 컴퓨팅 비용을 낮추고, 오프라인 사용자 경험을 지원하는 것이 포함됩니다."라고 설명합니다. "이러한 이점은 장치 비용을 낮춰 마진을 개선하고, 저전력 프로세서로 배터리 수명을 늘리거나, 개발도상국과 같은 저대역폭 환경에서 모델 업데이트를 다운로드하는 것과 같은 엣지 컴퓨팅의 다른 목표와 상충됩니다."
하지만 이는 상당한 컴퓨팅 파워가 필요한 인공 지능 모델을 "에지에서" 어떻게 실행할 수 있는지에 대한 의문을 제기합니다. 라오는 인공 지능 모델을 에지로 성공적으로 전환하려면 이러한 작업을 단순화해야 한다고 설명합니다.
"맥락상 모델은 입력에 기반한 응답을 예측하기 위해 순차적으로 실행되는 선형 대수(행렬 수학) 연산의 시퀀스입니다." 라오가 설명합니다. "머신 러닝 엔지니어와 과학자는 다양한 기술을 적용하여 이러한 연산의 수학적 복잡성을 줄입니다. 그 결과 더 작은 모델이 실행에 필요한 컴퓨팅 주기가 줄어들어 컴퓨팅 요구 사항이 낮아지고 마진이 개선되고 배터리 수명이 향상됩니다."
"이 엔지니어링은 업계에 여러 가지 긍정적인 영향을 미칩니다." 그는 계속해서 말합니다. "예를 들어, 더 낮은 지연 시간으로 실행되고, 배터리 전력을 덜 사용하고, 열을 덜 발생시키는 모델이 있습니다. 또한 실행하는 데 더 적은 클라우드 컴퓨팅 리소스를 사용하여 환경에 미치는 영향을 더욱 낮추고, 모델 업데이트 대역폭 소비를 줄입니다. 이러한 모든 이점은 상품 비용을 낮춰 마진을 개선하는 동시에 사용자 경험을 개선합니다."
엣지 컴퓨팅이 AI의 미래인 이유
엣지 컴퓨팅의 가장 큰 이점은 사용자 경험을 크게 개선한다는 것입니다. 지연은 모든 기술 혁신이 직면하는 가장 큰 과제 중 하나이며, 특히 인간의 짧고(점점 줄어드는) 주의 지속 시간을 고려할 때 더욱 그렇습니다.
"에지 기기가 예측을 위해 항상 클라우드로 가야 한다면 지연에 미치는 영향으로 사용자 경험이 저하되어 고객 참여가 감소합니다." 라오가 설명합니다. "참여가 적은 고객은 기기를 활용할 가능성이 낮아져 유용성과 채택이 감소합니다."
엣지 컴퓨팅은 또한 인공 지능 기술의 비용을 중소기업이 더 쉽게 달성할 수 있는 수준으로 잠재적으로 줄일 수 있습니다. 결국 대규모 모델을 운영하는 데 필요한 서버를 유지하는 데는 비용이 많이 듭니다. 엣지 컴퓨팅은 이러한 애플리케이션의 복잡성을 줄여 엣지에서 실행할 수 있도록 합니다.
그러나 라오는 AI 영역에서 엣지 컴퓨팅이 가져올 수 있는 몇 가지 결과에 대해서도 경고하며, 이를 제공하는 이점에 대한 "상쇄"라고 언급합니다. 그는 "더 낮은 정밀도를 사용함에 따라 오류와 환각률이 높아지면 답변의 정확도에 영향을 미칩니다."라고 설명합니다. "지식 증류는 더 큰 모델에서 편향과 공정성 문제를 증폭시킬 수 있습니다. 마지막으로 엣지 컴퓨팅은 비용이 많이 들고 전문적인 머신 러닝 인재를 고용하고 수요가 많은 GPU와 같은 값비싼 머신 러닝 교육 인프라를 확보해야 합니다."
인공 지능과 엣지 컴퓨팅 기술의 성공적인 교차점의 예로, 라오는 AWS에서 근무하면서 모델을 대규모로 단순화하는 데 성공한 사용 사례를 지적합니다. 그는 "AWS에서 제가 후원한 모델은 Opus 코덱에서 사용되었습니다."라고 말합니다. "이 코덱은 전 세계적으로 1억 대 이상의 기기에서 사용되고 있으며, 최근 Amazon에서 손실이 있는 네트워크에서도 오디오 스트림을 복구하는 머신 러닝 기반 패킷 은폐 알고리즘으로 업그레이드했습니다. 이 코덱은 Raspberry Pi 또는 데스크폰과 같이 처리 능력이 제한된 기기에서 밀리초 단위로 오디오 샘플을 예측하는 데 사용할 수 있습니다."
라오는 또한 방위 분야에서 특히 잠재력이 있는 것으로 나타난 사용 사례를 언급합니다. 그는 "실시간 비디오는 군인의 라이플 스코프에 있는 카메라에서 처리되어 전투원의 움직임이 의심스러운지 또는 테러와 같은 악의적인 활동을 지원하는지 여부를 안내합니다."라고 덧붙였습니다. "그러면 군인은 민감하고 위험이 높은 전장 지역에 감시를 집중할 수 있습니다. 두 사례 모두 복잡한 실시간 오디오 또는 비디오는 IoT 장치에서 실행되는 저전력 마이크로프로세서에 의해 처리되었습니다."
실제로 이러한 사용 사례는 엣지에서 계산된 인공 지능이 효율성과 비용 측면에서 뛰어난 결과를 제공하는 방법의 완벽한 예입니다. Rao는 "최신 AI 모델이 엣지에서 실행되도록 최적화할 수 없다면 해당 애플리케이션은 클라우드 애플리케이션과 사용자 경험으로 제한될 것입니다."라고 결론지었습니다.
