Red Hat Device Edge와 NVIDIA Jetson Orin, IGX Orin이 만들 AI 엣지의 미래

최근 몇 년 사이 엔터프라이즈 컴퓨팅의 주요 키워드 중 하나로 ‘엣지 컴퓨팅’을 꼽습니다. 엣지 컴퓨팅은 데이터를 서버나 클라우드로 보내지 않고 현장에서 바로 처리합니다. 엣지 컴퓨팅에 많은 기업이 관심을 두게 된 이유는 AI/ML 기술 발전에서 찾을 수 있습니다. 실제로 많은 기업이 AI/ML 모델을 엣지 장치에 배포하는 시나리오에서 새로운 가능성을 발견했습니다.

 

대표적인 예가 제조 현장에서 AI/ML 모델의 추론을 통해 예지 보전을 하는 스마트 팩토리 시나리오입니다. 최근에는 기업이 보유한 데이터로 최적화한 도메인 특화 거대 언어 모델(LLM)까지 가세하면서 엣지 장치의 활용 가치가 더 높아지는 분위기입니다. 제조를 예로 들자면 멀티 모달을 지원하는 도메인 특화 LLM은 현장에서 AI/ML과 컴퓨터 비전 기술을 활용하는 것보다 더 간소화된 방식으로 품질 검사를 할 수 있는 가능성을 열었습니다.

 

 

Red Hat Device Edge의 등장

 

엣지 컴퓨팅 활용 가치가 높아지면서 기업도 비즈니스와 기술 요구를 구체화하고 있습니다. 이런 요구를 수용하기 위해 레드햇은 2023년 11월에 Red Hat Device Edge를 정식으로 공개하였습니다. Red Hat Device Edge는 사물 인터넷(IoT) 게이트웨이, 산업용 컨트롤러, 스마트 디스플레이, POS 단말기, 로봇 등 제조, 물류, 소매, 의료 등 산업 현장에서 사용하는 컴퓨팅 장치를 위한 플랫폼입니다. 엣지 컴퓨팅 환경은 경우의 수가 많습니다. 장치를 배포해 사용하는 위치, 리소스 조건 등이 다양합니다. 장치에 AI/ML, LLM 모델을 배포하는 조건도 기업의 보안 정책과 거버넌스 체계에 따라 다릅니다.

 

 

Red Hat Device Edge는 변수가 많은 엔터프라이즈 엣지 컴퓨팅 환경에 ‘일관성’을 제공하는 플랫폼입니다. 이 플랫폼을 도입하면 하이브리드 클라우드 기반으로 훈련을 마친 AI/ML 모델이나 최적화를 마친 도메인 특화 LLM 모델을 ‘경량’ 컨테이너를 이용해 중앙집중적으로 배포하고 관리할 수 있습니다. Red Hat Device Edge에 주목할 키워드는 일관성과 경량입니다.

 

Red Hat Device Edge는 레드햇 엔터프라이즈 리눅스(RHEL)와 레드햇 MicroShift를 기반으로 합니다. 엔터프라이즈 컨테이너 플랫폼을 운영해 본 분이라면 이 조합이 갖는 의미가 와닿을 것입니다. Red Hat Device Edge는 컨테이너 배포 옵션으로 두 가지 선택지를 제공합니다.

 

하나는 RHEL와 Podman을 이용하는 것입니다. 이 경우 특정 작업을 반복하는 조건에 잘 맞는 배포 방식이라 할 수 있습니다. 다른 옵션으로 MicroShift를 활용하는 것입니다. MicroShift는 리소스 제약이 있는 엣지 환경을 위한 쿠버네티스 기반 컨테이너 오케스트레이션 플랫폼입니다. 간단히 설명하자면 OpenShift의 경량 버전이라 보면 됩니다. 새로운 기능을 자주 추가하거나 복잡한 작업을 처리해야 하는 엣지 장치를 대상으로 모델을 배포하고 관리하는 데 유리한 선택지라 할 수 있습니다.

 

엣지 환경에서 AI/ML, 도메인 특화 LLM을 사용하려면 중앙집중적인 관리 및 제어 체계가 필수입니다. 다양한 위치에 있는 수백, 수천에 이르는 장치를 관리하는 것은 큰 도전 과제입니다. 레드햇은 이런 부분까지 빠짐없이 챙깁니다. Red Hat Device Edge 기반 장치는 Red Hat Ansible Automation 플랫폼을 통해 중앙에서 자동화 기반으로 관리할 수 있습니다.

 

 

강력한 엣지 장치와 Red Hat Device Edge의 만남

 

흔히 엣지 컴퓨팅을 설명할 때 ‘리소스 제약’이란 표현을 씁니다. 하지만 이런 표현은 경우에 따라 맞기도 하고 틀리기도 합니다. 특히 NVIDIA Jetson Orin, IGX Orin 같이 강력한 장치의 등장은 엣지 컴퓨팅이라고 해서 꼭 리소스가 부족하다는 편견을 깨고 있습니다.

 

NVIDIA Jetson Orin은 전력 소모는 매우 낮지만, 성능이 높아 소형 엣지 장치에서 효율적으로 AI 추론 작업을 지원합니다. 또한, IGX Orin에 dGPU 옵션을 적용하면 데이터센터급 GPU와 비교할 수는 없지만 엣지 현장에서도 모델 훈련이 가능할 수 있습니다. 이처럼 강력한 장치에 대한 수요는 AI/ML, 도메인 특화 LLM의 발전 속도와 응용 분야 확대를 생각할 때 앞으로 더욱 커질 것으로 보입니다. 이런 변화에 레드햇은 발 빠르게 대응하고 있습니다. 관련해 최근 레드햇은 NVIDIA Jetson Orin, IGX Orin 장치를 지원하는 Red Hat Device Edge 프리뷰를 공개했습니다.

 

레드햇과 NVIDIA의 엣지 솔루션의 결합은 시너지가 상당할 전망입니다. NVIDIA가 제공하는 하드웨어 및 소프트웨어 개발 도구로 기업의 필요에 맞는 엣지 장치와 애플리케이션을 만들고 훈련이나 최적화를 마친 모델을 Red Hat Device Edge 플랫폼을 활용해 전사 측면에서 일관성 있게 배포하고 관리하면 기업은 엣지에 대한 투자 효과를 더 빠르게 확인할 수 있을 것입니다.

 

이상으로 엣지 컴퓨팅 분야에서 일어나고 있는 변화와 이런 흐름에 레드햇은 어떤 기술과 도구로 적응하고 있는지 살펴보았습니다. 더 자세한 사항이 궁금하면 락플레이스로 문의 바랍니다.