본문 바로가기

카테고리 없음

AI/ML 여정을 시작할 때! 오픈 소스를 주목해야 하는 이유

한 때는 실험의 영역에 있던 것이 있습니다. 지금은 이 주제가 비즈니스 전략에서 가장 중요한 위치에 올랐습니다. 이것은 무엇일까요? , AI/ML입니다. 관련해 많은 기업이 AI/ML 인프라와 플랫폼 투자를 강화하고 있죠. 이 여정에서 대부분의 조직이 같은 고민을 합니다. 어떻게 하면 더 효율적으로 자원을 관리하는 가운데 데이터 과학자와 개발자의 편의성을 높일 것인가? 관련해 MLOps에서 답을 찾는 곳이 많습니다. MLOps를 알아보다 보면 자연스럽게 컨테이너 플랫폼까지 관심 대상이 확대됩니다.

 

쓰임이 많은 컨테이너 플랫폼

 

동시에 여러 AI/ML 프로젝트를 수행하는 조직의 경우 MLOps의 이점은 매우 큽니다. 자원 확보, 데이터 준비, 개발 환경 마련 그리고 모델 구현, 훈련, 배포 과정이 자동화 기반으로 이루어짐으로 데이터 과학자와 개발자는 매우 효율적으로 프로젝트를 수행할 수 있습니다. 시쳇말로 준비 과정에 시간을 허비하지 않는 것이죠.

 

MLOps는 도구 하나 도입한다고 해결되는 과제가 아니죠. MLOps 플랫폼이 제 기능과 역할을 다 하려면 탄탄한 기반이 필요합니다. 여기서 말하는 핵심 기반은 데이터 준비와 모델 훈련과 배포를 위한 표준화된 컨테이너 환경입니다. 이 두 환경은 AI/ML 생명주기 전반에 걸쳐 매우 중요한 역할을 합니다. AI/ML 생명주기는 크게 데이터 수집과 준비에서 시작해 모델 구현, 훈련, 배포, 추론, 모니터링 과정으로 나누어 볼 수 있습니다. 각 과정이 자동화 기반으로 연결되지 않을 경우 데이터 과학자와 개발자는 꽤 많은 시간을 사전 준비에 허비해야 합니다.

 

각 단계에서 해야 할 일을 간단히 보자면 데이터 수집과 준비 단계에서는 입력 데이터의 품질을 확인해야 합니다. 다음으로 모델 구현과 학습 과정에서는 정확도가 높은 수준에 다다르기 위한 반복 작업을 해야 합니다. 다양한 조건 속에서 모델 최적화를 하기 위해 훈련을 반복하는 것이죠. 다음으로 배포 과정에는 애플리케이션 개발 프로세스와 추론 작업을 모델에 통합하는 것을 고려해야 합니다. 프로덕션 환경에 모델을 배포했다고 끝이 아니죠. 비즈니스 성과를 측정하고 잠재적인 데이터 드리프트 문제 해결을 위해 모델 모니터링과 관리 작업을 해야 합니다.

 

컨테이너 플랫폼은 시간이 많이 드는 준비 작업을 간소화합니다. 데이터 과학자와 개발자는 AI/ML 모델 구현과 훈련을 위한 환경 구성을 매우 편하게 할 수 있습니다. Apache Spark, Jupyter notebook, TensorFlow, PyTorch 등 필요한 도구를 선택해 컨테이너 환경을 구성하면 됩니다. 규모가 큰 조직이라면 주요 환경을 표준 이미지로 만들어 제공할 경우 편의성은 더욱 높아집니다.

 

개방형 AI/ML 플랫폼의 길을 제시하다! Open Data Hub

 

소프트웨어 스택 구성의 편의성만으로는 뭔가 아쉬움이 있죠. 이런 아쉬움을 달랠 수 있는 프로젝트가 있습니다. 바로 Open Data Hub 프로젝트입니다. Open Data Hub OpenShfit, Red Hat Ceph Storage, Red Hat AMQ Stream 및 여러 오픈 소스 프로젝트를 기반으로 개방형 AI/ML 플랫폼을 구축하는 것을 목표로 합니다.

 

Open Data Hub의 가장 큰 장점은? , 오픈 소스이다 보니 특정 기술이나 업체의 도구에 대한 종속성이 없습니다. 더불어 커뮤니티를 통해 지속 가능한 개선과 진화가 이루어지고 있다는 것도 장점입니다. Open Data Hub를 실제 환경에 적용하면 데이터 과학자와 개발자는 IT 부서 담당자의 도움 없이도 자신이 프로젝트를 수행하는 데 필요한 인프라 자원을 프로비져닝하고, 소프트웨어 스택을 구성할 수 있습니다. 셀프서비스 방식으로 필요한 인프라와 소프트웨어를 구비해 작업을 할 수 있는 것이죠.

엔터프라이즈를 위한 레드햇의 제안

 

한편, 레드햇은 AI/ML 관련해 Red Hat OpenShfit Data Science라는 관리형 클라우드 서비스를 제공합니다. 이 서비스를 이용하면 직접 컨테이너 플랫폼을 구축해 운영하지 않아도 컨테이너 활용의 이점을 누릴 수 있습니다. 여기에 Red Hat Data Services를 연계하면 데이터 수집과 준비 관련 스토리지 요구 사항까지 충족할 수 있습니다. 그리고 Red Hat Decision Manager까지 더하면 AI/ML 모델 모니터링까지 완벽히 할 수 있습니다. , Open Data Hub를 직접 구축해 운영하지 않고 편하게 서비스를 이용할 방법이 있는 것이죠. 

 

이상으로 성공적인 AI/ML 여정으로 가는 길을 주요 오픈 소스 프로젝트가 어떻게 이끄는지 알아보았습니다. 더 자세한 내용은 락플레이스로 문의 바랍니다.