생성형 AI 프로젝트를 성공으로 이끄는 조합 ‘Red Hat OpenShift AI + Watsonx.ai’

최근 많은 조직이 거대 언어 모델(LLM)을 활용한 사내외 챗봇 개발과 LLM 기능을 기존 애플리케이션에 적용하는 방안을 검토하고 있습니다. 보통 개념 검증은 클라우드에서 합니다. 모든 것이 준비되어 있다 보니 데이터만 있다면 당장 시작할 수 있다 보니 클라우드에서 제공하는 LLM 모델이나 API 그리고 개발 도구를 사용하는 것입니다.

 

이렇게 시작하면 빠른 시간에 LLM이 과연 어떤 변화를 조직에 가져올 수 있는 지 평가하기 좋습니다. 하지만 중장기적인 관점에서 보면 사내 또는 하이브리드 환경 구축을 고민하지 않을 수 없습니다. 보안과 규제 걱정 없이 조직이 속한 산업을 위해 맞춤형으로 만들어 크기는 작지만 특정 업무 수행은 더 잘하는 도메인 특화 LLM 활용 전략을 수립하려면 사내 또는 하이브리드 환경에 인프라, 플랫폼, 도구를 구축해야 합니다.

 

기반을 마련하는 데 있어 클라우드 환경에서 프로젝트를 했던 경험은 걸림돌이 될 수 있습니다. 클라우드 못지 않은 편의성을 데이터 과학자, 개발자, IT 관리자가 느낄 수 있도록 환경을 구축해야 한다는 소리입니다. MLOps 플랫폼 도입을 검토했던 조직이라면 아마 그 어려움이 어느 정도인지 알 것입니다. AI/ML을 넘어 LLM과 검색 증강 생성(RAG)까지 클라우드 못지 않은 편의성을 제공하려면? 관련해 요즘 LLMOps 플랫폼이 등장하고 있지만, 이를 도입한다고 해결할 수 있는 과제는 아닙니다.

 

그렇다면 답이 없을까요? 레드햇과 IBM의 솔루션과 도구를 사용하면 MLOps를 넘어 LLMOps까지 자연스럽게 인프라와 플랫폼을 활용할 수 있는 길을 찾을 수 있습니다. 이번 포스팅에서 간단히 양사의 콜라보가 어떻게 클라우드 못지 않은 편의성과 생산성을 제공하는 지 알아보겠습니다.

 

 

보안과 거버넌스를 유지하면서 편의성을 높이는 조합

 

엔터프라이즈 AI는 민감한 데이터를 다루기 때문에 보안과 거버넌스가 필수적입니다. 데이터의 무결성, 보안성, 투명성은 AI 모델의 신뢰성과 성과에 영향을 미칩니다. 제대로 된 거버넌스는 규제 준수 및 윤리적 사용을 보장하고 데이터 누락, 왜곡, 편향을 방지하여 AI 모델의 품질을 유지합니다 .

 

Red Hat OpenShift AI는 하이브리드 클라우드 및 온프레미스 인프라에서 AI 모델을 쉽게 배포하고 관리할 수 있게 합니다. 이 플랫폼은 쿠버네티스(Kubernetes) 기반으로 데이터 과학자, 개발자, IT 관리자에게 유연한 통합 도구 세트를 제공해, 모델 훈련과 배포, 하드웨어 가속을 최적화합니다. 또한, 데이터 중력 문제를 해결하여 데이터가 있는 곳에서 모델을 효과적으로 관리합니다 .

 

Red Hat OpenShift AI와 IBM Watsonx.ai를 조합하면, AI 모델의 개발부터 배포까지 전체 수명 주기를 효율적으로 관리할 수 있습니다. OpenShift의 하이브리드 클라우드 유연성과 IBM Watsonx.ai의 엔터프라이즈급 AI 스튜디오가 결합하여, 온프레미스 및 클라우드 전반에 걸쳐 모델 성능 최적화 및 AI 애플리케이션의 배포 속도를 높일 수 있습니다. 특히 Watsonx.ai의 Granite 모델과 OpenShift의 통합 관리 시스템은 효율적인 LLMOps와 AI 거버넌스를 지원합니다.

 

 

 

참고로 IBM이 제공하는 도구 포트폴리오는 다음과 같습니다.

 

• Watsonx.ai: AI 애플리케이션을 구축, 배포, 관리하는 엔터프라이즈급 AI 스튜디오로, 프롬프트 엔지니어링, 모델 튜닝 등을 통해 생성형 AI 기능을 제공합니다.
• Watsonx.data: 개방형 레이크하우스 아키텍처를 기반으로 대규모 분석 및 AI 워크로드를 처리할 수 있는 데이터 플랫폼으로, 하이브리드 및 거버넌스 적용된 데이터 저장소를 제공합니다.
• Watsonx.governance: AI 모델의 투명성, 책임성, 규제 준수를 보장하는 AI 거버넌스 도구로, 위험 관리 및 모델 성능을 모니터링합니다.

 

LLM/RAG 프로젝트까지 수용하는 환경

 

앞서 언급한 바와 같이 Red Hat OpenShift AI와 IBM Watsonx.ai는 함께 사용하여 AI 애플리케이션의 개발 및 배포 속도를 크게 향상시킬 수 있습니다. 특히 LLM/RAG 관련해 클라우드 못지 않은 편의성을 제공합니다. 예를 들어 OpenShift AI의 쿠버네티스 기반 하이브리드 클라우드 플랫폼에서 Watsonx.ai의 생성형 AI 기능을 통합하여 대규모 AI 모델을 관리할 수 있습니다. 그 과정을 간단히 요약하면 다음과 같습니다.

 

• 모델 배포: OpenShift AI에서 Watsonx.ai의 Granite 모델을 학습 및 튜닝한 후, 생성형 AI 모델을 애플리케이션에 반영할 수 있습니다.
• 프롬프트 엔지니어링: Watsonx.ai의 프롬프트 랩을 통해 사용자가 다양한 프롬프트를 실험하고 최적화하여 고객 맞춤형 AI 응답을 생성합니다.
• RAG 프레임워크: RAG 기능을 통해 외부 데이터베이스와 통합된 AI 모델을 구축하여, 더 정확하고 맥락에 맞는 응답을 제공하는 AI 애플리케이션을 구현할 수 있습니다 .

 

이와 같이 두 솔루션의 결합은 AI 모델의 구축과 배포를 더욱 빠르고 유연하게 만들며, 생성형 AI 기능을 다양한 비즈니스 애플리케이션에 쉽게 통합할 수 있게 합니다. 더 자세한 내용이 궁금하다면 락플레이스로 문의 바랍니다.