생성형 AI 시대를 위해 태어난 Red Hat Enterprise Linux AI가 특별한 이유

AI가 기업의 IT 전략에서 차지하는 비중이 커지고 있습니다. 관련해 인프라, 플랫폼 등에 대한 관심이 높습니다. AI 전략 수립에 있어 인프라와 플랫폼 사이에 위치하는 중요한 요소가 있습니다. 바로 운영체제입니다. AI 워크스테이션, 서버, 클러스터 등 규모와 관계없이 많은 조직이 운영체제로 레드햇 엔터프라이즈 리눅스(Red Hat Enterprise Linux, 이하 RHEL)를 고려합니다. 레드햇은 최근 거대 언어 모델(LLM) 기반 생성형 AI 수요 증가에 발맞춰 AI 환경을 위해 특별히 만든 운영체제인 RHEL AI를 제안하고 있습니다. RHEL와 RHEL AI는 무엇이 다를까요? LLM 프로젝트를 준비하고 있다면 왜 RHEL AI가 더 나은 선택일까요? 그 이유를 간단히 알아보겠습니다.

 

RHEL AI의 등장

 

RHEL AI는 올 해 열린 레드햇 서밋 2024에서 처음 등장했습니다. 당시 레드햇은 이 운영체제를 기업이 생성형 AI 모델을 더 원활하게 개발, 테스트, 실행할 수 있는 기반이라고 소개했습니다. 그렇다면 RHEL AI는 무엇이 달라 생성형 AI를 위한 기반이라고 할까요? 생성형 AI 프로젝트 추진에 필요한 핵심 요소를 사전에 최적화하여 탑재한 운영체제라 이해할 수 있습니다. RHEL AI를 생성형 AI를 위한 운영체제라 부르는 이유는 다음과 같이 세 가지로 요약할 수 있습니다.

 

• IBM의 오픈 소스 LLM 모델인 Granite
• IBM과 Red Hat이 시작한 LLM 관련 오픈 소스 도구인 InstructLab
• AI에 최적화된 부팅 가능한 RHEL 이미지

 

엔터프라이즈를 위한 AI 운영체제

 

하나하나 알아보겠습니다. 먼저 RHEL AI는 Granite 모델을 기본으로 제공합니다. Granite는 누구나 모델을 자유롭게 사용하고, 수정하고, 다른 사람과 공유할 수 있도록 아파치 2.0(Apache 2.0) 라이선스로 배포되는 오픈 소스 LLM입니다. Granite는 코드, 데이터 분석, 언어 번역 등 다양한 분야에서 활용할 수 있습니다. 여기서 궁금증이 떠오를 것입니다. GPT-J, BLOOM, LLaMA 등 다른 오픈 소스 LLM과 차별점은 무엇인가? 이 질문에 대한 답은 매우 명확합니다.

 

Granit는 모델 훈련에 사용한 데이터의 신뢰성와 투명성이 높습니다. 신중하게 선별된 데이터를 기반으로 학습되어 정확하고 안정적인 결과를 제공하며, 사용된 데이터와 모델에 대한 정보를 투명하게 공개합니다. 이런 특징을 종합해 보면 Granite가 엔터프라이즈 환경에 매우 잘 맞는 다는 것을 알 수 있습니다. 기업이 필요에 맞게 모델을 자유롭게 수정할 수 있으며, 파운데이션 모델 훈련에 사용한 데이터에 명확하다 보니 지적재산권 우려도 적습니다. 즉, 기업은 모델을 교육하는 데 사용된 데이터를 직접 확인할 수 있어 지적재산권 관련 법적 갈등이나 관련 문제의 위험을 줄일 수 있습니다. 

 

참고로 RHEL AI는 granite-7b-starter, granite-7b-redhat-lab, granite-8b-code-instruct, granite-8b-code-base, mixtral-8x7b-instruct-v0-1를 제공합니다.

 

다음으로 InstructLab은 IBM과 Red Hat이 함께 만든 오픈 소스 프로젝트로 누구나 쉽게 인공지능 모델을 만들고 사용할 수 있도록 돕는 것을 목표로 합니다. 쉽게 설명하자면 InstructLab은 LLM 모델을 원하는 방식으로 조금씩 바꿔서 사용할 수 있도록 미세 조정(Fine-tunning)을 할 수 있도록 도와주는 도구라고 할 수 있습니다. 주요 기능은 다음과 같습니다.

 

• 데이터 큐레이션: 모델 학습에 사용될 고품질 데이터를 선별하고 정제합니다.
• 합성 데이터 생성: 실제 데이터와 유사한 합성 데이터를 생성하여 모델 학습에 활용합니다.
• 모델 미세 조정: 기존 모델을 특정 작업이나 데이터셋에 맞게 미세 조정합니다.
• 모델 평가: 모델의 성능을 평가하고 개선 방향을 제시합니다.

 

InstructLab은 RHEL AI와 통합되어 Granite 모델을 쉽게 미세 조정할 수 있게 해줍니다. 이 도구를 활용하면 조직이 보유한 데이터를 바탕으로 특정 분야의 지식이나 기술을 갖춘 맞춤형 LLM을 편리하게 개발할 수 있습니다. 기업은 내부 데이터를 활용해 Granite 모델을 미세 조정한 후 Podman을 통해 이 모델을 컨테이너로 배포하고 API 엔드포인트를 만들 수 있습니다. 이를 통해 애플리케이션이 모델에 접근해 실시간 추론 서비스를 제공할 수 있습니다. 참고로 InstructLab에서 미세 조정한 모델에 RAG 기술을 사용하면 더욱 강력한 생성형 AI 기능을 애플리케이션이나 서비스에 적용할 수 있습니다.

 

마지막으로 부팅 가능한 RHEL 이미지에 대해 알아보겠습니다. RHEL AI는 PyTorch 같은 인기 있는 AI 라이브러리와 NVIDIA, Intel 및 AMD를 위한 하드웨어 최적화 가속기를 포함하는 RHEL의 부팅 가능한 이미지를 RHEL용 이미지 모드를 통해 제공합니다.

 

 

 

든든한 기술 지원은 기본

 

살펴본 바와 같이 RHEL AI는 기업의 생성형 AI 도입을 더 빠르고 효율적으로 돕기 위해 특별히 만든 운영체제입니다. AI를 위한 패키징 외에도 RHEL AI는 레드햇이 자랑하는 신뢰할 수 있는 엔터프라이즈 수준의 기술 지원을 제공합니다. RHEL AI를 더 자세히 알고 싶다면 락플레이스로 문의 바랍니다.