본문 바로가기

카테고리 없음

Redis와 FEAST를 활용한 AI/ML 피처 저장소 구축

 

요즘 AI/ML 프로젝트를 많은 조직이 추진 중입니다. AI 이니셔티브를 발표한 조직의 경우 여러 팀에서 다수의 프로젝트를 진행하는 경우도 많습니다. 보통 AI/ML 프로젝트 추진팀은 많은 도구를 씁니다. 이중 하나가 피처(feature) 저장소입니다. 일반적인 소프트웨어 개발처럼 AI/ML도 최근 추세는 오픈 소스 도구 활용 비중이 높습니다. 피처 저장소의 경우도 유명 프로젝트가 있죠. 바로 FEAST입니다.

 

FEAST가 사랑받는 이유

 

FEAST는 데이터 과학자들의 사랑을 받는 오픈 소스 기반 피처 저장소입니다. FEAST를 사용하면 AI/ML 모델 훈련부터 프로덕션 환경에서 추론을 하는 것까지 전체 모델 생명 주기에 걸쳐 동일한 데이터를 모델에 제공하여 편향을 제거하는 동시에 일관성을 보장할 수 있습니다. 또한, FEAST를 이용하면 데이터 과학자, 데이터 분석가, 애플리케이션 개발자로 구성된 AI/ML 팀 측면에서 데이터 엔지니어링 워크플로우를 표준화할 수 있는 이점도 있습니다.

FEAST와 가장 짝이 잘 맞는 Redis

 

최근 FEAST 블로그에 흥미로운 글이 하나 올라왔습니다. FEAST 플랫폼에 연계할 저장소 중 최선의 선택이 무엇일까? 이 질문에 대한 답을 찾기 위한 벤치마크 결과를 수행하였고, 그 결과를 소개한 글입니다. 벤치마크는 Amazon DynamoDB, Google Cloud Datastore, Redis, PostgreSQL를 대상으로 진행되었습니다.

 

평가는 Amazon DynamoDB, Google Cloud Datastore, Redis, PostgreSQL를 사용할 때 각각의 지연 시간을 측정하는 식으로 이루어졌습니다. 그리고 Java gRPC 서버, Python HTTP 서버, 람다 함수 등 다양한 조건 하에 진행되었습니다. 테스트 결과 Java gRPC 서버를 사용하고 Redis를 온라인 스토어로 이용할 때 FEAST의 성능이 가장 뛰어난 것으로 나타났습니다. Amazon DynamoDB, Google Cloud Datastore, Redis, PostgreSQL와의 비교 결과를 좀 자세히 볼까요. 단일 엔티티 기능 검색이 경우 Redis >> AWS DynamoDB > GCP Datastore 순으로 결과나 나왔습니다. 그리고 배치 기능 검색의 경우는 Redis ~= GCP Datastore >> AWS DanamoDB 순으로 순위가 갈렸습니다.

 

케이스 스터디

 

다음은 온라인 모기지 서비스를 제공하는 Better.comFEASTRedis를 기반으로 피처 저장소를 구축해 운영하는 예입니다. Better.comAI 모델을 구현해 이를 리드 스코어링 시스템에 적용하고 있는데요, 모델 훈련과 추론을 위한 플랫폼으로 Redis와 함께 FEAST를 사용하고 있습니다.

이상으로 FEAST를 이용할 때 Redis가 왜 최선의 선택인지 간단히 알아 보았습니다. 벤치마크 결과에 대한 상세 정보는 FEAST 블로그를 참조 바랍니다.

 

운영체제, 미들웨어, 데이터베이스, 마이그레이션(U2L, DB, WAS), 가상화, 클라우드 및 빅데이터 컨설팅 서비스 관련하여 궁금하신 점은 언제든 문의해 주시기 바랍니다. 아래 링크를 클릭해주세요.

 1:1 문의 바로가기 click

 락플레이스는 2005년에 출범하여 대한민국 리눅스의 역사와 성장을 함께 해온 18년차 오픈소스&클라우드 전문 기업으로 국내 최다 엔지니어, 국내 최고 기술력, 국내외 유수기업 컨설팅의 풍부한 경험과 탄탄한 기술력으로 고객의 성공적인 오픈소스 플랫폼 구축과 응용 프로그램 전체 범위의 서비스를 제공하고 있습니다. 락플레이스는 레드햇코리아로부터 Elite Business Associate/Advanced Business Parter/채널 어워드 한국  파트너/FY15 champion 등을 수상 파트너이며, Microsoft Microsoft Cloud Solution Partner(CSP)로서 함께하고 있습니다.