본문 바로가기

애저

(63)
애저 HDInsight 새소식, 아파치 스파크 2.3 지원됩니다! 스파크 기반 머신 러닝, IoT 등 활용 시나리오가 더욱 풍성 ~ *글 최초 발행일자: 2018.07.12* 마이크로소프트가 제공하는 매니지드 기반 빅 데이터 서비스인 애저 HDInsight가 아파치 스파크 2.3.0을 공식 지원합니다. 스파크 2.3.0 버전의 주요 개선 사항은 크게 세 가지입니다. 첫 번째는 파이썬 UDF를 이용하는 데이터 엔지니어는 10배에서 최대 100배까지 빨라진 데이터 처리 속도를 경험할 수 있다는 것입니다. 이에 따라 데이터 엔지니어는 스파크 기반 머신 러닝 환경에 텐서플로우 등의 프레임워크를 통합해 운영하기 좋아졌습니다. 흔히 머신 러닝 파이프라인이라고 하죠. 다음 그림 보면 이해가 쉬울 것입니다. 스파크 기반 머신 러닝 파이프라인에 각종 프레임워크를 연결해 써도 될 만큼 데이터 처리 속도가 좋아졌습니다. 두 번째 개선 사항은 비즈니스 분..
Azure Data Factory 버전 2 발표! 마우스 드래그앤드롭으로 70개가 넘는 소스에서 데이터 수집 및 통합 *글 최초 발행일자: 2018.06.28* 다양한 데이터 원천에서 데이터를 추출하고 변환해 적재하는 ETL 작업 ~ 참 손 많이 가는 일이죠. 클라우드에서는 이게 참 쉽습니다. 애저 환경의 경우 애저 데이터 팩토리(ADF) 기능을 지원하는데요, 최근 버전 2가 공식 발표되었습니다. ADF v2에 추가된 신 기능을 보면 '와우 ~' 소리가 좀 나옵니다. 데이터 원천을 지정하고, 정한 일정에 맞춰 데이터를 추출하고 변환해 통합하는 일련의 작업들이 정말 간단합니다. 여러 데이터 원천을 대상으로 ETL 작업을 하는 데이터 파이프라인을 이렇게 쉽게 그려도 되나 싶을 정도입니다. 간단히 주요 개선 사항을 보시죠. 첫 번째는 사용자 인터페이스(UI)입니다. 새로운 UI는 정말 직관적입니다. 데이터 소스를 지정하고 데..
SQL 서버를 위한 애저 백업 서비스 ~ 프리뷰부터 설레는 이유 *글 최초 발행일자: 2018.06.11* 데이터베이스 백업 ~ 관리자의 일상이죠. 장애나 재해가 발생했는데, 백업본이 없다면? 난감하죠. 있어도 할 일이 태산입니다. 데이터베이스는 그 위치가 사내에 있건, 공용 클라우드에 있건 늘 신경 써야 하는 중요한 일입니다. 관련해 마이크로소프트가 'Azure Backup for SQL Server on Azure' 프리뷰를 선보인 소식을 소개합니다. SQL Server on Azure 백업 어떻게 해야 할지 고민들 많았을 것입니다. 인프라를 따로 마련해 공용 클라우드에서 쓰는 데이터베이스 서비스를 백업받아야 하나? 아니면 클라우드 스토리지를 구독해 백업 작업을 해야 하나? 어느 기간 정도 디스크나 공용 클라우드나 스토리지에 저장해 두어야 하나? 복원 작업 관련해..
애저에서 MariaDB 쓰루풋 늘리기! 비트나미에게 감사를 ~ *글 최초 발행일자: 2018.03.29* 시스템 관리자나 애플리케이션 개발자에게 비트나미(Bitnami) 스택은 시간을 많이 절약해 주는 좋은 친구와도 같습니다. 일일이 다 깔아 설정해야 할 것을 하나만 깔면 되도록 해주는 비트나미 이용자가 많은데요, 오늘은 최근 애저 마켓플레이스에 올라온 따끈한 비트나미 신규 서비스인 'MariaDB with Replication'을 소개합니다. 비트나미가 제공하는 마리아DB 스택 ~ 이제 복제까지 지원 마리아DB는 따로 설명할 필요 없는 유명 오픈 소스 데이터베이스입니다. 비트나미는 세 가지 설치 패키지를 제공하는데요, 첫 번째는 클라우드이고, 두 번째는 컨테이너 배포, 세 번째는 로컬 설치입니다. 이중 클라우드 설치 관련해 비트나미는 마이크로소프트 애저, AWS,..
차이를 못 느껴야 진정한 하이브리드 - SQL Server 기반 애플리케이션을 옮겨 보니 확실히 느껴지는 Azure의 일관성 *글 최초 발행일자: 2018.03.29* 클라우드는 따로국밥 개념으로 접근하면 부담스럽습니다. 온프레미스 따로, 클라우드 따로, 하이브리드 따로... 이렇게 메뉴를 짜면 나중에 클라우드의 이점이 도대체 무엇인가? 이런 자조 섞인 한 마디를 뱉게 됩니다. 가장 이상적인 클라우드는 '차이를 못 느끼는 것' 입니다. 차이가 없어야 '일관성' 주장도 통한다! 클라우드 관련해 '일관성(Consistent)'이란 단어를 자주 들어 보셨을 겁니다. 쉬운 말로 온 프레미스, 하이브리드, 공용 어느 환경이건 차이가 없다는 뜻입니다. 차이가 없다는 것은 홍보 문구로 쓰기는 쉽지만, 기술적으로 사실 함부로 쓰기 어렵습니다. 일관성 보장한다고 말했다가, 책임 못 질 상황이 생기면 곤란하다 보니 엔지니어들은 자연스럽게 일관성..
Azure Database for PostgreSQL ~ 기다리지 말고 프리뷰부터 써보자! *글 최초 발행일자: 2018.03.29* 2017년 마이크로소프트 빌드 행사에서 Azure Database for PostgreSQL 프리뷰가 공개되었었죠. 오픈 소스 커뮤니티에서는 두 손 들여 반겼습니다. 애저 클라우드 환경에서 PostgreSQL을 더 편하게 쓸 수 있다는 데 마다할 이유가 뭐 있겠습니까. 발표 후 마이크로소프트가 PostgreSQL 커뮤니티와 긴밀히 협력하며 진도를 뽑고 있다고 하는데요, 대략 어느 방향으로 흘러가는지 함께 보며 애저에 PostgreSQL 올리는 계획 좀 잡아 보시죠. 커뮤니티 에디션 기반으로 작업 중.... 현재 마이크로소프트는 커뮤니티 에디션 기반으로 고가용성, 보안, 최소한의 타운타임을 통한 확장 등을 지원하는 Azure Database for PostgreS..
차이를 못 느껴야 진정한 하이브리드 - SQL Server 기반 애플리케이션을 옮겨 보니 확실히 느껴지는 Azure의 일관성 *글 최초 발행일자: 2018.03.29* 클라우드는 따로국밥 개념으로 접근하면 부담스럽습니다. 온프레미스 따로, 클라우드 따로, 하이브리드 따로... 이렇게 메뉴를 짜면 나중에 클라우드의 이점이 도대체 무엇인가? 이런 자조 섞인 한 마디를 뱉게 됩니다. 가장 이상적인 클라우드는 '차이를 못 느끼는 것' 입니다. 차이가 없어야 '일관성' 주장도 통한다! 클라우드 관련해 '일관성(Consistent)'이란 단어를 자주 들어 보셨을 겁니다. 쉬운 말로 온 프레미스, 하이브리드, 공용 어느 환경이건 차이가 없다는 뜻입니다. 차이가 없다는 것은 홍보 문구로 쓰기는 쉽지만, 기술적으로 사실 함부로 쓰기 어렵습니다. 일관성 보장한다고 말했다가, 책임 못 질 상황이 생기면 곤란하다 보니 엔지니어들은 자연스럽게 일관성..
Azure Database for PostgreSQL ~ 기다리지 말고 프리뷰부터 써보자! *글 최초 발행일자: 2018.03.29* 2017년 마이크로소프트 빌드 행사에서 Azure Database for PostgreSQL 프리뷰가 공개되었었죠. 오픈 소스 커뮤니티에서는 두 손 들여 반겼습니다. 애저 클라우드 환경에서 PostgreSQL을 더 편하게 쓸 수 있다는 데 마다할 이유가 뭐 있겠습니까. 발표 후 마이크로소프트가 PostgreSQL 커뮤니티와 긴밀히 협력하며 진도를 뽑고 있다고 하는데요, 대략 어느 방향으로 흘러가는지 함께 보며 애저에 PostgreSQL 올리는 계획 좀 잡아 보시죠. 커뮤니티 에디션 기반으로 작업 중.... 현재 마이크로소프트는 커뮤니티 에디션 기반으로 고가용성, 보안, 최소한의 타운타임을 통한 확장 등을 지원하는 Azure Database for PostgreS..