로컬에서 직접 빅데이터 서비스를 구현하고 싶다면...

2016년 3월, 바둑의 경우의 수가 무한대이므로 컴퓨터가 프로 바둑 기사를 이기는 것은 불가능하다는 통설을 뒤집고, 알파고가 4승 1패로 이세돌 기사를 이긴 사건은 우리에게 이미 유명합니다.

이 사건에서 단순히 그 승패가 아니라 알파고가 학습한 약 3천만 개의 기보, 즉 학습용 빅데이터를 어떻게 생성하고 관리하여 머신러닝에 학습시키는지에 대해 주목하는 한편으로, 인공지능에 절대적으로 필요한 데이터에 대한 관심은 상대적으로 적다는 문제 제기에서 시작하여 빅데이터에 대한 통찰력과 그 사용 기술들을 소개하고자 하는 책이 곧 출간됩니다.

 

 

빅데이터의 특징으로 알려진 7V(원래 3V(Variety, Volume, Velocity)만 있다가 추가됨)

빅데이터 7V 특징을 단순 나열에 그치지 않고 그 관계를 나타낸 그림(본문 3쪽)

 

이를 위해 이 책은 빅데이터의 데이터 파이프라이닝 전반(HDFS, 카프카, 스파크, RDB의 MySQL과 NoSQL의 MongoDB 등)을 다루며, OS는 윈도우/우분투로, 프로그래밍 언어는 자바/파이썬으로 나눠서 하나하나 친절하게 설명하고 있습니다.

 

사실 AWS, 마이크로소프트의 Azure, Google Cloud Platform, 알리바바 클라우드, 
그리고 국내 네이버와 KT의 클라우드 같은 서비스 벤더의 클라우드 서비스에서는 
우리가 구현하고자 하는 이런 서비스를 모듈별로 이미 제공하고 있습니다. 번거롭게 구현하는 것보다 클라우드의 본질에 맞게 서비스를 구입하여 사용한 것만큼의 비용을 지불하면 됩니다.
하지만 이 책은 작은 규모나마 직접 빅데이터 서비스를 구현함으로써 독자들이 서비스 아키텍처에 대한 이해와 통찰력을 얻는 데 목표를 두고 있습니다. 클라우드 서비스에서 각각의 서비스 모듈을 구입하여 사용하더라도 그 모듈의 기능과 내재된 아키텍처를 이해한다면 더욱 클라우드 서비스를
효율적으로 구축하고 사용할 수 있을 것입니다...

__머리말 중에서

 

 

주요 내용
￭ 빅데이터 오픈소스의 내부 아키텍처와 각종 기능의 API에 대한 고찰 없이 클라우드에서 제공하는 서비스를 사용만 했다면, 이제 여러분의 로컬 환경에서 이런 서비스를 직접 구현하여 빅데이터 서비스의 구조와 기능에 대한 넓은 경험과 통찰력을 얻을 수 있다.
￭ 자바와 파이썬 API를 모두 제공하여 자바의 객체지향적 프로그래밍과 스크립트 언어인 파이썬의 간결하고 파이썬다운(Pythonic) 코딩을 경험할 수 있으며, 윈도우와 리눅스 모두에서 폭넓게 시스템을 구축한다.
￭ 각 서비스의 끝단을 연동하여 파이프라인을 구현함으로써 하둡, 카프카, 아파치 스파크로 이어지는 데이터 가공과 변환, MySQL, 몽고디비 적재에 대한 기술 지식과 구현 노하우를 익힐 수 있다.

 

대상 독자
￭ 다양한 분야에서 자바와 파이썬을 공부하려는 소프트웨어 전공 학생 및 취준생
￭ 빅데이터 분야에 관심을 갖고 첫발을 디디려는 현업 개발자 및 직장인
￭ 빅데이터 클라우드 구축에 필요한 통찰력을 얻으려는 사내 클라우드 담당자

 

 

■ 미리 보기(앞부속, 1장 '빅데이터 개론', 2장 '개발 통합 환경', 6장 '아파치 스파크 배치 작업 I' 일부)

 

 

■ 예약구매 사이트(가나다순)

교보문고 / 도서11번가 / 알라딘 / 예스이십사 / 인터파크 / 쿠팡

 

■ 제이펍 소식 더 보기(제이펍의 소통 채널에서 더욱 다양한 소식을 확인하세요!)

네이버 포스트 / 유튜브 / 인스타그램 / 트위터 / 페이스북