러닝 스파크: 번개같이 빠른 데이터 분석

 

개정판이 출간되었습니다. https://jpub.tistory.com/1291

그동안 읽어주신 분들께 감사드립니다. 이 책은 현재 절판되었습니다.

창시자와 커미터가 직접 저술한 스파크 입문서!

 

출판사 제이펍

원출판사 O’Reilly Media

원서명 Learning Spark: Lightning-Fast Big Data Analysis(원서 ISBN: 9781449358624)

저자명 홀든 카로, 앤디 콘빈스키, 패트릭 웬델, 마테이 자하리아

역자명 박종영

출판일 2015년 10월 15일

페이지 336쪽

시리즈 I♥Cloud 10 (아이러브클라우드 10)

판 형 (188*245*22)

제 본 무선(soft cover)

정 가 24,000원

ISBN 979-11-85890-33-3 (93000)

키워드 클라우드 / 아파치 / 하둡 / 스파크 / 데이터 분석 / 클라스터 / SQL

분야 데이터베이스 / 빅데이터

관련 사이트

■ 아마존 도서소개 페이지

■ 원출판사 도서소개 페이지

 

관련 포스트

■ 2015/10/05 - [출간전 책소식] - 스파크 창시자와 커미터들이 직접 저술한 스파크 입문서!

 

관련 시리즈

■ I♥Cloud(아이러브클라우드)

 

관련 도서

■ 빅 데이터 시대의 하둡 완벽 입문(제2판)

■ 스칼라로 배우는 함수형 프로그래밍

■ 데이터 과학자, 무엇을 배울 것인가

■ 빅 데이터, 어떻게 활용할 것인가

 

관련 파일 다운로드

■ 예제 코드

 

 

강의보조 자료

교재로 채택하신 분들은 메일을 보내주시면 아래의 자료를 보내드리겠습니다: jeipubmarketer@gmail.com

■ 본문의 그림과 표

 

샘플 PDF(차례, 옮긴이 머리말,이 책에 대하여, 저자 소개, 베타리더 후기, 1장 스파크를 이용한 데이터 분석 소개, 2장 스파크 맛보기)

러닝스파크_sample.pdf

다운로드

 

정오표 페이지

■ http://jpub.tistory.com/746?category=209690

 

도서구매 사이트(가나다순)

[강컴] [교보문고] [도서11번가] [반디앤루니스] [알라딘] [예스이십사] [인터파크]

도서 소개

창시자와 커미터가 직접 저술한 스파크 입문서 !

모든 분야에서 데이터는 점점 많아지고 있다. 어떻게 그 엄청난 데이터를 효과적으로 다룰 것인가? 이 책은 데이터 분석 작업을 빠르게 작성하고 실행하게 해 주는 오픈 소스 클러스터 컴퓨팅 시스템인 스파크를 소개한다. 스파크에서 파이썬, 자바, 스칼라로 제공되는 간단한 API들을 써서 방대한 데이터세트를 가볍게 처리할 수 있다.

스파크를 만든 사람들이 쓴 이 책은 데이터 과학자들이나 엔지니어들이 곧바로 스파크를 쓸 수 있게 해 줄 것이다. 이 책을 통해 병렬 작업들을 코드 몇 라인으로만 실행하는 방법과 단순한 배치 프로그램부터 스트림 처리나 머신 러닝까지 다루는 프로그램의 제작 방법을 배울 수 있다.

■ 분산 데이터세트, 메모리 기반 캐싱, 대화형 셸 같은 스파크의 특징들을 빠르게 파고든다

■ 스파크 SQL, 스파크 스트리밍, MLlib 같은 스파크의 강력한 내장 라이브러리를 효과적으로 쓸 수 있다

■ 하이브, 하둡, 머하웃, 스톰 등 여러 도구를 혼용하고 연동하는 대신, 일관된 프로그래밍 개념을 사용한다

■ 대화형, 배치, 스트리밍 애플리케이션들을 서버에 올리는 방법을 배운다

■ HDFS, 하이브, JSON, S3 같은 데이터 소스에 연결할 수 있다

■ 데이터 파티셔닝이나 공유 변수 같은 고급 개념들을 익힌다

추천사

《러닝 스파크》는 빅데이터 애플리케이션을 구축해 주는 가장 인기 있는 프레임워크 입문서를 찾는 사람들에게 내가 가장 추천하는 책이다.

_벤 로리카(Ben Lorica), 오라일리 미디어 수석 데이터 과학자

지은이 소개

홀든 카로(Holden Karau)

데이터브릭스(Databricks)의 소프트웨어 개발 엔지니어이며, 오픈 소스에서 활발하게 활동 중이다. 그녀는 초기 스파크 책의 저자이기도 하다. 데이터브릭스 이전에는 구글(Google), 포스퀘어(Foursqare), 아마존(Amazon) 같은 회사들에서 다양한 검색 및 분류에 관련된 일을 하였다. 그녀는 워털루 대학(University of Waterloo)을 졸업하면서 컴퓨터 과학/수학 학사학위를 취득했다. 소프트웨어 외에는 사격, 용접, 훌라후프를 즐긴다.

앤디 콘빈스키(Andy Konwinski)

데이터브릭스의 공동 창업자이다. 박사과정으로 재학하다가 UC 버클리(Berkeley)의 AMPLab에서 박사 후 과정을 수행하며 대용량 분산 컴퓨팅과 클러스터 스케줄링에 대해 연구했다. 그는 아파치 메소스(Apache Mesos) 프로젝트의 공동 창시자이며 커미터이다. 또한, 구글에서 차세대 클러스터 스케줄링 시스템인 오메가(Omega)를 설계하며 시스템 엔지니어들 및 연구원들과 일하였다. 최근에는 AMP 캠프 빅데이터 부트캠프와 스파크 서밋을 주최하고 이끌고 있으며, 스파크 프로젝트에도 공헌하고 있다.

패트릭 웬델(Patrick Wendell)

데이터브릭스의 공동 창업자이며 스파크 커미터이자 PMC 멤버이다. 스파크 프로젝트에서 스파크 1.0을 포함해 여러 버전의 릴리스 관리자로 활동해 왔다. 패트릭은 또 스파크 코어 엔진의 여러 하부 시스템을 유지 관리하고 있다. 데이터브릭스 창업 이전에 UC 버클리에서 컴퓨터 과학 석사학위를 취득하였다. 그의 연구 분야는 대용량 분석의 워크로드에 대해 빠른 응답성을 보이는 스케줄링에 대한 것이었다. 프린스턴 대학(Princeton University)에서 컴퓨터 과학 교육 학사학위를 받기도 했다.

마테이 자하리아(Matei Zaharia)

아파치 스파크의 창시자이자 데이터브릭스의 최고기술경영자(CTO)이다. UC 버클리에서 박사학위를 받았으며, 이때 연구 프로젝트로 스파크를 시작했다. 현재는 아파치의 부사장이기도 하다. 스파크 외에도 클러스터 컴퓨팅 분야에서의 연구와 다른 프로젝트들에서 오픈 소스 공헌을 하였는데, 그중에는 아파치 하둡(커미터로 활동)이나 아파치 메소스(프로젝트 시작에 관여) 등이 있다.

옮긴이 소개

박종영

한국 오라클, 세븐 네트웍스 코리아 등의 회사에서 DBMS 엔진 및 푸시 메시징 엔진 등의 개발 경험을 갖고 있으며, 현재는 빅데이터 전문회사인 그루터(http://www.gruter.com/)에서 아파치 타조(http://tajo.apache.org/) 개발에 매진하고 있다.

차례

Chapter 1 스파크를 이용한 데이터 분석 소개 _ 1

아파치 스파크란 무엇인가? _ 1

통합된 구성 _ 2

스파크는 누가, 무엇을 위해 사용할까? _ 5

스파크의 간략한 역사 _ 8

스파크의 버전과 릴리스 _ 9

스파크의 저장소 계층 _ 9

Chapter 2 스파크 맛보기 _ 11

스파크 다운로드하기 _ 11

스파크의 파이썬 셸과 스칼라 셸 소개 _ 13

스파크의 핵심 개념 소개 _ 18

단독 애플리케이션 _ 21

요약 _ 27

Chapter 3 RDD로 프로그래밍하기 _ 29

RDD 기초 _ 29

RDD 생성하기 _ 32

RDD의 연산 _ 34

스파크에 함수 전달하기 _ 38

많이 쓰이는 트랜스포메이션과 액션 _ 43

영속화(캐싱) _ 55

요약 _ 57

Chapter 4 키/값 페어로 작업하기 _ 59

배경 _ 60

페어 RDD 생성 _ 60

페어 RDD의 트랜스포메이션 _ 61

페어 RDD에서 쓸 수 있는 액션 _ 74

데이터 파티셔닝(고급) _ 75

요약 _ 86

Chapter 5 데이터 불러오기/저장하기 _ 87

배경 _ 87

파일 포맷 _ 88

파일 시스템 _ 109

스파크 SQL로 구조화 데이터 다루기 _ 111

데이터베이스 _ 114

요약 _ 120

Chapter 6 고급 스파크 프로그래밍 _ 121

소개 _ 121

어큐뮬레이터 _ 122

브로드캐스트 변수 _ 127

파티션별로 작업하기 _ 131

외부 프로그램과 파이프로 연결하기 _ 134

수치 RDD 연산들 _ 138

요약 _ 140

Chapter 7 클러스터에서 운영하기 _ 141

소개 _ 141

스파크 실행 구조 _ 142

spark-submit을 써서 애플리케이션 배포하기 _ 145

사용자 코드와 의존성 라이브러리 패키징하기 _ 148

스파크 애플리케이션 간의 스케줄링 _ 155

클러스터 매니저 _ 155

어떤 클러스터 매니저를 써야 할까? _ 167

요약 _ 167

Chapter 8 스파크 최적화 및 디버깅 _ 169

SparkConf로 스파크 설정하기 _ 169

실행을 구성하는 것: 작업, 태스크, 작업 단계 _ 174

정보 찾기 _ 180

성능에 관한 핵심 고려 사항 _ 185

요약 _ 191

Chapter 9 스파크 SQL _ 193

스파크 SQL 라이브러리 링크 _ 195

애플리케이션에서 스파크 SQL 사용하기 _ 197

데이터 불러오고 저장하기 _ 205

JDBC/ODBC 서버 _ 212

사용자 정의 함수 _ 216

스파크 SQL 성능 _ 218

요약 _ 221

Chapter 10 스파크 스트리밍 _ 223

간단한 예제 _ 224

아키텍처와 추상 개념 _ 227

트랜스포메이션 _ 232

출력 연산 _ 241

입력 소스 _ 243

24/7 운영 _ 252

스트리밍 UI _ 257

성능 고려 사항 _ 258

요약 _ 260

Chapter 11 MLlib로 해 보는 머신 러닝 _ 261

개요 _ 262

시스템 요구 사항 _ 263

머신 러닝의 기초 _ 263

데이터 타입 _ 268

알고리즘 _ 271

팁과 성능 고려 사항 _ 287

파이프라인 API _ 289

요약 _ 291

찾아보기 _ 292