본문 바로가기

도서 소개

카프카 핵심 가이드: 실시간 데이터와 스트림 프로세싱

이 책은 현재 절판입니다. 그간 읽어주신 분들께 감사드립니다.

 

카프카를 개발한 컨플루언트와 링크드인의 엔지니어들이 직접 저술한 카프카 구축과 운영 핵심 실무서!

 

출판사 제이펍

저작권사 오라일리(O’Reilly)

원서명 Kafka: The Definitive Guide(원서 ISBN: 9781491936160)

저자명 네하 나크헤데, 그웬 샤피라, 토드 팔리노

역자명 심재철

출판일 2018년 10월 25일

페이지 356쪽

시리즈 (없음)

판 형 46배판 변형(188*245*17)

제 본 무선(soft cover)

정 가 29,000원

ISBN 979-11-88621-33-0 (93000)

키워드 카프카 / 아파치 / 데이터베이스 / 빅 데이터 / 홈브루 / 오프셋 / 메트릭

분야 데이터베이스 / 빅 데이터

 

관련 사이트

저작권사 도서소개 페이지

아마존 도서소개 페이지

카프카 공식 사이트

 

관련 포스트

2018/10/15 - [출간전 책소식] - 카프카를 만든 컨플루언트와 링크드인의 엔지니어들이 직접 저술한 카프카 서적!

 

관련 시리즈

■ (없음)

 

관련 도서

■ (없음)

 

관련 파일 다운로드

■ (없음)

 

 

강의보조 자료

교재로 채택하신 분들은 메일을 보내주시면 아래의 자료를 보내드리겠습니다: jeipubmarketer@gmail.com

■ 본문의 그림과 표

 

샘플 PDF

(차례, 추천사, 머리말, 베타리더 후기, 베타리더 후기, 1장 '카프카 훑어보기' 전체, 4장 '카프카 컨슈머: 카프카에서 데이터 읽기' 일부, 7장 '데이터 파이프라인 구축하기' 일부)

카프카핵심가이드_sample.pdf
다운로드

 

정오표 페이지

https://jpub.tistory.com/982

 

도서구매 사이트(가나다순)

[강컴] [교보문고] [도서11번가] [반디앤루니스] [알라딘] [예스이십사] [인터파크]

 

도서 소개

카프카를 개발한 컨플루언트와 링크드인의 엔지니어들이 직접 저술한 카프카 구축과 운영 핵심 실무서!

 

모든 기업의 애플리케이션은 데이터를 생성하며, 데이터는 로그 메시지, 메트릭, 사용자 액티비티 등 여러 가지가 있다. 그리고 이런 모든 데이터를 이동시키는 방법이 데이터 자체만큼이나 중요하다. 만약 여러분이 실시간 데이터 전달을 처리하는 스트리밍 플랫폼인 아파치 카프카를 처음 접하는 개발자라면, 이 책이 여러분을 초보자에서 전문가로 이끌어 줄 것이다.

 

이 책은 아파치 카프카를 개발한 컨플루언트와 링크드인의 엔지니어들이 저술하였으며, 아파치 카프카를 실제 업무에 사용하는 데 필요한 모든 핵심 사항을 알려준다. 따라서 이 책의 내용을 잘 숙지하며 학습하다 보면, 어느덧 데이터 파이프라인/스트리밍 분야의 전문가가 되어 있는 자신을 발견할 것이다.

 

이 책의 주요 내용

  • 데이터 파이프라인 시스템 및 카프카의 핵심 개념을 이해하고, 카프카를 설치하고 구성하는 방법을 배운다.
  • 카프카 프로듀서와 컨슈머를 생성하고 구성하는 데 필요한 핵심 개념과 방법을 배운다.
  • 카프카의 원활한 실무 사용에 도움이 될 핵심적인 내부 메커니즘을 이해한다.
  • 카프카로 데이터 파이프라인/통합 시스템을 구축하는 데 필요한 핵심 개념과 카프카 커넥트의 사용법을 배운다.
  • 카프카로 데이터 미러링을 구현하는 방법을 배운다.
  • 카프카 시스템을 운영 및 관리하는 방법을 배운다.
  • 카프카 시스템의 메트릭을 이해하고 모니터링하는 방법을 배운다.
  • 스트림 프로세싱 시스템의 핵심 개념과 카프카 스트림을 사용해서 구현하는 방법을 배운다.

 

지은이 소개

네하 나크헤데(Neha Narkhede)

현재 아파치 카프카를 전문으로 서비스하는 컨플루언트(Confluent)의 공동 창업자이자 CTO다. 이전에는 링크드인(Linkedln)에서 아파치 카프카와 삼자(Samza) 기반의 스트리밍 기반 인프라스트럭처 구축을 담당하였다. 또한 대규모 분산 시스템 구축 및 확장 전문가이며, 아파치 카프카 초기 개발자 중 한 사람이다. 과거에는 오라클에서 데이터베이스 검색 관련 일을 하였으며, 조지아 공과대학교의 컴퓨터공학 석사 학위를 갖고 있다.

 

그웬 샤피라(Gwen Shapira)

컨플루언트의 제품 담당 책임자이자 아파치 카프카 프로젝트의 PMC 멤버다. 아파치 플룸(Flume)과의 통합에 공헌하였고, 아파치 스쿱(Sqoop)의 커미터이기도 하다. 15년간의 확장 가능한 데이터 아키텍처 구축 경험이 있으며, 이전에는 클라우데라(Cloudera)의 소프트웨어 엔지니어, Pythian의 선임 컨설턴트, 오라클 ACE 이사, NoCOUG의 임원을 역임하였다.

토드 팔리노(Todd Palino)

링크드인의 수석 엔지니어이며, 링크드인에 대규모로 구축된 아파치 카프카와 주키퍼 및 삼자 시스템의 운영 및 유지 관리를 맡고 있다. 또한 모니터링 시스템의 생성을 포함해서 아키텍처, 시스템 운영, 도구 개발 책임도 담당하고 있으며, 오픈 소스 프로젝트 버로우와 카프카 컨슈머 모니터링 도구의 개발자이기도 하다.

 

옮긴이 소개

심재철

현재 프리랜서로, 데이터베이스/모바일 시스템 컨설팅과 강의를 하고 있다. 또한, 20년 넘게 데이터베이스와 객체지향 시스템 설계 및 개발 프로젝트와 건설/금융 분야 애플리케이션 개발 등에 참여했다. 새로운 테크놀로지와 다양한 프로그래밍 언어를 사용해서 실무에 활용하고 가르치는 것을 좋아한다. 저서로는 《핵심만 골라 배우는 코틀린 프로그래밍》이 있으며, 번역서로는 《핵심만 골라 배우는 안드로이드 스튜디오 3 & 프로그래밍》, 《실무에 적용하는 안드로이드 프로그래밍(제2판)》, 《Learn Android Studio》, 《SQLite 마스터북(제2판)》, 《프로 오브젝티브-C 디자인 패턴》, 《세븐 데이터베이스: 만들면서 파악하는 NoSQL》, 《UML 사용자 지침서》, 《Thinking in JAVA 4/e》, 《이펙티브 자바》 등이 있다.

 

차례

CHAPTER 1 카프카 훑어보기 __1

메시지 발행과 구독하기 ...... 2

카프카 살펴보기 ...... 4

카프카를 사용하는 이유 ...... 10

데이터 생태계 ...... 12

카프카의 기원 ...... 15

카프카 시작하기 ...... 17

더보기

CHAPTER 2 카프카 설치와 구성하기 __ 19

제일 먼저 할 일 ...... 19

카프카 브로커 설치하기 ...... 23

브로커 구성 ...... 25

하드웨어 선택 ...... 31

클라우드에서 카프카 사용하기 ...... 33

카프카 클러스터 ...... 34

실제 업무 사용 시 고려사항 ...... 40

요약 ...... 43

CHAPTER 3 카프카 프로듀서: 카프카에 메시지 쓰기 __ 45

프로듀서 개요 ...... 46

카프카 프로듀서 구성하기 ...... 48

카프카에 메시지 전송하기 ...... 51

프로듀서 구성하기 ...... 54

직렬처리기 ...... 58

파티션 ...... 66

구버전의 프로듀서 API들 ...... 69

요약 ...... 69

CHAPTER 4 카프카 컨슈머: 카프카에서 데이터 읽기 __ 71

카프카 컨슈머의 중요 개념 ...... 71

카프카 컨슈머 생성하기 ...... 77

토픽 구독하기 ...... 78

폴링 루프 ...... 79

컨슈머 구성하기 ...... 81

커밋과 오프셋 ...... 85

리밸런싱 리스너 ...... 92

특정 오프셋을 사용해서 레코드 소비하기 ...... 95

어떻게 폴링 루프를 벗어나야 할까? ...... 98

역직렬처리기 ...... 100

독자 실행 컨슈머: 그룹 없이 하나의 컨슈머만 사용하는 이유와 방법 ...... 104

구버전의 컨슈머 API들 ...... 105

요약 ...... 106

CHAPTER 5 카프카 내부 메커니즘 __ 107

클러스터 멤버십 ...... 107

컨트롤러 ...... 109

복제 ...... 110

요청 처리 ...... 112

스토리지 ...... 120

요약 ...... 128

CHAPTER 6 신뢰성 있는 데이터 전달 __ 129

신뢰성 보장 ...... 130

복제 ...... 131

브로커 구성 ...... 132

신뢰성 있는 시스템에서 프로듀서 사용하기 ...... 137

신뢰성 있는 시스템에서 컨슈머 사용하기 ...... 141

시스템 신뢰성 검사하기 ...... 146

요약 ...... 149

CHAPTER 7 데이터 파이프라인 구축하기 __ 151

데이터 파이프라인 구축 시 고려사항 ...... 152

카프카 커넥트 vs. 프로듀서/컨슈머 ...... 158

카프카 커넥트 ...... 159

카프카 커넥트의 대안 ...... 175

요약 ...... 176

CHAPTER 8 크로스 클러스터 데이터 미러링 __ 179

크로스 클러스터 미러링의 이용 사례 ...... 180

다중 클러스터 아키텍처 ...... 181

아파치 카프카의 미러메이커 ...... 194

다른 크로스 클러스터 미러링 솔루션 ...... 204

요약 ...... 207

CHAPTER 9 카프카 관리하기 __ 209

토픽 작업 ...... 209

컨슈머 그룹 ...... 215

동적 구성 변경 ...... 220

파티션 관리 ...... 224

메시지 읽기와 쓰기 도구 ...... 233

클라이언트 ACL ...... 240

안전하지 않은 작업 ......

요약 ...... 243

CHAPTER 10 카프카 모니터링 __ 245

메트릭 개요 ...... 245

카프카 브로커 메트릭 ...... 248

클라이언트 모니터링 ...... 270

지연 모니터링 ...... 278

End-to-End 모니터링 ...... 279

요약 ...... 280

CHAPTER 11 스트림 프로세싱 __ 281

스트림 프로세싱이란? ...... 282

스트림 프로세싱 개념 ...... 285

스트림 프로세싱 디자인 패턴 ...... 291

카프카 스트림즈 사용 예 ...... 300

카프카 스트림즈: 아키텍처 오버뷰 ...... 309

스트림 프로세싱 이용 사례 ...... 313

스트림 프로세싱 프레임워크 선택하기 ...... 315

요약 ...... 316

APPENDIX 다른 운영체제에 카프카 설치하기 __ 317

윈도우 시스템에 설치하기 ...... 317

맥OS에 설치하기 ...... 322