파이썬과 오픈소스 프로젝트를 이용한 데이터 공학의 A to Z!

 

그동안 딥러닝, 인공지능과 데이터 과학을 공부하면서 뭔가 빠진 게 있다고 느껴오셨다면,

그리고 데이터 공학자가 되고 싶지만 실무 경험을 쌓을 기회가 별로 없으셨다면 이 책이 큰 도움이 될 것입니다.

필요한 데이터를 수집하고 관리하는 측면(extract, transform, load: ETL)을 중점적으로 다루면서 
데이터 분석에 필요한 도구를 설치하는 것부터 사용 방법, 그리고 실제 업무에서 어떻게 써야 하는지에 대해서 잘 설명해 주는 책입니다.

 

책의 주요 내용을 간략하게나마 살펴보면 다음과 같습니다.

---

제1장 데이터 공학이란 무엇인가?는 데이터 공학이 데이터 과학 같은 다른 분야와 어떻게 연관되는지를 설명하면서 데이터 공학을 정의하고, 데이터 공학자의 역할과 임무, 필수기술을 소개합니다. 
제2장 데이터 공학 기반구조 구축은 이 책 전체에 쓰이는 도구들을 설치하고 설정하는 방법을 설명합니다. 
제3장 파일 읽고 쓰기는 파이썬과 NiFi 데이터 파이프라인에서 파일을 읽고 쓰는 방법을 설명하고, NiFi 데이터 파이프라인도 소개합니다. 
제4장 데이터베이스 다루기는 SQL 데이터베이스와 NoSQL 데이터베이스의 기초를 설명합니다.
제5장 데이터의 정제, 변환, 증강은 파일 또는 데이터베이스에서 가져온 데이터를 이용해서 기본적인 탐색적 데이터 분석(exploratory data analysis: EDA)을 수행하는 방법을 설명합니다. 
제6장 실습 프로젝트: 311 데이터 파이프라인 만들기에서는 완결적인 데이터 파이프라인을 실제로 만들어 봅니다.
제7장 실무용 데이터 파이프라인의 특징은 실무에 맞는 데이터 파이프라인을 만드는 데 필요한 사항들을 설명합니다.
제8장 NiFi 레지스트리를 이용한 버전 관리는 데이터 파이프라인의 버전 관리 방법을 설명합니다. 
제9장 데이터 파이프라인 모니터링은 데이터 파이프라인 모니터링 및 로깅의 기초를 설명합니다.
제10장 데이터 파이프라인 배치는 시험 환경과 실무 환경에서 NiFi 데이터 파이프라인을 구축하고 검사하는 방법 하나를 제안합니다.
제11장 실습 프로젝트: 실무용 데이터 파이프라인 구축은 실무용 데이터 파이프라인을 구축하는 방법을 설명합니다. 

제12장 아파치 카프카 클러스터 구축은 3노드 아파치 카프카(Apache Kafka) 클러스터를 설치하고 설정하는 방법을 설명하고, 카프카의 기본 개념인 스트림, 토픽, 생산자·소비자를 소개합니다.
제13장 카프카를 이용한 데이터 스트리밍은 카프카 토픽에 메시지들을 추가하고(생산) 읽는(소비) 방법을 설명합니다. 
제14장 아파치 스파크를 이용한 데이터 처리는 3노드 아파치 스파크 클러스터를 설치하고 설정하는 과정을 설명합니다. 
제15장 MiNiFi, 카프카, 스파크를 이용한 실시간 엣지 데이터 처리는 사물 인터넷(IoT) 기기 같은 저사양 장치에서 NiFi 데이터 파이프라인을 실행하기 위해 만들어진 MiNiFi라는 프로젝트를 소개하고, MiNiFi에서 NiFi로 데이터를 보내는 데이터 파이프라인을 구축해 봅니다. 
부록 A NiFi 클러스터 구축은 아파치 NiFi의 기본적인 클러스터화 방법을 설명합니다. 

---

책은 7월 21일에 출간될 예정인데, 예약 판매 기간에 구입하시는 분은 아마 그전에 받을 수 있지 않을까 싶습니다. 책 내용이 궁금하신 분들은 아래의 HTML 기반의 미리 보기와 샘플 PDF를 참고해 주시기 바랍니다.

 

■ 샘플 PDF(표지, 차례, 옮긴이 머리말, 이 책에 대하여, 감수자 소개, 베타리더 후기, 1장 '데이터 공학이란?', 2장 '데이터 공학 기반구조 구축' 일부, 11장 '실습 프로젝트: 실무용 데이터 파이프라인 구축' 일부)

 

 

실무예제로배우는데이터공학-sample.pdf

4.34MB

 

■ 도서구매 사이트(가나다순)  

[교보문고]  [도서11번가]  [알라딘]  [예스이십사]  [인터파크]

 

■ 제이펍 소식 더 보기(제이펍의 소통 채널에서 더욱 다양한 소식을 확인하세요!)

네이버 책  포스트  유튜브  인스타그램  트위터  페이스북