심층 강화학습 인 액션

심층 강화학습 인 액션

프로젝트로 배우는 심층 강화학습의 이론과 실제!

 

도서구매 사이트(가나다순)

[교보문고] [도서11번가] [알라딘] [예스이십사] [인터파크] [쿠팡]

전자책 구매 사이트(가나다순)

[교보문고] [구글북스] [리디북스] [알라딘] [예스이십사] [인터파크]

출판사 제이펍
저작권사 Manning
원서명 Deep Reinforcement Learning in Action (ISBN 9781617295430)
도서명 심층 강화학습 인 액션
부 제 기본 개념부터 파이썬 기반의 최신 알고리즘 구현까지
지은이 알렉스 짜이, 브랜던 브라운
옮긴이 류광
감수자 (없음)
시리즈 I♥A.I. 29(제이펍의 인공지능 시리즈 29)
출판일 2020년 11월 17일
페이지 440쪽
판 형 46배판변형(188*245*21.5)
제 본 무선(soft cover)
정 가 30,000원
ISBN 979-11-90665-61-2 (93000)
키워드 인공지능 / 머신러닝 / 딥러닝 / 강화학습 / 심층 강화학습 / 파이썬 / 머신러닝 알고리즘 /
분 야 인공지능 / 강화학습

 

관련 사이트
■ 저작권사 도서소개 페이지
■ 아마존 도서 소개 페이지

관련 포스트
■ 2020/11/04 - [출간 전 책 소식] - 이론과 예제가 균형 잡힌, 제대로 만든 '심층 강화학습' 서적!

관련 시리즈
■ I♥A.I. 시리즈(제이펍의 인공지능 시리즈)

관련 도서
■ 위의 시리즈 참고

관련 파일 다운로드
■ 예제 코드

 

샘플 PDF(차례, 옮긴이 머리말, 머리말, 감사의 글, 이 책에 대하여, 저자 소개, 표지 그림 소개, 베타리더 후기, 1장 '강화학습이란?' 일부, 3장 '더 나은 동작의 선택: 심층 Q 신경망(DQN)' 일부, 6장 '다른 최적화 방법: 진화 알고리즘' 일부, 9장 '다중 에이전트 강화학습' 일부)

심층강화학습인액션_sample.pdf

3.35MB

정오표 페이지
■ (등록되는 대로 링크를 걸어 드리겠습니다)

도서구매 사이트(가나다순)

[교보문고] [도서11번가] [알라딘] [예스이십사] [인터파크] [쿠팡]

전자책 구매 사이트(가나다순)

[교보문고] [구글북스] [리디북스] [알라딘] [예스이십사] [인터파크]

도서 소개

프로젝트로 배우는 심층 강화학습의 이론과 실제!

심층 강화학습 시스템은 새로운 환경에 빠르게 적응한다. 이러한 능력은 기존의 표준적인 신경망에 비해 커다란 진보에 해당한다. 사람이 뭔가를 배우는 과정과 비슷하게, 심층 강화학습 에이전트는 감각 정보에 해당하는 원본 데이터를 입력받고 시행착오를 거쳐서 자신의 반응과 예측을 정련해 나간다.

이 책 《심층 강화학습 인 액션》은 환경이 제공하는 직접적인 피드백에 기반해서 환경에 적응하고 자신을 개선해 나가는 에이전트의 구현 방법을 설명한다. 흐름이 있는 하나의 강좌 형태로 구성된 이 책에서 여러분은 심층 강화학습의 기본 기법과 고급 기법을 미로 탈출이나 비디오 게임 플레이 같은 흥미로운 예제를 통해서 배우게 된다. 그 과정에서 심층 Q 신경망과 정책 기울기 방법을 포함한 여러 핵심 알고리즘을 익힐 수 있고, PyTorch와 OpenAI Gym 같은 업계 표준에 해당하는 라이브러리에도 익숙해질 것이다.

이 책의 주요 내용
■ 심층 강화학습 에이전트의 구축과 훈련
■ 학습과 문제 해결에 가장 널리 쓰이는 심층 강화학습 알고리즘
■ 진화 알고리즘, 호기심 기반 학습, 다중 에이전트 학습 등의 고급 주제
■ 실행 가능한 파이썬 예제 코드

 

추천사
“상세한 강화학습 입문서. 재미있을 뿐만 아니라 현업의 주요 내용을 망라한다.”
━ PharmaTrace의 헬무트 하우실트

“심층 강화학습을 마스터하려는 모든 이의 필독서!”
━ ArisGlobal의 칼리얀 레디

“AI/ML과 강화학습에 깔린 이론이 궁금하다면, 그리고 그런 기법을 여러분의 프로젝트에 적용하는 방법을 알고 싶다면 이 책이 적격이다.”
━ OpenText의 토비아스 카츠

“DRL의 기초에 숙달하고자 하는, 그리고 이 흥미로운 분야에서 연구자나 개발자로 일하고자 하는 모든 이에게 이 책을 강력히 추천한다.”
━ 아마존의 알 라히미

 

지은이 소개
알렉스 짜이(Alex Zai)
심화 코딩 부트캠프인 Codesmith의 CTO를 역임했고, 현재는 기술 자문으로 일한다. 또한 그는 우버의 소프트웨어 기술자이자 Banjo와 아마존의 기계학습 공학자이며, 오픈소스 심층 강화학습 프레임워크인 아파치 MXNet에도 기여한다. 그리고 두 개의 기업을 공동 창업하기도 했는데, 그중 한 회사는 Y Combinator에 참여했다.

브랜던 브라운(Brandon Brown)
어려서부터 프로그래밍을 해왔고 대학 시절에는 파트타임으로 소프트웨어 개발 일도 했지만, 결국은 의학으로 진로를 잡았다. 보건 기술 분야의 소프트웨어 기술자로 일한 적도 있는 그는 현재 의사이며, 심층 강화학습에 영감을 얻은 계산 정신 의학(computational psychiatry)의 연구에 관심이 있다.

옮긴이 소개
류광
커누스 교수의 《컴퓨터 프로그래밍의 예술》 시리즈(한빛미디어)를 포함하여 60여 종의 다양한 IT 전문서를 번역한 전문 번역가다. 인공지능 관련 번역서로는 이 책 외에도 《인공지능: 현대적 접근방식(제3판)》(제이펍, 2016)과 《심층 학습》(제이펍, 2018), 《신경망과 심층 학습》(제이펍, 2019), 《파이썬으로 배우는 자연어 처리 인 액션》(제이펍, 2020)이 있으며, 《인공지능: 현대적 접근방식(제4판)》을 준비 중이다.

차례
PART I 기초 1
CHAPTER 1 강화학습이란? 3
1.1 심층 강화학습에서 ‘심층’의 의미 4
1.2 강화학습 6
1.3 동적 계획법과 몬테카를로 방법 9
1.4 강화학습의 틀 12
1.5 강화학습으로 할 수 있는 일 16
1.6 왜 심층 강화학습인가? 18
1.7 이 책의 주요 설명 수단: 끈 그림 21
1.8 앞으로의 여정 22
요약 24

CHAPTER 2 강화학습 문제의 모형화: 마르코프 결정 과정 25
2.1 끈 그림과 이 책의 교육 방식 25
2.2 여러 팔 강도 문제의 해법 30
2.3 여러 팔 강도 문제를 광고 배치 최적화에 적용 41
2.4 PyTorch로 신경망 만들기 43
2.5 문맥적 강도 문제의 해법 47
2.6 마르코프 성질 52
2.7 향후 보상의 예측: 가치와 정책 함수 55
요약 59

CHAPTER 3 가장 나은 동작의 선택: 심층 Q 신경망(DQN) 61
3.1 Q 함수 62
3.2 Q 학습 개요 64
3.3 파국적 망각 방지: 경험 재현 85
3.4 목표망을 이용한 안정성 개선 92
3.5 정리 99
요약 102

CHAPTER 4 정책 기울기 방법 103
4.1 신경망을 이용한 정책 함수 구현 104
4.2 좋은 동작의 강화: 정책 기울기 알고리즘 108
4.3 OpenAI Gym 다루기 114
4.4 REINFORCE 알고리즘 117
요약 125

CHAPTER 5 좀 더 어려운 문제 풀기: 행위자-비평자 모형 127
5.1 가치 함수와 정책 함수의 결합 129
5.2 분산 훈련 135
5.3 이익 행위자-비평자 141
5.4 N-단계 행위자-비평자 151
요약 157

PART I I 더 높은 곳을 향하여 159
CHAPTER 6 또 다른 최적화 방법: 진화 알고리즘 161
6.1 강화학습의 또 다른 접근 방식 162
6.2 진화를 이용한 강화학습 163
6.3 CartPole을 위한 유전 알고리즘 172
6.4 진화 알고리즘의 장단점 180
6.5 규모가변적 대안으로서의 진화 알고리즘 182
6.5.6 기울기 기반 접근 방식의 규모 확장 189
요약 189

CHAPTER 7 모든 가능성의 탐색: 분포 심층 Q 신경망 191
7.1 기댓값 Q 학습의 문제점 192
7.2 다시 살펴보는 확률과 통계 197
7.3 벨먼 방정식 204
7.4 분포 Q 학습 206
7.5 확률분포의 비교 219
7.6 가상의 데이터에 대한 분포 DQN 225
7.7 분포 DQN을 이용한 아타리 프리웨이 학습 231
요약 237

CHAPTER 8 호기심 주도 탐험 239
8.1 예측 부호화를 이용한 희소 보상 문제 해결 241
8.2 역방향 동역학 예측 244
8.3 슈퍼 마리오브라더스 환경 설정 247
8.4 Q 신경망 전처리 250
8.5 Q 신경망과 정책 함수 설정 253
8.6 ICM(내재적 호기심 모듈) 257
8.7 그 밖의 내재적 보상 메커니즘들 271
요약 274

CHAPTER 9 다중 에이전트 강화학습 277
9.1 단일 에이전트에서 다중 에이전트로 278
9.2 이웃 Q 학습 282
9.3 1차원 이징 모형 286
9.4 평균장 Q 학습과 2차원 이징 모형 298
9.5 혼합 협조-경쟁 게임 309
요약 323

CHAPTER 10 해석 가능한 강화학습: 주의 모형과 관계 모형 325
10.1 주의와 관계 편향을 이용한 기계학습 해석성 개선 326
10.2 주의 메커니즘을 이용한 관계 추론 330
10.3 MNIST 이미지 분류를 위한 자가 주의 모형 구현 342
10.4 다중 헤드 주의 모형과 관계 DQN 356
10.5 이중 Q 학습 365
10.6 훈련과 주의 시각화 367
요약 376

CHAPTER 11 결론: 돌아보기와 내다보기 379
11.1 핵심 정리 380
11.2 심층 강화학습 분야의 미개척 주제들 382
11.3 마치며 386

APPENDIX A 수학, 심층학습, PyTorch 387
A.1 선형대수 388
A.2 미적분 390
A.3 심층학습 396A.4 PyTorch 397

참고문헌 402
찾아보기 406

 

■ 제이펍 소식 더 보기(제이펍의 소통 채널에서 더욱 다양한 소식을 확인하세요!)

네이버 책 포스트 유튜브 인스타그램 트위터 페이스북