입문자를 위한 병렬 프로그래밍

 

이 책은 현재 절판입니다. 그간 읽어주신 독자들께 감사를 드립니다.

MPI, Pthreads, 그리고 OpenMP를 이용한 병렬 프로그래밍 가이드!

효율적 병렬 프로그래밍에 관한 완벽한 튜토리얼!

샌프란시스코 대학을 비롯한 세계 유명 대학 교재로 선정!

 

출판사 제이펍

원출판사 Morgan Kaufmann

원서명 An Introduction to Parallel Programming(원서 ISBN: 9780123742605)

저자명 피터 파체코(Peter Pacheco)

역자명 김성민

출판일 2015년 2월 26일

페이지 512쪽

시리즈 (없음)

판 형 (188*245*25)

제 본 무선(soft cover)

정 가 30,000원

ISBN 979-11-85890-15-9 (93000)

키워드 MPI, Pthreads, OpenMP, 분산 메모리, 공유 메모리, 멀티코어 프로세서

분야 프로그래밍 / 병렬 프로그래밍

 

관련 사이트

■ 원출판사 도서소개 페이지

■ 아마존 도서소개 페이지

■ ONLINE COMPANION MATERIALS(원서)

 

관련 포스트

■ 2015/02/17 - [출간전 책소식] - 클라우드-사물인터넷(IoT) 시대엔 병렬 프로그래밍이 대세!

 

관련 시리즈

■ (없음)

 

소스 코드 다운로드

https://drive.google.com/file/d/1vu-SQPPNIUh7IEDvut0NYjC7o-tfqXkh/view?usp=sharing

ipp-source.tgz

 

강의 자료

교재로 채택하신 분들은 메일을 보내주시면 아래의 자료를 보내드리겠습니다: jeipubmarketer@gmail.com

■ 영문강의교안(ppt)

■ 본문의 그림

■ 연습문제 해답(영문)

 

관련 도서

■ OpenCL을 이용한 이종 컴퓨팅(제2판)

 

샘플 PDF(차례, 옮긴이 머리말, 머리말, 감사의 글, 베타리더 후기, 1장 왜 병렬 컴퓨팅인가?, 찾아보기)

입문자를위한병렬프로그래밍_sample.pdf

 

정오표 페이지

■ (등록되는 대로 링크를 걸어드리겠습니다.)

 

도서구매 사이트(가나다순)

[강컴] [교보문고] [도서11번가] [반디앤루니스] [알라딘] [예스이십사] [인터파크]

 

도서 소개

MPI, Pthreads, 그리고 OpenMP를 이용한 병렬 프로그래밍 가이드!

효율적 병렬 프로그래밍에 관한 완벽한 튜토리얼!

샌프란시스코 대학을 비롯한 세계 유명 대학 교재로 선정!

 

병렬 프로그래밍은 더 이상 전문가들만을 위한 기술이 아니다. 여러분들이 클러스터나 멀티코어 프로세서의 강력한 기능을 충분히 사용하고 싶다면, 분산 메모리 병렬 프로그래밍과 공유 메모리 병렬 프로그래밍에 대해 배워야 한다. 《입문자를 위한 병렬 프로그래밍》은 여러분들이 MPI, Pthreads, OpenMP를 사용하여 효율적인 병렬 프로그램을 개발하는 방법에 대해 설명하고 있다. 학생이든 실무를 하는 전문가이든 상관없이 피터 파체코의 이 새로운 책은 여러분들에게 분산과 공유 메모리 프로그램의 성능을 어떻게 설계하고, 디버깅하며, 평가하는지 그 방법을 알려 줄 것이다.

 

■ 튜토리얼을 사용하여 작은 프로그래밍 예제로 시작해서 좀 더 규모가 큰 예제들을 구축한다.

■ 분산과 공유 메모리 프로그램을 설계하고, 디버깅하며, 평가하는 데 초점을 맞춘다.

■ MPI, Pthreads, 그리고 OpenMP 프로그래밍 모델을 사용하여 병렬 프로그램에 대한 개발을 강조한다.

 

이 책의 구성

1장은 병렬 컴퓨팅이 컴퓨터 분야에서 중요한 역할을 하는 이유에 대해 상대적으로 덜 기술적으로 설명하고 있다. 또, 병렬 시스템과 병렬 프로그래밍에 대해 간단하게 소개하고 있다. 2장은 컴퓨터 하드웨어와 소프트웨어에 대한 기술적 배경 지식을 제공한다. 3장, 4장, 그리고 5장은 MPI, Pthreads, 그리고 OpenMP를 이용한 프로그래밍을 소개하고 있으며, 6장에서는 두 개의 큰 프로그램을 개발한다. 하나는 병렬 n-body 솔루션이고, 다른 하나는 병렬 트리 검색이다. 이 두 프로그램은 세 개의 API를 모두 사용해서 개발한다. 7장은 다양한 측면의 병렬 컴퓨팅에 대해 추가적인 정보를 간략하게 다루고 있다. 이 책은 C 언어를 사용하여 프로그램을 개발하는데, 그 이유는 이 세 가지 API가 모두 C 언어 인터페이스를 갖고 있으며, C 언어는 사용하기에 상당히 간단한 언어이고 배우기도 상대적으로 쉬운 언어이기 때문이다. C 언어의 제어 구조에 대해 익숙한 C++이나 자바 개발자들도 어려움 없이 읽을 수 있다.

 

지은이 소개

피터 파체코(Peter Pacheco)

플로리다 주립대학(Florida State University)에서 수학으로 박사학위를 받았다. 대학원 과정을 마친 후에는 캘리포니아 대학 로스앤젤레스 캠퍼스(UCLA)의 컴퓨터 과학과 교수로 재직하였다. 다시 UCLA에서 샌프란시스코 대학(USF)으로 자리를 옮겼는데, USF에서는 컴퓨터 과학과 학과장으로 근무하다 현재는 수학과 학과장을 맡고 있다.

그의 연구 분야는 병렬 과학 컴퓨팅이며, 회로 시뮬레이션, 음성 인식, 그리고 뉴런의 대규모 네트워크에 대한 시뮬레이션을 연구하였다. 20년이 넘게 학부와 대학원생들에게 병렬 컴퓨팅을 가르쳐 왔으며, 《Parallel Programming with MPI》의 저자이기도 하다.

 

옮긴이 소개

김성민

한국에서 컴퓨터 공학을 전공하고 벤처에서 약 8년 동안 일하다가 좀 더 심오한 공부를 하고자 유학길에 올랐다. 미국에서 컴퓨터 공학으로 박사학위를 받았고, 현재 실리콘밸리에 있는 한 벤처에서 시스템 아키텍트로 근무 중이다. 최근에는 이종 컴퓨팅 관련 연구에 매진하고 있으며, 샌프란시스코에서 아내와 두 딸과 함께 살고 있다. 옮긴 책으로는 《OpenCL을 이용한 이종 컴퓨팅(제2판)》(제이펍)이 있다.

 

차례

CHAPTER 1 왜 병렬 컴퓨팅인가?

1.1 성능 증가의 필요성 2

1.2 병렬 시스템을 구축해야 하는 이유 3

1.3 병렬화 프로그래밍이 필요한 이유 4

1.4 병렬화 프로그램을 작성하는 방법 8

1.5 배울 내용 11

1.6 병행, 병렬, 분산 13

1.7 책의 구성 14

1.8 당부의 말 14

1.9 이 책의 표기 방법 15

1.10 요약 16

1.11 연습문제 17

CHAPTER 2 병렬 하드웨어와 병렬 소프트웨어

2.1 약간의 배경 지식 22

2.1.1 폰 노이만 아키텍처 22

2.1.2 프로세스, 멀티태스킹, 그리고 스레드 24

2.2 폰 노이만 모델의 수정 26

2.2.1 캐시의 기본 개념 26

2.2.2 캐시 매핑 29

2.2.3 캐시와 프로그램: 예제 30

2.2.4 가상 메모리 32

2.2.5 명령어 레벨 병렬화 35

2.2.6 하드웨어 멀티스레딩 39

2.3 병렬 하드웨어 40

2.3.1 SIMD 시스템 40

2.3.2 MIMD 시스템 44

2.3.3 인터커넥션 네트워크 48

2.3.4 캐시 일관성 57

2.3.5 공유 메모리와 분산 메모리 61

2.4 병렬 소프트웨어 62

2.4.1 경고 63

2.4.2 프로세스/스레드의 조정 63

2.4.3 공유 메모리 65

2.4.4 분산 메모리 71

2.4.5 하이브리드 시스템 프로그래밍 75

2.5 입력과 출력 76

2.6 성능 78

2.6.1 스피드업과 효율성 78

2.6.2 암달의 법칙 81

2.6.3 확장성 83

2.6.4 타이밍 84

2.7 병렬 프로그램 디자인 88

2.7.1 예제 89

2.8 병렬 프로그램의 작성과 실행 94

2.9 가정 94

2.10 요약 96

2.10.1 시리얼 시스템 96

2.10.2 병렬 하드웨어 98

2.10.3 병렬 소프트웨어 100

2.10.4 입력과 출력 102

2.10.5 성능 102

2.10.6 병렬 프로그램 설계 103

2.10.7 가정 104

2.11 연습문제 104

 

CHAPTER 3 MPI를 이용한 분산 메모리 프로그래밍

3.1 시작하기 112

3.1.1 컴파일과 실행 113

3.1.2 MPI 프로그램 115

3.1.3 MPI_Init과 MPI_Finalize 116

3.1.4 커뮤니케이터, MPI_Comm_size와 MPI_Comm_rank 117

3.1.5 SPMD 프로그램 117

3.1.6 통신 118

3.1.7 MPI_Send 118

3.1.8 MPI_Recv 121

3.1.9 메시지 매칭 121

3.1.10 status_p 인수 123

3.1.11 MPI_Send와 MPI_Recv의 동작 의미 124

3.1.12 약간의 심각한 문제 126

3.2 MPI를 사용한 사다리꼴 규칙 126

3.2.1 사다리꼴 규칙 126

3.2.2 사다리꼴 규칙의 병렬화 128

3.3 I/O의 처리 131

3.3.1 출력 132

3.3.2 입력 133

3.4 컬렉티브 통신 135

3.4.1 트리 구조 통신 135

3.4.2 MPI_Reduce 137

3.4.3 컬렉티브 통신 대 일대일 통신 139

3.4.4 MPI_Allreduce 141

3.4.5 브로드캐스트 141

3.4.6 데이터 분산 144

3.4.7 스캐터 146

3.4.8 게더 148

3.4.9 Allgather 150

3.5 MPI 파생 데이터 타입 153

3.6 프로그램의 성능 평가 157

3.6.1 수행 시간 159

3.6.2 결과 162

3.6.3 속도 향상과 효율성 165

3.6.4 확장성 166

3.7 병렬 정렬 알고리즘 167

3.7.1 간단한 시리얼 정렬 알고리즘 168

3.7.2 병렬 홀수-짝수 변환 정렬 170

3.7.3 MPI 프로그램에서 세이프티 173

3.7.4 병렬 홀수-짝수 정렬의 마지막 설명 177

3.8 요약 179

3.9 연습문제 185

3.10 프로그래밍 문제 194

 

CHAPTER 4 Pthreads를 이용한 공유 메모리 프로그래밍

4.1 프로세스, 스레드, 그리고 pthreads 200

4.2 HELLO, WORLD 202

4.2.1 실행 202

4.2.2 준비 204

4.2.3 스레드의 시작 206

4.2.4 스레드의 실행 208

4.2.5 스레드의 중지 209

4.2.6 에러 체킹 210

4.2.7 스레드의 시작에 대한 다른 접근 210

4.3 매트릭스-벡터 곱셈 211

4.4 크리티컬 섹션 214

4.5 비지-웨이팅 218

4.6 뮤텍스 222

4.7 프로듀서-컨슈머 동기화와 세마포어 227

4.8 배리어와 조건 변수 232

4.8.1 비지-웨이팅과 뮤텍스 233

4.8.2 세마포어 234

4.8.3 조건 변수 236

4.8.4 Pthreads 배리어 239

4.9 읽기-쓰기 잠금 239

4.9.1 링크드 리스트 함수 239

4.9.2 멀티스레드 링크드 리스트 242

4.9.3 Pthreads 읽기-쓰기 잠금 246

4.9.4 여러 가지 구현에 대한 성능 247

4.9.5 읽기-쓰기 잠금의 구현 249

4.10 캐시, 캐시 일관성, 그리고 거짓 공유 250

4.11 스레드 세이프티 257

4.11.1 올바르지 않은 프로그램이 올바른 출력을 낼 수 있다 260

4.12 요약 261

4.13 연습문제 264

4.14 프로그램 문제 272

 

CHAPTER 5 OpenMP를 사용한 공유 메모리 프로그래밍

5.1 시작 277

5.1.1 OpenMP 프로그램의 컴파일과 실행 방법 278

5.1.2 프로그램 279

5.1.3 오류 체크 283

5.2 사다리꼴 규칙 284

5.2.1 첫 번째 openMP 버전 285

5.3 변수의 범위 290

5.4 감소 클라우즈 291

5.5 parallel for 디렉티브 295

5.5.1 주의 사항 297

5.5.2 데이터 의존성 298

5.5.3 루프에 의한 의존성 찾기 300

5.5.4 의 계산 301

5.5.5 변수 범위 304

5.6 OpenMP에서 루프의 다른 예제: 정렬 305

5.6.1 버블 정렬 305

5.6.2 홀수-짝수 변환 정렬 307

5.7 루프 스케줄 310

5.7.1 schedule 클라우즈 312

5.7.2 static 스케줄 타입 313

5.7.3 dynamic과 guided 스케줄 타입 314

5.7.4 runtime 스케줄 타입 315

5.7.5 어떤 스케줄을 사용해야 할까? 316

5.8 프로듀서와 컨슈머 317

5.8.1 큐 317

5.8.2 메시지 패싱 318

5.8.3 메시지 전송 319

5.8.4 메시지 수신 319

5.8.5 종료 검출 320

5.8.6 시작 321

5.8.7 atomic 디렉티브 322

5.8.8 크리티컬 섹션과 잠금 323

5.8.9 메시지 패싱 프로그램에서 잠금의 사용 326

5.8.10 critical 디렉티브, atomic 디렉티브, 혹은 잠금? 327

5.8.11 몇 가지의 문제점 328

5.9 캐시, 캐시 일관성, 거짓 공유 330

5.10 스레드 세이프티 337

5.10.1 올바르지 않은 프로그램이 정상적인 결과를 만들어 낼 수도 있다 340

5.11 정리 341

5.12 연습문제 346

5.13 프로그래밍 문제 352

 

CHAPTER 6 병렬 프로그램 개발

6.1 두 개의 n-body 솔루션 357

6.1.1 문제 358

6.1.2 두 개의 시리얼 프로그램 359

6.1.3 솔루션의 병렬화 365

6.1.4 I/O 369

6.1.5 OpenMP를 사용한 기본 솔루션의 병렬화 370

6.1.6 OpenMP를 사용한 리듀스 솔루션의 병렬화 373

6.1.7 OpenMP 코드의 평가 378

6.1.8 Pthreads를 사용한 솔루션의 병렬화 380

6.1.9 MPI를 사용한 기본 솔루션의 병렬화 381

6.1.10 MPI를 사용한 리듀스 솔루션의 병렬화 384

6.1.11 MPI 솔루션의 성능 391

6.2 트리 검색 393

6.2.1 재귀적 깊이-우선 검색 396

6.2.2 비재귀적 깊이-우선 검색 397

6.2.3 시리얼 구현을 위한 자료 구조 400

6.2.4 시리얼 구현의 성능 402

6.2.5 트리 검색의 병렬화 402

6.2.6 pthreads를 사용한 트리 검색의 정적 병렬화 405

6.2.7 pthreads를 사용한 트리 검색의 동적 병렬화 408

6.2.8 Pthreads 트리-검색 프로그램의 평가 413

6.2.9 OpenMP를 사용한 트리-검색 프로그램의 병렬화 414

6.2.10 OpenMP 구현의 성능 418

6.2.11 MPI와 정적 파티셔닝을 사용한 트리 검색의 구현 419

6.2.12 MPI와 동적 파티셔닝을 사용한 트리 검색의 구현 429

6.3 조언 440

6.4 어떤 API가 최선인가? 440

6.5 요약 441

6.5.1 Pthreads와 OpenMP 443

6.5.2 MPI 444

6.6 연습문제 448

6.7 프로그래밍 연습 461

 

CHAPTER 7 그 다음에 해야 할 일

 

참고문헌 469

찾아보기 473