Azure OpenAI로 ChatGPT와 LLM 시스템 쉽고 빠르게 구축하기

단계별로 배우는 효율적인 AI 시스템 구축법

 

빠르게 발전하는 AI 기술의 중심에는 마이크로소프트 Azure OpenAI가 있다. 이 책은 실무에서 바로 활용할 수 있도록 생성형 AI와 ChatGPT 모델의 도입부터 최적화까지 단계별로 안내하는 실전 가이드다. 애저에서 ChatGPT 기반 RAG를 활용한 사내 문서 검색 시스템과 LLM을 탑재한 코파일럿 애플리케이션을 구축하면서 이론뿐만 아니라 실제 적용 방법까지 배울 수 있다. Azure OpenAI 활용에 필요한 거버넌스와 책임 있는 AI 구현도 함께 다룬다. 이 책을 통해 AI 시스템을 쉽게 구축하고, 업무에 바로 적용할 수 있는 유용한 기술과 노하우를 배울 수 있을 것이다.

 

도서구매 사이트(가나다순)

[교보문고]  [도서11번가]  [알라딘]  [예스이십사]  [인터파크]  [쿠팡]

 

출판사 제이펍
저작권사 技術評論社
원서명 Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門 (9784297139292)
도서명 Azure OpenAI로 ChatGPT와 LLM 시스템 쉽고 빠르게 구축하기
부제 챗GPT 활용부터 프롬프트 엔지니어링, RAG 구현, 자체 코파일럿 개발까지 AI 시스템 구축을 위한 애저 완벽 실무 가이드
지은이 가모 히로사토, 나가타 쇼헤이, 다테와키 유타, 미야타 다이시, 요시다 신고, 이토 슌타, 하나가사키 노부스케
옮긴이 배언수
감수자 배인진
시리즈 (없음)
출판일 2025. 03. 17
페이지 304쪽
판 형 46배판변형(188*245*18.0)
제 본 무선(soft cover)
정 가 30,000원
ISBN 979-11-94587-03-3 93000
키워드 copilot, 에이전트, agent, 인공지능, 오픈AI, 생성형 AI, 마이크로소프트, 랭체인, 챗봇, 트랜스포머
분 야 인공지능 / 생성형 AI

 

관련 사이트
■ 아마존 도서 페이지
■ 저작권사 도서 페이지
■ Microsoft AI 한국 사용자 모임

 

관련 시리즈

■ (없음)

 

관련 포스트

■ 2025.02.26 - [출간 전 책 소식] - GPT-5 시대, Azure OpenAI 없이 가능할까?

 

관련 도서

■ 소프트웨어 개발에 ChatGPT 사용하기

■ 파이썬과 자바스크립트로 배우는 OpenAI 프로그래밍

 

관련 파일 다운로드

■ https://github.com/1mlines/book-azureopenai-sample

 

강의 보조 자료(교재로 채택하신 분들은 메일(textbook@jpub.kr)을 보내주시면 다음 자료를 보내드립니다.)
■ 본문의 그림과 표

 

미리보기(앞부속, 본문 일부)

 

정오표 페이지
■ (등록되는 대로 링크를 걸겠습니다.)

 

도서구매 사이트(가나다순)

[교보문고]  [도서11번가]  [알라딘]  [예스이십사]  [인터파크]  [쿠팡]

 

도서 소개

AI 시스템 개발이 쉬워지는 Azure OpenAI Service 활용법

생성형 AI의 빠른 확산으로 AI의 단순 활용을 넘어 직접 구축하고 최적화하는 능력이 요구되고 있다. 이 책은 Azure OpenAI Service를 활용해 생성형 AI 서비스를 직접 개발하고 실무에 적용하는 방법을 다루는 국내 첫 가이드로, AI 모델의 효과적인 적용법을 체계적으로 안내한다.

 

1부에서는 ChatGPT와 생성형 AI와 같은 LLM 기본 개념과 구조부터 설명한다. Azure AI Foundry를 활용해 ChatGPT 애플리케이션을 만들어보고, 모델의 답변을 정밀하게 조정하는 프롬프트 엔지니어링 기법을 익힐 수 있다.

 

2부에서는 AI가 문서를 검색하고 요약하는 RAG 기반 시스템 구축 과정을 알려주고, 이를 개발하기 위한 애저 서비스의 효율적인 활용법을 살펴본다. 3부에서는 코파일럿 개발에 필요한 코파일럿 스택, AI 오케스트레이션, 파운데이션 모델, AI 인프라, 코파일럿 프런트엔드 등을 알려준다.

 

4부에서는 LLM 애플리케이션의 개발 및 운용에 필요한 거버넌스와 책임 있는 AI에 대해서 논의한다. 인증 및 보안 설정, API 호출 제한, 비용 최적화 전략, 책임 있는 AI 운영 방법을 다룬다. 마지막으로 부록에서는 예제 코드의 실행 환경 구축 방법과 ChatGPT의 구조를 살펴본다.

 

AI 기술을 실무에 적용하는 과정은 여전히 쉽지 않다. Azure OpenAI를 활용하면 생성형 AI 모델을 더욱 효율적으로 개발하고 최적화할 수 있다. 이 책만 있다면 AI 모델의 기본 개념부터 실제 애플리케이션 개발까지 단계별로 따라가며 학습할 수 있다. Azure OpenAI로 AI를 활용하는 가장 실용적인 방법으로 여러분을 안내한다.

 

대상 독자

• DX 담당자: AI 기반 디지털 전환 전략을 기획하고 기업 내 도입을 추진하는 관리자
• AI 운영 및 거버넌스 담당자: Azure OpenAI 서비스의 보안, 인증, 비용, 거버넌스를 관리하는 IT 책임자
• 설루션 아키텍트: AI를 활용한 제품 및 서비스의 기획과 아키텍처 설계를 담당하는 기획자
• 클라우드 엔지니어: 애저 환경에서 AI 애플리케이션을 배포, 운영, 성능 최적화하는 엔지니어

 

주요 내용

• 생성형 AI와 ChatGPT 기본 개념
• Azure OpenAI Service의 활용법
• 프롬프트 엔지니어링 기법과 응용
• Azure AI Search와 RAG를 활용한 사내 문서 검색 시스템 구축
• ChatGPT, 랭체인을 활용한 코파일럿 애플리케이션 개발
• 책임 있는 AI 사용을 위한 가이드

 

지은이 소개

가모 히로사토(蒲生 弘郷)

일본 마이크로소프트 클라우드 설루션 아키텍트. SI 대기업에서 커리어를 시작했다. 자동차 업계의 DMS 데이터 활용 환경 구축을 위한 컨설팅 및 개발과 엔터프라이즈 블록체인을 활용한 다른 업종 간 데이터 유통 플랫폼을 구축했다. 수년간 데이터 사이언티스트로서 사회 인프라 관련 기업을 대상으로 데이터 분석 및 머신러닝 시스템 개발을 경험했으며, 현재는 설루션 아키텍트로서 AI 도입 기술 지원 및 Azure OpenAI Service 이밴절리스트 활동에 종사하고 있다.

 

나가타 쇼헤이(永田 祥平)

일본 마이크로소프트 클라우드 설루션 아키텍트. 대학원에서 분자생물학과 생물정보학을 전공한 뒤 2020년에 일본마이크로소프트에 입사했다. 클라우드 설루션 아키텍트로서 주로 엔터프라이즈 고객을 대상으로 애저 빅데이터 분석 환경과 머신러닝 환경 도입 및 활용을 지원하는 업무를 수행하고 있다.

 

다테와키 유타(立脇 裕太)

일본 마이크로소프트 클라우드 설루션 아키텍트. 소프트뱅크, 딜로이트, 데이터오로봇을 거쳐 현재는 일본마이크로소프트에서 빅데이터, 클라우드, 머신러닝을 활용한 기업 데이터 활용을 지원하고 있다. MLOps 커뮤니티를 운영 중이다. 일본딥러닝협회 AI(JDLA AI) 거버넌스 및 평가연구회 연구원으로서 QA4AI(일본) 가이드라인을 개정했으며, MLOps나 AI 거버넌스 관련 강연과 집필 활동을 활발히 하고 있다.

 

미야타 다이시(宮田 大士)

일본 마이크로소프트 클라우드 설루션 아키텍트. 제조업에서 데이터 분석, 머신러닝 시스템 구축, 데이터 분석 환경 개발을 경험하고 일본마이크로소프트에 입사했다. 폭넓은 업계의 고객을 대상으로 AI 도입 및 활용을 지원하고 있다.

 

요시다 신고(吉田 真吾)

클라우드 DevOps 그룹인 Section-9 대표이사. 2023년 5월에 Azure OpenAI, Azure AI Search, Azure Cosmos DB를 활용한 인사 FAQ 기능을 릴리스했다.

 

이토 슌타(伊藤 駿汰)

일본 마이크로소프트 클라우드 설루션 아키텍트이자 카운슬링 앱을 운영하는 Omamori 이사. AI/ML 개발(특히 자연어 처리 분야) 및 활용에 대한 기술 지원을 주로 하며, 머신러닝 환경이나 MLOps 환경 구축 및 활용에 대한 기술 지원도 수행하고 있다.

 

하나가사키 노부스케(花ケ﨑 伸祐)

일본 마이크로소프트 파트너 설루션 아키텍트. NEC 설루션 이노베이터, IBM 저팬의 AI 아키텍트를 거쳐 현재는 파트너 AI 설루션 개발을 지원하고 있다. 영상 인식 제품 개발 및 의료 영상 분석 등 여러 산업에서 AI 프로젝트의 개발자/아키텍트로서 15년 이상의 경험을 가지고 있다.

 

옮긴이 소개

원밀리언라인즈코딩

국내외 최고의 부트캠프와 온라인 교육 플랫폼에서 신입 개발자들을 양성해왔다. 네이버 부스트캠프, 현대자동차그룹 소프티어 부트캠프, 우아한테크캠프, 원티드 프리온보딩 등에서 교육 및 멘토링 활동을 활발하게 하면서 자료구조 및 알고리즘, 모바일 앱 개발, 데이터 사이언스, 프롬프트 엔지니어링 등의 분야에서 깊이 있는 지식을 공유해왔다. 인프런과 유데미에서 온라인 강의를 하고 있으며, 다양한 기업의 내부 교육을 진행하면서 현업 개발자들의 역량 강화에도 기여하고 있다. 옮긴 책으로는 《프런트엔드 개발을 위한 테스트 입문》(제이펍, 2023)이 있다.

 

감수자 소개

배인진

원밀리언라인즈코딩 대표. 카카오엔터테인먼트, 스튜디오씨드코리아, 엔비티에서 개발자로 근무했다.

 

차례

지은이/옮긴이/감수자 소개 xi

옮긴이 머리말 xiv

추천의 글 xvi

베타리더 후기 xix

시작하며 xxiii

감사의 글 xxiv

이 책에 대하여 xxv

 

PART I 마이크로소프트 애저에서의 ChatGPT 활용

 

CHAPTER 1 생성형 AI와 ChatGPT 3

1.1 생성형 AI와 ChatGPT가 불러온 충격 3

__1.1.1 AI 시대의 개막 3

__1.1.2 ChatGPT를 적용할 수 있는 업무들 5

[COLUMN] Open Interpreter 9

__1.1.3 ChatGPT 사용 시 주의할 점 10

1.2 ChatGPT의 구조 10

__1.2.1 기존 챗봇과의 차이점 10

__1.2.2 GPT란 11

__1.2.3 사람이 선호하는 문장을 생성하는 방법: RLHF 13

__1.2.4 ChatGPT의 탄생 과정 13

1.3 마무리 14

 

CHAPTER 2 프롬프트 엔지니어링 15

2.1 프롬프트 엔지니어링이란 15

2.2 기본적인 작성법 16

__2.2.1 구체적으로 지시하기 16

__2.2.2 출구 지정하기 17

__2.2.3 역할 부여하기 18

__2.2.4 입출력 예시 지정하기 19

[COLUMN] 제로샷 학습과 퓨샷 학습 20

__2.2.5 프롬프트 구조화하기 20

2.3 생각의 사슬 21

[COLUMN] GPT-3.5 Turbo와 GPT-4의 성능 차이 23

2.4 그 밖의 기법들 24

2.5 마무리 25

 

CHAPTER 3 Azure OpenAI Service 26

3.1 Azure OpenAI Service란 26

__3.1.1 OpenAI의 API 서비스와 Azure OpenAI Service의 차이점 27

__3.1.2 Azure OpenAI 개요 29

3.2 Azure OpenAI 시작하기 30

__3.2.1 Azure OpenAI 액세스 신청 30

__3.2.2 리소스 생성 31

__3.2.3 GPT 모델 배포하기 35

3.3 채팅 플레이그라운드에서 ChatGPT 애플리케이션 개발하기 39

__3.3.1 설정 40

__3.3.2 채팅 세션 42

[COLUMN] 채팅 플레이그라운드는 어디에서 동작하는 것일까? 44

__3.3.3 채팅 애플리케이션 배포 44

[COLUMN] 플레이그라운드에서 배포한 웹 애플리케이션의 소스 코드 47

3.4 고려 사항 47

__3.4.1 비용 문제 47

__3.4.2 할당량 및 제한 48

3.5 마무리 50

 

PART II RAG를 활용한 사내 문서 검색 시스템 구현

 

CHAPTER 4 RAG 개요 및 설계 53

4.1 ChatGPT의 문제점과 해결 방법 53

4.2 RAG란 55

4.3 검색 시스템 57

4.4 Azure AI Search 58

__4.4.1 색인 생성 60

__4.4.2 문서 검색 67

4.5 오케스트레이터 71

__4.5.1 Azure OpenAI on your data 72

__4.5.2 Azure Machine Learning 프롬프트 흐름 73

__4.5.3 자체 구현 74

4.6 Azure OpenAI on your data 74

__4.6.1 데이터 원본 75

__4.6.2 사용 방법 75

4.7 Azure Machine Learning 프롬프트 흐름 81

__4.7.1 사용 방법 82

[COLUMN] Azure Machine Learning이란 91

4.8 LLM 91

4.9 Azure OpenAI API 92

__4.9.1 Chat Completions API 92

__4.9.2 Embeddings API 97

4.10 마무리 98

[COLUMN] RAG vs. 파인 튜닝 98

 

CHAPTER 5 RAG 구현 및 평가 100

5.1 아키텍처 100

5.2 사내 문서 검색 구현 105

__5.2.1 사용할 애저 서비스 목록 및 요금 105

__5.2.2 로컬 개발 환경 구축하기 106

__5.2.3 로컬 환경에서 실행하기 110

__5.2.4 로컬 변경사항을 App Service에 배포하기 112

__5.2.5 환경 설정 파일 변경하기 112

__5.2.6 문서를 추가로 인덱싱하기 112

__5.2.7 실제로 질문하기 112

__5.2.8 기능 소개 113

5.3 채팅 이력 저장 116

__5.3.1 채팅 이력 저장 구현 예시 117

__5.3.2 Cosmos DB에 저장된 채팅 이력 확인 119

5.4 검색 기능 119

__5.4.1 벡터 검색 120

[COLUMN] 청크 분할의 중요성 122

__5.4.2 하이브리드 검색 123

__5.4.3 의미 체계 하이브리드 검색 124

[COLUMN] 가장 좋은 결과를 내는 검색 모드는 어떤 것일까? 126

[COLUMN] 커스터마이징 포인트 126

5.5 데이터 수집 자동화 127

5.6 RAG 평가 및 개선 129

5.7 검색 정확도 평가 130

__5.7.1 기본 평가 지표 130

__5.7.2 순위를 고려한 평가 지표 131

5.8 생성 정확도 평가 132

__5.8.1 연관성 평가 133

__5.8.2 일관성 평가 134

__5.8.3 유사도 평가 135

[COLUMN] RAG 응답의 정확도를 향상시키는 방법 135

5.9 마무리 136

 

PART III 코파일럿 스택을 사용한 LLM 애플리케이션 구현

 

CHAPTER 6 AI 오케스트레이션 139

6.1 코파일럿 스택이란 139

__6.1.1 1계층: 코파일럿 프런트엔드 140

__6.1.2 2계층: AI 오케스트레이션 140

__6.1.3 3계층: 파운데이션 모델 141

6.2 AI 오케스트레이션과 에이전트 141

__6.2.1 Reasoning & Acting 141

__6.2.2 Planning & Execution 145

[COLUMN] 랭체인 146

[COLUMN] 시맨틱 커널 147

__6.2.3 플러그인 실행 148

6.3 자체 코파일럿 개발 시 아키텍처 및 구현 150

__6.3.1 툴 선정(ReAct) 기능 구현 150

__6.3.2 채팅 UI에서 사용하기 152

__6.3.3 ChatGPT 플러그인 구현하기 156

__6.3.4 스트리밍 출력 구현하기 160

6.4 마무리 160

[COLUMN] Azure AI Studio의 등장 161

 

CHAPTER 7 파운데이션 모델과 AI 인프라스트럭처 162

7.1 파운데이션 모델과 AI 인프라스트럭처 정의 162

7.2 호스팅 가능 모델 163

__7.2.1 GPT-3.5와 GPT-4 163

[COLUMN] GPT-4 Turbo 166

[COLUMN] GPT-4o와 o1 166

__7.2.2 파인 튜닝 166

[COLUMN] GPT-4의 파인 튜닝 169

7.3 공개 모델 169

__7.3.1 모델 종류 171

__7.3.2 모델 크기와 압축 방법 172

__7.3.3 모델 호스팅 177

[COLUMN] Azure AI Foundry 모델 카탈로그 179

7.4 마무리 180

[COLUMN] OSS와 머신러닝 모델 180

 

CHAPTER 8 코파일럿 프런트엔드 182

8.1 사용자 경험 정의 182

__8.1.1 사용성 182

__8.1.2 정지 버튼과 재생성 버튼 183

__8.1.3 캐시를 고려한 구현 184

8.2 LLM의 부정확한 응답에 대처하기 185

__8.2.1 정확성 185

__8.2.2 투명성(정보 출처 제시) 185

__8.2.3 UX 향상을 위한 스트리밍 처리 186

__8.2.4 OpenAI 엔드포인트의 스트리밍 출력을 직접 처리하기 186

__8.2.5 플라스크 애플리케이션의 응답을 스트림 형식으로 처리하기 187

8.3 UX 향상을 위한 참고 자료 194

[COLUMN] 채팅 외의 인터페이스 195

8.4 마무리 196

 

PART IV 거버넌스와 책임 있는 AI

 

CHAPTER 9 거버넌스 199

9.1 공통 기반이란 199

9.2 공통 기반 아키텍처 201

__9.2.1 사용할 애저 서비스 목록 및 요금 201

__9.2.2 배포 202

9.3 인증 및 인가 208

__9.3.1 인증 및 인가 처리 흐름 208

__9.3.2 예제 코드 실행 209

[COLUMN] API Management의 구독 키 215

[COLUMN] 특정 사용자에게만 Azure OpenAI API 접근 허용하기 216

9.4 로그 통합 217

9.5 과금 219

9.6 호출 제한 221

9.7 폐쇄망 221

9.8 부하 분산 223

__9.8.1 Application Gateway 이용 226

[COLUMN] Application Gateway의 부하 분산을 프로덕션 환경에서 사용할 때의 주의점 228

__9.8.2 API Management 이용 230

9.9 마무리 231

 

CHAPTER 10 책임 있는 AI 232

10.1 책임 있는 AI를 위한 마이크로소프트의 노력 232

10.2 책임 있는 AI 적용 234

10.3 콘텐츠 필터 235

10.4 데이터 취급 240

10.5 마무리 241

 

APPENDIX A 예제 코드 실행 환경 구축 242

A.1 파이썬 설치 242

__A.1.1 설치 방법(윈도우) 243

A.2 깃 설치 244

__A.2.1 설치 방법(윈도우) 244

A.3 Azure Developer CLI 설치 247

__A.3.1 설치 방법(윈도우) 247

__A.3.2 설치 방법(리눅스) 248

__A.3.3 설치 방법(macOS) 248

A.4 Node.js 설치 249

__A.4.1 설치 방법(윈도우) 249

A.5 파워셸 설치(윈도우 한정) 251

__A.5.1 설치 방법 251

 

APPENDIX B ChatGPT의 구조 255

B.1 트랜스포머의 등장 256

__B.1.1 어텐션 256

__B.1.2 seq2seq 257

__B.1.3 seq2seq에 도입된 어텐션 258

__B.1.4 어텐션의 계산 처리 259

__B.1.5 트랜스포머의 구조 260

__B.1.6 트랜스포머의 장점 262

__B.1.7 트랜스포머의 한계 262

B.2 대규모화 및 언어 모델의 사전 학습에 따른 성능 향상 263

__B.2.1 트랜스포머 인코더 계열 모델의 발전 264

__B.2.2 트랜스포머 디코더 계열 모델의 발전 265

__B.2.3 스케일링 법칙 266

B.3 호의적 응답으로 조정된 언어 모델 266

[COLUMN] 공개 모델 269

 

마치며 270

찾아보기 272

 

제이펍 소식 더 보기(제이펍의 소통 채널에서 더욱 다양한 소식을 확인하세요!)

블로그  유튜브  인스타그램  트위터  페이스북