자바스크립트로 손쉽게 웹 크롤러를 만들고, 

수집한 데이터를 저장/처리하여 세련되게 시각화하고, 

쉽고 간단한 스트립트로 원하는 데이터를 모두 내려받자!


출판사 제이펍

원출판사 ソシム

원서명 JS+Node.jsによるWebクローラー/ネットエージェント開発テクニック (ISBN: 9784883379934)

저자명 쿠지라 히코우즈쿠에

역자명 이동규

출판일 2016년 12월 30일

페이지 516쪽

시리즈 (없음)

판  형 (188*245*25)

제  본 무선(soft cover)

정  가 30,000원

ISBN 979-11-85890-66-1 (93000)

키워드 머신러닝 / 문자 인식 / 형태소 분석 / 베이지안 필터 / GoogleCharts / D3.js / SNS / 웹 API / HTML 파싱 / DOM 요소 추출 / Phantomsjs/Casperjs / Electron / Node.js / javascript / 노드제이에스 / 웹 스크래핑 / 웹 크롤러 

분야 웹 프로그래밍 / 자바스크립트


관련 사이트

아마존재팬 도서 소개 페이지

원출판사 도서 소개 페이지

저자 웹사이트


관련 포스트

■ 2016/12/28 - [출간전 책소식] - 원하는 데이터를 자바스크립트로 수집하고 분석하는 기막힌 방법!


관련 시리즈

■ (없음)


관련 도서

다양한 언어로 배우는 정규표현식

AngularJS 인 액션: 단계별로 배우는 대화형 웹 애플리케이션

실무에 바로 적용하는 Node.js

자바스크립트 & 제이쿼리: 인터랙티브 프론트엔드 웹 개발 교과서

기초를 다지는 최신 웹 개발 공략서


관련 파일 다운로드

예제 코드

■ Node.js 크롤링 환경 구축 가이드(역자 제공)

Node.js 크롤링 환경 구축 가이드.pdf


교재 검토용 증정 안내

■ 학교 및 학원에서 교재 선정을 위해 책을 파일로 검토해보고자 하시는 분들은 다음의 페이지에서 신청 양식을 작성해주시기 바랍니다. 확인 후 연락을 드리도록 하겠습니다. http://goo.gl/vBtPo3


강의보조 자료

교재로 채택하신 분들은 메일을 보내주시면 아래의 자료를 보내드리겠습니다: jeipubmarketer@gmail.com

■ 본문의 그림과 표


샘플 PDF(차례, 옮긴이 머리말, 머리말, 이 책의 사용 방법, 베타리더 후기, 1장 '개발 환경')

자바스크립트와Node.js를이용한웹크롤링테크닉_sample.pdf


정오표 페이지

http://jpub.tistory.com/654

 

도서구매 사이트(가나다순)


도서 소개

자바스크립트로 손쉽게 웹 크롤러를 만들고, 

수집한 데이터를 저장/처리하여 세련되게 시각화하고, 

쉽고 간단한 스트립트로 원하는 데이터를 모두 내려받자!


이 책은 다양한 에이전트를 만들어 웹 데이터 수집과 처리를 자동화하는 방법을 소개한다. 우리가 익히 알고 있듯이 웹에는 유익한 데이터가 가득한데, 이러한 데이터를 체계적으로 수집하여 분석하고 활용하는 것은 즐거운 취미가 될 수도, 다양한 업무에 실질적인 도움이 될 수도 있을 것이다.


이 책의 전반부를 통해 웹사이트를 순회하는 크롤러를 만들어 본인만의 데이터베이스를 구축할 수 있게 될 것이다. 그런데 그렇게 모은 데이터를 어떻게 활용할지 몰라 묵혀 두기만 한다면 너무나 안타까운 일이 아닐 수 없다. 이 책에서는 수집뿐만 아니라 수집한 데이터를 검색하고, 필요한 데이터를 추출하고, 일정한 규칙을 통해 자동으로 분류하거나 예측하는 등 한 걸음 더 나아간 활용법을 제안한다. 이러한 기술들을 잘 응용하면 주식과 외환 매매에 참고할 트렌드 데이터를 얻을 수 있으며, 블로그 광고에 활용하여 수익률을 올리는 등 무궁무진한 활용이 가능하다.


이 책의 대상 독자

  • 자바스크립트를 보다 유용하게 활용하고자 하는 분
  • 텍스트 데이터의 처리, 분류, 활용에 관심 있는 분
  • 웹에 공개되어 있는 가치 있는 정보와 활용법을 알고자 하는 분


이 책에서 사용하는 기술

  • 머신러닝 
  • 문자 인식
  • 형태소 분석
  • 베이지안 필터
  • GoogleCharts
  • D3.js
  • 각종 SNS의 웹 API
  • HTML 파싱
  • DOM 요소 추출
  • PhantomJS/CasperJS
  • Electron


지은이 소개

쿠지라 히코우즈쿠에(クジラ飛行机)

책을 기획하고, 편집하고, 디자인하는 프로덕션이며, 스마트폰, 웹 서비스, 프로그래밍, 웹 디자인 등 IT와 관련된 서적을 주로 진행하고 있다.


옮긴이 소개

이동규 

서강대학교와 서울대학교 대학원에서 컴퓨터학을 공부했다. 6년간 웹 개발과 빅 데이터 분석 업무를 담당했으며, 현재는 LG전자 클라우드센터 스마트데이터 팀에서 빅 데이터 엔지니어로 일하고 있다. AWS를 주로 활용하여 크롤링과 분산 처리, 가시화를 위한 웹 서비스 등을 만들었으며, 빅 데이터와 대규모 요청을 모두 다룰 수 있는 데브옵스 풀 택 소프트웨어 엔지니어가 되기 위해 노력하고 있다.


차례

제1장 개발 환경 1

01 자바스크립트 엔진의 이모저모 _ 2

    ECMAScript가 실현한 범용 자바스크립트의 세계 _ 2

    자바스크립트 엔진의 이모저모 _ 3

    자바스크립트가 데이터 수집에 적합한 이유 _ 6

02 에이전트란 무엇인가? _ 8

    에이전트의 의미 _ 8

    지능형 에이전트 _ 9

03 개발 환경 구축 _ 11

    가상 머신에 실행 환경 구축 _ 11

    가상 머신 생성 _ 12

    가상 머신에 로그인하기 _ 16

    Node.js 설치 _ 19

    git 설치 _ 21

04 Node.js 모듈 설치 _ 24

    npm이란? _ 24

    npm install로 모듈 설치 _ 24

    모듈 삭제 _ 30

05 개발 생산성을 높여 줄 모던한 에디터 소개 _ 31

    자바스크립트 작성에 필요한 에디터는? _ 31

    Atom ― 풍부한 플러그인이 매력 _ 32

    Sublime Text ― 환상적인 커스터마이징 기능으로 사랑에 빠지게 된다는 화제

    Brackets ― HTML 편집에 특화된 빛나는 에디터 _ 36

    통합 개발 환경에서의 자바스크립트 개발 _ 38

    WebStorm ― 자바스크립트 개발에 특화된 개발 환경 _ 39

    NetBeans ― 자바 뿐만 아니라 다양한 웹 개발 언어를 지원 _ 40

더보기


저작자 표시 비영리 동일 조건 변경 허락
신고
크리에이티브 커먼즈 라이선스
Creative Commons License

댓글을 달아 주세요

  1.  댓글주소  수정/삭제  댓글쓰기 propose 2017.06.21 17:34 신고

    node download-node.js 에서 실패 ........
    Node.js 을 설치하기가 무지 힘드네요.............
    책따라 몇번 시도 하다가 책을 던져 버렸음. 도저히 불가능

    •  댓글주소  수정/삭제 Favicon of http://jpub.tistory.com BlogIcon 제이펍 2017.06.22 17:47 신고

      안녕하세요? 말씀해주신 부분을 확인 중에 있습니다. 확인 후에 대처안에 대해 곧 다시 안내해드리겠습니다. 감사합니다.

    •  댓글주소  수정/삭제 Favicon of http://jpub.tistory.com BlogIcon 제이펍 2017.06.26 10:11 신고

      역자께서 구축 환경을 위한 가이드를 작성해주셔서 위에 등록해두었습니다. '관련 파일 다운로드' 항목에서 받으시면 되겠습니다. 아무쪼록 도움이 되길 바라겠습니다.

  2.  댓글주소  수정/삭제  댓글쓰기 책좀잘써요 2017.06.21 21:58 신고

    초보자에게 컴환경 설정 얼마나 중요한데 아는사람기준으로 책을 써 놓으면 어쩌라는겁니까~ 눈높이를 낮춰 책번역하세요 그냥 있는데로 책 베겨 옮기지 말고~

    •  댓글주소  수정/삭제 Favicon of http://jpub.tistory.com BlogIcon 제이펍 2017.06.22 17:47 신고

      안녕하세요? 말씀해주신 부분을 확인 중에 있습니다. 확인 후에 대처안에 대해 곧 다시 안내해드리겠습니다. 감사합니다.

    •  댓글주소  수정/삭제 Favicon of http://jpub.tistory.com BlogIcon 제이펍 2017.06.26 10:11 신고

      역자께서 구축 환경을 위한 가이드를 작성해주셔서 위에 등록해두었습니다. '관련 파일 다운로드' 항목에서 받으시면 되겠습니다. 아무쪼록 도움이 되길 바라겠습니다.

  3.  댓글주소  수정/삭제  댓글쓰기 propose 2017.06.27 15:36 신고

    1. 내컴퓨터정보 : 윈도우7 (I7-4790 CPU@3.60GHz, 16.0GB, 64비트, 정품)

    2. virtualbox 설치 : VirtualBox-5.1.22-115126-Win.exe 설치

    3. vagrant 설치 : vagrant_1.9.5.msi 설치 ==> 재부팅

    4. vittualbox 재실행(CentoOS 6.8)

    5. cmd ==> c:\home 폴더 생성 ==> cd home

    6. c:\home>vagrant int

    7 c:\home>Vagrantfile ==> config.vm.box 수정

    8. c:\home>vagrant up

    9. c:\home>vagrant ssh ==> 로그인 정보 접수

    10. Poderosa.zip 다운로드 ==> 설치

    11. Poderosa.exe ==> 9번 접속정보로 접속 성공

    12. [vagrant@localhost ~]$ curl -o- https://raw.githubusercontent.com/creationix/nvm/v0.25.3/install.sh |

    bash

    13. logout

    14. 재접속 로그인 ==> nvm install v0.12.4 설치

    15. nvm alias default v0.12.4

    16. node -v ==> v0.12.4 성공

    17. node ==> 3 + 5 ==> 성공

    18. sudo visudo ==> vi 수정 성공

    19. loggout => login

    20. sudo yum install git

    21. Vagrantfile 설정 추가 (config.vm.network~~~~~~~~~~~~~)

    22. c:\home>vagrant reload

    23. npm install -g request

    24. npm root -g 경로확인 /home/vagrant/.nvm/versions/node/v0.12.4/lib/node_modules

    25. node -e "console.log(global.module.paths)" ==> 확인

    26. NODE_PATH 설정 확인

    27. 에러나서 안됨 ===============================================================>>>>>>>>

    [vagrant@localhost ~]$ node download-node.js
    module.js:338
    throw err;
    ^
    Error: Cannot find module '/home/vagrant/download-node.js'
    at Function.Module._resolveFilename (module.js:336:15)
    at Function.Module._load (module.js:278:25)
    at Function.Module.runMain (module.js:501:10)
    at startup (node.js:129:16)
    at node.js:814:3

  4.  댓글주소  수정/삭제  댓글쓰기 이동규 2017.06.27 18:23 신고

    안녕하세요 역자입니다

    에러메시지를 봤을때
    /home/vagrant/ 경로에
    download-node.js 라는 파일이 없어서 발생한 문제로 보입니다

    환경설치는 잘 진행하신거같구요

    현재 폴더인 /home/vagrant/ 에
    download-node.js 가 있는지 ls명령어로 확인해주시고 없다면

    vi download-node.js
    로 vi편집기로 소스코드의 내용을 입력해주시고
    저장을 해주세요

    리눅스에서 폴더 이동, 파일 리스트확인
    그리고 vi 사용법은 제가 작성한 환경구축 가이드.pdf파일을 참고하여 주십시요

    •  댓글주소  수정/삭제 propose 2017.06.28 09:19 신고

      역자님은 /home/vagrant/download-node.js 없어서 나는 에러라고 하는데

      1. 책내용따라 설치하면 vagrant 는
      HashiCorp 디렉토리 밑에 설치됩니다. 그래서 /HashiCorp/vagrant ...

      2. 그래서 책에 있는내용에 따라 할려니
      home 디렉토리가 없어서 home 디렉토리을 만드니 /home/.vagrant ...
      이런식으로 됩니다.

      3. 즉 /home/.vagrant 에서 home 디렉토리 밑에 download-node.js 파일 복사해 놓고 실행하니 위와 같은 에러

      4. /HashiCorp/vagrant 에서 vagrant 폴더를 3번 home 디렉토리 밑으로 복사해서 실행해도 에러

      5. c:\home> 디렉토리을 인의적으로 만드는지 아니면 , 책 따라 파일을 설치하면 자동으로 생성되는 c:\HashiCorp>에서 HashiCorp 디렉토리명을 home 디렉토리명으로 변경해서 하는지 ? 에 대한
      추가 설명이 필요한 것 같습니다.

  5.  댓글주소  수정/삭제  댓글쓰기 이동규 2017.06.29 10:28 신고

    안녕하세요
    제가 pdf에 작성한 내용처럼
    가상환경과 윈도우환경을 혼동하고 계신거같습니다

    C:\ 로시작하는 폴더 경로는 윈도우에서 사용하는 것이고 리눅스는 C:\로 시작하지 않습니다.

    Vagrant가 HashiCorp밑에 설치된다는것도
    윈도우를 말씀하시는거같습니다.

    저희 실습은 vagrant를 통해 만들머진 가상환경
    centos에서 진행합니다

    1. Pedorosa통해서 centos에 접속하셨으면
    현재 폴더를 pwd 명령어를 통해서 확인해보시면
    /home/vagrant/
    라고 나와야 정상입니다

    /home/.vagrant라는걸 따로 안 만드셔도 되구요

    /home/vagrant/ 가 centos에 기본으로 자동으로
    만들어져있고 centos에 접속했을때 첫 폴더가
    /home/vagrant/ 이어야합니다.

    2. 현재 있는 폴더에
    download-node.js 소스코드 파일이 있어야합니다. ls명령어를 통해 현재 폴더에 있는지 확인해주시고 없다면 vi download-node.js 를 하셔서 소스코드 내용을 입력하신후
    node download-node.js 를 해보시기 바랍니다.

  6.  댓글주소  수정/삭제  댓글쓰기 propose 2017.06.29 15:34 신고

    성공했습니다. 친절하게 답변해 주신 역자님에게 감사드립니다.
    실패한 것은 /home/vagrant 에서 실행해서 입니다.
    /home/vagrant/sync 에서 실행하니 정상적으로 잘 됩니다.
    거듭 감사드립니다. 꾸벅~~~~~~~~~~~~~~~~



티스토리 툴바