CHAPTER 1 빅데이터의 기초 지식 1-1. 빅데이터의 정착 1-2. 빅데이터 시대의 데이터 분석 기반 1-3. 스크립트 언어에 의한 특별 분석과 데이터 프레임 1-4. BI 도구와 모니터링 1-5. 요약 1장에서는 빅데이터 기술이 생겨난 역사적 배경과 그 기본이 되는 사고방식, 용어를 정리한다. 빅데이터의 기술이 기존의 데이터 웨어하우스와 다른 점은 다수의 분산 시스템을 조합하여 확장성이 뛰어난 데이터 처리 구조를 만든다는 점이다. 1-2절에서는 그 차이점에 관해 설명한다. 빅데이터의 기술 : 분산 시스템을 활용해서 데이터를 가공해 나가는 구조 데이터 파이프라인 일반적으로 '차례대로 전달해나가는 데이터로 구성된 시스템'을 뜻한다. 빅데이터의 데이터 파이프라인은 어디에서 데이터를 수집하여 무엇을 실현..

CHAPTER 1 빅데이터의 기초 지식 1-1. 빅데이터의 정착 1-2. 빅데이터 시대의 데이터 분석 기반 1-3. 스크립트 언어에 의한 특별 분석과 데이터 프레임 1-4. BI 도구와 모니터링 1-5. 요약 1장에서는 빅데이터 기술이 생겨난 역사적 배경과 그 기본이 되는 사고방식, 용어를 정리한다. 분산 시스템에 의한 데이터 처리의 고속화 : 빅데이터의 취급하기 어려운 점을 극복한 두 가지 대표 기술 대량의 데이터를 활용하여 가치를 창출하거나 의사 결정을 하는 일이 보편화 되고, 클라우드 서비스의 보급으로 기술적인 제약이 적어져 이제는 누구나 데이터를 분석할 수 있는 시대가 되었다. 하지만 여전히 빅데이터의 취급이 어려우며, 그 이유는 두 가지로 1. 데이터의 분석 방법을 모른다. 2. 데이터 처리에 ..

데이터 엔지니어가 되기로 결심하여 이 책을 읽고 정리해보려고 한다. 이번달 안에 성공할 수 있기를 !! 목차 CHAPTER 1 빅데이터의 기초 지식 1-1. 빅데이터의 정착 1-2. 빅데이터 시대의 데이터 분석 기반 1-3. 스크립트 언어에 의한 특별 분석과 데이터 프레임 1-4. BI 도구와 모니터링 1-5. 요약 CHAPTER 2 빅데이터의 탐색 2-1. 크로스 집계의 기본 2-2. 열 지향 스토리지에 의한 고속화 2-3. 애드 혹 분석과 시각화 도구 2-4. 데이터 마트의 기본 구조 2-5. 요약 CHAPTER 3 빅데이터의 분산 처리 3-1. 대규모 분산 처리의 프레임워크 3-2. 쿼리 엔진 3-3. 데이터 마트의 구축 3-4. 요약 CHAPTER 4 빅데이터의 축적 4-1. 벌크 형과 스트리밍 ..