Hadoop an open source software platform for distributed storage and distributed processing of very large data sets on computer clusters built from commodity hardware. 빅데이터에 대한 분산 처리, 분산 저장소에 대한 오픈 소스 소프트웨어 플랫폼. Hadoop 자체 시스템으로는 HDFS, YARN, MapReduce 3가지가 있다. HDFS (Hadoop Distributed File System) 대용량 데이터들을 분산된 서버에 저장하고, 저장된 데이터를 빠르게 처리할 수 있게 하는 파일 시스템. YARN 컴퓨팅 클러스터의 리소스를 관리하는 시스템. 여러 작업들을 하나의 리소..

CHAPTER 3 빅데이터의 분산 처리 3-1. 대규모 분산 처리의 프레임워크 3-2. 쿼리 엔진 3-3. 데이터 마트의 구축 3-4. 요약 3장에서는 분산 시스템의 대표적인 프레임워크인 Hadoop과 Spark를 이용한 데이터 처리에 관해 설명한다. '구조화 데이터'와 '비구조화 데이터'의 차이를 정리하고, Hadoop에서 구조화 데이터를 만들어서 집계할 때까지의 흐름을 설명한다. Hadoop과 Spark의 차이점을 정리한다. 구조화 데이터와 비구조화 데이터 SQL로 데이터를 집계하는 경우, 먼저 테이블의 칼럼 명과 데이터형, 테이블 간의 관계 등을 '스키마(schema)'로 정한다. 스키마가 명확하게 정의된 데이터를 '구조화된 데이터'라고 한다. 빅데이터는 반드시 구조화된 데이터만 있는 것이 아니라 ..