웹 페이지에서 생성되는 이벤트들을 분석하기 위해, HDFS와 엘라스틱서치에 적재하는 파이프라인을 만드는 프로젝트를 개발해보자. 1) 요구 사항과 정책 및 기능 정의하기 기획한 내용은 위 게시글에 정리되어 있다. 기능 구현 정의된 내용을 기반으로 아키텍처를 그리면 다음과 같다. 작업 리스트 - 로컬 하둡, 엘라스틱서치, 키바나 설치 - 토픽 생성 - 이벤트 수집 웹페이지 개발 - REST API 프로듀서 애플리케이션 개발 - 하둡 적재 컨슈머 애플리케이션 개발 - 엘라스틱서치 싱크 커넥터 개발 로컬 하둡, 엘라스틱서치, 키바나 설치 1) homebrew 설치 로컬 환경에 하둡과 엘라스틱서치를 설치할 때, homebrew와 같은 패키치 설치 도구를 사용하면 편리하다. 아래의 명령어로 순서대로 입력하여 hom..

웹 페이지에서 생성되는 이벤트들을 분석하기 위해, HDFS와 엘라스틱서치에 적재하는 파이프라인을 만드는 프로젝트를 개발해보자. 요구사항 이름을 입력하고 자신이 좋아하는 색상을 고르는 버튼을 누르면 해당 이벤트와 유저 에이전트 정보를 카프카 토픽으로 전달하고, 최종적으로 하둡과 엘라스틱서치에 적재되도록 한다. - 하둡은 대용량 데이터를 분석 처리할 수 있으며, HDFS는 대용량 파일을 하둡에 안정적으로 저장할 수 있게 하는 파일 시스템이다. - 엘라스틱서치는 아파치 루씬 기반 오픈소스 분산 검색 엔진이다. 엘라스틱서치에 데이터를 쌓아서 많은 데이터를 저장/검색/분석할 수 있으며 키바나를 통해 데이터를 시각화하고 분석할 수 있다. 정책 및 기능 정의 적재 정책 - 적재 파이프라인을 만들 때 가장 먼저 결정해..