[kafka] 웹 페이지 이벤트 적재 파이프라인 생성 - 2) 기능 구현하기
·
AI & 빅데이터/kafka
웹 페이지에서 생성되는 이벤트들을 분석하기 위해, HDFS와 엘라스틱서치에 적재하는 파이프라인을 만드는 프로젝트를 개발해보자. 1) 요구 사항과 정책 및 기능 정의하기 기획한 내용은 위 게시글에 정리되어 있다. 기능 구현 정의된 내용을 기반으로 아키텍처를 그리면 다음과 같다. 작업 리스트 - 로컬 하둡, 엘라스틱서치, 키바나 설치 - 토픽 생성 - 이벤트 수집 웹페이지 개발 - REST API 프로듀서 애플리케이션 개발 - 하둡 적재 컨슈머 애플리케이션 개발 - 엘라스틱서치 싱크 커넥터 개발 로컬 하둡, 엘라스틱서치, 키바나 설치 1) homebrew 설치 로컬 환경에 하둡과 엘라스틱서치를 설치할 때, homebrew와 같은 패키치 설치 도구를 사용하면 편리하다. 아래의 명령어로 순서대로 입력하여 hom..