[kafka] 웹 페이지 이벤트 적재 파이프라인 생성 - 1) 요구 사항과 정책 및 기능 정의하기
·
AI & 빅데이터/kafka
웹 페이지에서 생성되는 이벤트들을 분석하기 위해, HDFS와 엘라스틱서치에 적재하는 파이프라인을 만드는 프로젝트를 개발해보자. 요구사항 이름을 입력하고 자신이 좋아하는 색상을 고르는 버튼을 누르면 해당 이벤트와 유저 에이전트 정보를 카프카 토픽으로 전달하고, 최종적으로 하둡과 엘라스틱서치에 적재되도록 한다. - 하둡은 대용량 데이터를 분석 처리할 수 있으며, HDFS는 대용량 파일을 하둡에 안정적으로 저장할 수 있게 하는 파일 시스템이다. - 엘라스틱서치는 아파치 루씬 기반 오픈소스 분산 검색 엔진이다. 엘라스틱서치에 데이터를 쌓아서 많은 데이터를 저장/검색/분석할 수 있으며 키바나를 통해 데이터를 시각화하고 분석할 수 있다. 정책 및 기능 정의 적재 정책 - 적재 파이프라인을 만들 때 가장 먼저 결정해..