[kafka] 카프카 클라이언트 개발하기 - 어드민 API
·
AI & 빅데이터/kafka
[kafka] 카프카 클라이언트 개발하기 - 프로듀서 API [kafka] 카프카 클라이언트 개발하기 - 컨슈머 API 앞서, 프로듀서와 컨슈머를 통해 데이터를 주고받는 실습을 진행해보았다. 카프카 클라이언트에서는 내부 옵션을 설정/조회하기 위해 AdminClient 클래스를 제공한다. AdminClient 클래스를 활용하면 클러스터의 옵션과 관련된 부분을 자동화할 수 있으며, 아래와 같은 방법으로 활용될 수 있다. - 카프카 컨슈머를 멀티 스레드로 생성할 때, 구독하는 토픽의 파티션 개수만큼 스레드를 생성하고 싶을 때, 스레드 생성 전에 해당 토픽의 파티션 개수를 어드민 API를 통해 가져올 수 있다. - AdminClient 클래스로 구현한 웹 대시보드를 통해 ACL(Access Control Lis..
[kafka] 카프카 클라이언트 개발하기 - 프로듀서 API
·
AI & 빅데이터/kafka
프로듀서 애플리케이션은 카프카에 필요한 데이터를 선언하고 브로커의 특정 토픽 파티션에 전송한다. 프로듀서는 리더 파티션을 가지고 있는 카프카 브로커와 직접 통신한다. 이를 인텔리제이를 사용하여 프로듀서 애플리케이션을 개발하고 실행해보자. 1. 토픽 생성하기 카프카 프로듀서 애플리케이션을 실행하기 전에 전송될 토픽을 생성한다. 2. 프로듀서 개발하여 실행하기 토픽에 데이터를 전송하고, 이를 명령어로 확인해본다. 1) 프로듀서 코드 package com.example; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafk..