목록Development/Kafka (4)
전지적라온시점
Kafka에서 JSON 메시지 주고받기 – Spring Kafka로 객체 직렬화 처리하기Kafka에서는 문자열뿐 아니라 JSON 형식의 객체 메시지도 주고받을 수 있습니다. Spring Kafka를 활용하면 직렬화(Serialization)와 역직렬화(Deserialization)를 자동으로 처리할 수 있어 매우 편리합니다. 이 글에서는 Java 객체를 Kafka 메시지로 전송하고, 다시 객체로 받는 과정을 예제 중심으로 설명합니다.1. 메시지 객체 클래스 정의JSON으로 주고받을 데이터를 Java 객체로 정의합니다.public class UserEvent { private String userId; private String action; // 생성자, getter/setter 생략}2..
Spring Kafka 연동 실전 가이드 – Producer, Consumer 구현부터 설정까지Spring Kafka는 Kafka를 Spring 애플리케이션에 쉽게 통합할 수 있도록 도와주는 모듈입니다. 복잡한 설정 없이 간단한 애노테이션과 설정만으로 Kafka 메시지를 송수신할 수 있습니다. 이 글에서는 Spring Kafka의 기본 설정부터 Producer/Consumer 구현, 실무 팁까지 상세히 정리합니다.1. 의존성 추가 (Gradle)dependencies { implementation 'org.springframework.kafka:spring-kafka'}2. application.yml 설정spring: kafka: bootstrap-servers: localhost:9092..
Kafka Producer와 Consumer 실전 사용법 – 메시지 발행과 수신 구조 완벽 이해Apache Kafka의 핵심은 바로 Producer(생산자)와 Consumer(소비자)입니다. Producer는 메시지를 Kafka에 발행하고, Consumer는 이를 구독하여 처리합니다. 이 글에서는 Kafka의 Producer/Consumer 구조, 설정법, Java 코드 예제를 통해 실무에서 바로 쓸 수 있도록 정리합니다.1. Kafka 구성 복습Kafka 시스템은 다음과 같은 구조로 동작합니다:[Producer] → [Kafka Broker] → [Consumer Group]Producer: 메시지를 특정 Topic에 발행Consumer: Topic을 구독하고 메시지를 처리Broker: Kafka 서버..
Apache Kafka란? 실시간 데이터 스트리밍 핵심 개념과 동작 원리Apache Kafka는 대규모 실시간 데이터 처리에 특화된 분산 스트리밍 플랫폼입니다. LinkedIn에서 개발되어 현재는 오픈소스로 관리되며, 실시간 로그 수집, 이벤트 기반 아키텍처, 데이터 파이프라인 구성 등에 널리 활용됩니다. 이 글에서는 Kafka의 개념, 구성 요소, 동작 구조, 사용 사례를 중심으로 정리합니다.1. Kafka란?Kafka는 Pub/Sub 메시징 시스템이자 분산 로그 저장 시스템입니다. 대용량 메시지를 빠르게 전송하고 저장할 수 있어 데이터 중심 아키텍처의 핵심으로 자리 잡았습니다.2. Kafka 핵심 개념Producer: 메시지를 발행하는 시스템 (예: 앱, 서버)Consumer: 메시지를 구독하고 처리..