전지적라온시점

Apache Kafka란? 실시간 데이터 스트리밍 핵심 개념과 동작 원리Apache Kafka는 대규모 실시간 데이터 처리에 특화된 분산 스트리밍 플랫폼입니다. LinkedIn에서 개발되어 현재는 오픈소스로 관리되며, 실시간 로그 수집, 이벤트 기반 아키텍처, 데이터 파이프라인 구성 등에 널리 활용됩니다. 이 글에서는 Kafka의 개념, 구성 요소, 동작 구조, 사용 사례를 중심으로 정리합니다.1. Kafka란?Kafka는 Pub/Sub 메시징 시스템이자 분산 로그 저장 시스템입니다. 대용량 메시지를 빠르게 전송하고 저장할 수 있어 데이터 중심 아키텍처의 핵심으로 자리 잡았습니다.2. Kafka 핵심 개념Producer: 메시지를 발행하는 시스템 (예: 앱, 서버)Consumer: 메시지를 구독하고 처리..