카프카의 구성요소카프카는 기본적으로 Producer, Kafka Cluster, Consumer 로 구성되어 있습니다. Producer- Message 를 만들어서 Broker 에 전송Kafka Cluster- Kafka Cluster은 여러 개의 Broker로 구성된 Kafka System.Consumer- Broker에 저장된 메시지를 Topic을 통해 가져옴.- 즉, 특정한 Topic을 구독하는 하나의 인스턴스이다.    1) Consumer GroupConsumer Group이란?Consumer Group은 여러 Consumer들이 하나로 묶인 논리적인 그룹 단위 입니다.Consumer는 group.id를 통해 식별되며, 동일한 group.id를 가진 Consumer끼리 같은 Consumer Gr..

Kafka란?Kafka는 분산형 데이터 스트리밍 플랫폼으로, 대량의 데이터를 안정적이고 실시간으로 처리할 수 있도록 설계되었습니다.Kafka는 웹사이트, 어플리케이션, 센서 등에서 취합한 데이터를 스트림 파이프라인을 통해 실시간으로 관리하고 전송하며, 데이터를 생성하는 어플리케이션 (Producer) 과 데이터를 소비하는 어플리케이션 (Consumer) 간의 중재자 역할 (Broker) 을 합니다.  즉, Kafka는 다양한 서비스에서 나오는 데이터 흐름을 실시간으로 제어하는 서비스의 중추 역할을 하는 플랫폼입니다. 등장 배경 - Before KafkaKafka는 비즈니스 소셜 네트워크 서비스 플랫폼인 LinkedIn 에서 설계한 시스템으로, 어플리케이션이 늘어남에 따라 발생하는 기존 데이터 시스템의 문..