Kafka란?Kafka는 분산형 데이터 스트리밍 플랫폼으로, 대량의 데이터를 안정적이고 실시간으로 처리할 수 있도록 설계되었습니다.Kafka는 웹사이트, 어플리케이션, 센서 등에서 취합한 데이터를 스트림 파이프라인을 통해 실시간으로 관리하고 전송하며, 데이터를 생성하는 어플리케이션 (Producer) 과 데이터를 소비하는 어플리케이션 (Consumer) 간의 중재자 역할 (Broker) 을 합니다.  즉, Kafka는 다양한 서비스에서 나오는 데이터 흐름을 실시간으로 제어하는 서비스의 중추 역할을 하는 플랫폼입니다. 등장 배경 - Before KafkaKafka는 비즈니스 소셜 네트워크 서비스 플랫폼인 LinkedIn 에서 설계한 시스템으로, 어플리케이션이 늘어남에 따라 발생하는 기존 데이터 시스템의 문..