카프카의 구성요소카프카는 기본적으로 Producer, Kafka Cluster, Consumer 로 구성되어 있습니다. Producer- Message 를 만들어서 Broker 에 전송Kafka Cluster- Kafka Cluster은 여러 개의 Broker로 구성된 Kafka System.Consumer- Broker에 저장된 메시지를 Topic을 통해 가져옴.- 즉, 특정한 Topic을 구독하는 하나의 인스턴스이다.    1) Consumer GroupConsumer Group이란?Consumer Group은 여러 Consumer들이 하나로 묶인 논리적인 그룹 단위 입니다.Consumer는 group.id를 통해 식별되며, 동일한 group.id를 가진 Consumer끼리 같은 Consumer Gr..

Kafka란?Kafka는 분산형 데이터 스트리밍 플랫폼으로, 대량의 데이터를 안정적이고 실시간으로 처리할 수 있도록 설계되었습니다.Kafka는 웹사이트, 어플리케이션, 센서 등에서 취합한 데이터를 스트림 파이프라인을 통해 실시간으로 관리하고 전송하며, 데이터를 생성하는 어플리케이션 (Producer) 과 데이터를 소비하는 어플리케이션 (Consumer) 간의 중재자 역할 (Broker) 을 합니다.  즉, Kafka는 다양한 서비스에서 나오는 데이터 흐름을 실시간으로 제어하는 서비스의 중추 역할을 하는 플랫폼입니다. 등장 배경 - Before KafkaKafka는 비즈니스 소셜 네트워크 서비스 플랫폼인 LinkedIn 에서 설계한 시스템으로, 어플리케이션이 늘어남에 따라 발생하는 기존 데이터 시스템의 문..

개요 Docker 를 사용해 서버 배포 환경을 구성하던 중에, Docker Container 안에서 서버가 정상적으로 작동중이고, Port 매핑을 해줬음에도 서버에 접근하면 localhost 에서 전송한 데이터가 없다는 화면이 출력되었다. 해결 방법 서버 실행 시킬 때, localhost 나 127.0.0.1 로 설정하는것 보다 0.0.0.0 으로 설정하니까 정상적으로 작동하였다.

에러 발생 평소처럼 WSL에 ssh 접속을 하려고 명령어를 입력했는데, 이런 에러가 나오는것이 아니겠는가,, @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that a host ke..

Linux 환경에 Docker 를 설치하고 실행하던 중, sudo systemctl status docker 명령어로 docker 가 실행중인지 아닌지 확인하려고 했는데, 에러가 발생하였습니다. 구글링해본 결과, 설치한 리눅스의 루트 시스템 프로세스가 systemd가 아닌 init이어서 발생하는 문제였습니다. pstree 명령어를 사용하여 실행되고 있는 프로세스들간의 연결구조를 트리형식으로 볼 수 있습니다. 현재는 수정을 완료하여 루트 시스템이 systemd 가 나타나는 것을 볼 수 있는데, 기존에는 init 으로 되어있었습니다. 해결 방법 wsl 에서 리눅스 부팅 시 systemd 환경으로 부팅하도록 해주면 됩니다. 먼저, /etc 경로로 이동합니다. cd /etc wsl.conf 를 생성한 뒤, 아래..

NVM 이란? NVM 이란 Node Version Manager 으로, 여러 버전의 Node.js 를 설치해두고 편하게 관리할 수 있게 해주는 것이다. 설치 방법 brew install nvm # 혹은 curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/master/install.sh | bash PATH 설정 bash mkdir ~/.nvm sudo vi ~/.bash_profile # 아래 내용 추가 export NVM_DIR="$HOME/.nvm" [ -s "/usr/local/opt/nvm/nvm.sh" ] && . "/usr/local/opt/nvm/nvm.sh" # This loads nvm [ -s "/usr/local/opt/nvm/etc/bas..

WPF 프로젝트에서 serilog 를 사용해서 로그 기능을 구현하는 중인데, json을 사용해서 option을 설정하는 방법이 잘 안나와있는것 같아서 정리해보았습니다. 저는 serilog-settings-configuration 을 사용해서 설정해주었습니다. { "Log": { "Serilog": { "Using": [ "Serilog.Sinks.Console", "Serilog.Sinks.File" ], // MinimumLevel : Log Level을 설정 "MinimumLevel": "Debug", // WriteTo : Log를 어디에 출력할지 설정 "WriteTo": [ // Console Log { "Name": "Console", // Args : Console Log에 출력할 형식을 설정..

Serilog 패키지를 사용하여 log 를 출력하고 파일에 저장하는 기능을 적용해보도록 하겠습니다. 우선, Nuget Package 에서 아래 패키지를 설치해줍니다. Serilog Serilog.Sinks.Console Serilog.Sinks.File 저는 json 파일로 config 설정을 해줄 것이므로 아래 패키지를 추가로 설치했습니다. Serilog.Settings.Configuration Microsoft.Extensions.Configuration Microsoft.Extensions.Configuration.FileExtensions Microsoft.Extensions.Configuration.Json 이렇게 설치하고 나면 기본적인 Setting 은 끝났습니다. 이제 코드 작성으로 넘어가보..