분류 전체보기
-
[KAFKA] 카프카의 구성요소Kafka 2024. 7. 16. 15:03
카프카의 구성요소카프카는 기본적으로 Producer, Kafka Cluster, Consumer 로 구성되어 있습니다. Producer- Message 를 만들어서 Broker 에 전송Kafka Cluster- Kafka Cluster은 여러 개의 Broker로 구성된 Kafka System.Consumer- Broker에 저장된 메시지를 Topic을 통해 가져옴.- 즉, 특정한 Topic을 구독하는 하나의 인스턴스이다. 1) Consumer GroupConsumer Group이란?Consumer Group은 여러 Consumer들이 하나로 묶인 논리적인 그룹 단위 입니다.Consumer는 group.id를 통해 식별되며, 동일한 group.id를 가진 Consumer끼리 같은 Consumer Gr..
-
[KAFKA] 카프카 간단하게 알아보기. 카프카란 무엇인가?Kafka 2024. 7. 15. 14:11
Kafka란?Kafka는 분산형 데이터 스트리밍 플랫폼으로, 대량의 데이터를 안정적이고 실시간으로 처리할 수 있도록 설계되었습니다.Kafka는 웹사이트, 어플리케이션, 센서 등에서 취합한 데이터를 스트림 파이프라인을 통해 실시간으로 관리하고 전송하며, 데이터를 생성하는 어플리케이션 (Producer) 과 데이터를 소비하는 어플리케이션 (Consumer) 간의 중재자 역할 (Broker) 을 합니다. 즉, Kafka는 다양한 서비스에서 나오는 데이터 흐름을 실시간으로 제어하는 서비스의 중추 역할을 하는 플랫폼입니다. 등장 배경 - Before KafkaKafka는 비즈니스 소셜 네트워크 서비스 플랫폼인 LinkedIn 에서 설계한 시스템으로, 어플리케이션이 늘어남에 따라 발생하는 기존 데이터 시스템의 문..
-
[SSH] WSL 원격 접속 에러 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!Error Handling 2024. 2. 21. 13:26
에러 발생 평소처럼 WSL에 ssh 접속을 하려고 명령어를 입력했는데, 이런 에러가 나오는것이 아니겠는가,, @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that a host ke..
-
[Linux] systemctl 명령 에러 : System has not been booted with systemd as init system (PID 1). Can't operate. 해결 방법Error Handling 2024. 2. 16. 13:28
Linux 환경에 Docker 를 설치하고 실행하던 중, sudo systemctl status docker 명령어로 docker 가 실행중인지 아닌지 확인하려고 했는데, 에러가 발생하였습니다. 구글링해본 결과, 설치한 리눅스의 루트 시스템 프로세스가 systemd가 아닌 init이어서 발생하는 문제였습니다. pstree 명령어를 사용하여 실행되고 있는 프로세스들간의 연결구조를 트리형식으로 볼 수 있습니다. 현재는 수정을 완료하여 루트 시스템이 systemd 가 나타나는 것을 볼 수 있는데, 기존에는 init 으로 되어있었습니다. 해결 방법 wsl 에서 리눅스 부팅 시 systemd 환경으로 부팅하도록 해주면 됩니다. 먼저, /etc 경로로 이동합니다. cd /etc wsl.conf 를 생성한 뒤, 아래..
-
[기타] NVM 정의 및 설치 방법FrontEnd/기타 2024. 2. 14. 16:05
NVM 이란? NVM 이란 Node Version Manager 으로, 여러 버전의 Node.js 를 설치해두고 편하게 관리할 수 있게 해주는 것이다. 설치 방법 brew install nvm # 혹은 curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/master/install.sh | bash PATH 설정 bash mkdir ~/.nvm sudo vi ~/.bash_profile # 아래 내용 추가 export NVM_DIR="$HOME/.nvm" [ -s "/usr/local/opt/nvm/nvm.sh" ] && . "/usr/local/opt/nvm/nvm.sh" # This loads nvm [ -s "/usr/local/opt/nvm/etc/bas..
-
[WPF] Serilog appsettings.json 옵션 값 설명WPF 2024. 2. 2. 17:12
WPF 프로젝트에서 serilog 를 사용해서 로그 기능을 구현하는 중인데, json을 사용해서 option을 설정하는 방법이 잘 안나와있는것 같아서 정리해보았습니다. 저는 serilog-settings-configuration 을 사용해서 설정해주었습니다. { "Log": { "Serilog": { "Using": [ "Serilog.Sinks.Console", "Serilog.Sinks.File" ], // MinimumLevel : Log Level을 설정 "MinimumLevel": "Debug", // WriteTo : Log를 어디에 출력할지 설정 "WriteTo": [ // Console Log { "Name": "Console", // Args : Console Log에 출력할 형식을 설정..