Data Science Lab

[Kafka] Kafka 클러스터 4노드 구성 - Controller, Broker 혼합해서 구성하기 l Kafka 3.6.1 with KRaft 지난 포스트에서는 카프카를 단일 노드에 구성한 뒤 간단히 PUB/SUB를 테스트하는 방법에 대해서 알아보았다. l Kafka 설치 (with KRaft) 및 PUB/SUB 테스트 코드 (with Python) 실습 : https://sungwookkang.com/entry/Kafka-Kafka-%EC%84%A4%EC%B9%98-with-KRaft-%EB%B0%8F-PUBSUB-%ED%85%8C%EC%8A%A4%ED%8A%B8-%EC%BD%94%EB%93%9C-with-Python-%EC%8B%A4%EC%8A%B5 이번 포스트는 4 node의 카프카 서버를 클러..

[Kafka] KRaft 설정 파일 및 기본 속성 정의 알아보기 l Kafka 3.6.1 with KRaft Apache Kafka Raft(KRaft)는 메타데이터 관리를 위해 ZooKeeper에 대한 Apache Kafka의 종속성을 제거하기 위해 KIP-500에 도입된 합의 프로토콜이다. 이는 메타데이터에 대한 책임을 ZooKeeper와 Kafka라는 두 개의 다른 시스템으로 분할하는 대신 Kafka 자체에 통합함으로써 Kafka의 아키텍처를 크게 단순화한다. KRaft 모드는 이전 컨트롤러를 대체하고 Raft 합의 프로토콜의 이벤트 기반 변형을 사용하는 Kafka의 새로운 쿼럼 컨트롤러 서비스를 사용한다. Kafka의 새로운 쿼럼 컨트롤러의 이점은 아래와 같다. 1. KRaft는 적절한 크기의 클..