zookeeper (3) 썸네일형 리스트형 [Kafka] Kafka System 앞선 포스트들의 이론을 가지고 Kafka System을 구축해보겠다. 먼저 Docker compose로 zookeeper, Broker, Schema Registry, Connect를 생성한다. Zookeeper : 브로커 서버의 상태 감지를 위해 사용되는 주키퍼 서버Broker : Source Connector에서 데이터를 받아 Topic에 저장, Sink Connector로 데이터를 넘겨줄 브로커 서버(이 포스트에서는 단일 브로커 사용)Schema Registry : 메시지의 schema를 저장하기 위한 Schema Registry 서버Connect : Connector를 띄우기 위한 Connect 서버 Zookeeper와 Broker를 띄우는 코드는 이전 포스트에서 작성한 코드이다. [Kafka] .. [Kafka] Producer & Consumer 먼저 Producer와 Consumer에 대해 알아보자. Producer는 "메시지 생산"해서 Broker의 Topic으로 메시지를 보내는 역할을 하는 어플리케이션 또는 서버이다. 데이터 전송 시 "리더 파티션"을 가지고 있는 Broker와 직접 통신한다. 원하는 Topic의 파티션에 전송만하며 이후 어떤 Consumer에게 전송되는 지는 신경쓰지 않는다. Consumer는 Topic의 파티션에 저장되어 있는 "메시지를 소비"하는 역할을 하는 어플리케이션 또는 서버이다. 데이터를 요청할 때 리더 파티션을 가지고 있는 Broker와 통신하여 Topic의 파티션으로부터 데이터를 가져간다. 운영 방법은 2가지가 있다. 운영방법1 - Topic의 특정 파티션만 구독하는 Consumer 운영 운영방법2 - 1개 .. [Kafka] 개요 보기전에 한번 보고 메시징 시스템에 대한 이해를 하고 가길 추천한다. 메시징 시스템 메시징 시스템(Message System)이란 서로 다른 Application 끼리 정보 교환하기 위해 메시지의 생성, 전송, 전달 및 저장을 가능하게 하는 시스템을 말한다. 이러한 시스템은 주로 하나의 어플리케이션 pupbani.tistory.com Kafka는 Open-source Distributed Event Streaming Platform이다. Event Streaming이란? DB, Sensor, Moblie, app... 등과 같은 곳에서 발생하는 데이터를 event stream 형태로 저장해서 나중에 검색할 수 있도록 하는 것을 말한다. 다시 말해, Kafka는 데이터를 실시간으로 처리하고, 필요에 따라서.. 이전 1 다음
