Schema Registry (2) 썸네일형 리스트형 [Kafka] Kafka System 앞선 포스트들의 이론을 가지고 Kafka System을 구축해보겠다. 먼저 Docker compose로 zookeeper, Broker, Schema Registry, Connect를 생성한다. Zookeeper : 브로커 서버의 상태 감지를 위해 사용되는 주키퍼 서버Broker : Source Connector에서 데이터를 받아 Topic에 저장, Sink Connector로 데이터를 넘겨줄 브로커 서버(이 포스트에서는 단일 브로커 사용)Schema Registry : 메시지의 schema를 저장하기 위한 Schema Registry 서버Connect : Connector를 띄우기 위한 Connect 서버 Zookeeper와 Broker를 띄우는 코드는 이전 포스트에서 작성한 코드이다. [Kafka] .. [Kafka] Producer와 Consumer의 한계 Kafka는 Producer와 Consumer Client를 통해 메시지를 파이프라인을 쉽게 구성할 수 있다. 하지만 전달해야할 DB가 늘어날 때 마다 Producer, Topic, Consumer도 한개씩 늘어나기 때문에 개발 비용, 반복작업이 많아 질 수 있다. 따라서, 더 간편하고 효율적으로 메시지 파이프라인을 구축하는 방법으로 Kafka에서는 Connect와 Connector라는 것이 탄생하게 되었다. Connect & Connector Connect는 데이터 시스템과 Kafka 간의 데이터를 확장 가능하고, 안전한 방법으로 Streaming하기 위한 도구이다. Connect를 사용하기 위해서 데이터를 어디로부터 가져오는지, 어디에다가 전달해야 하는지를 알려주는 Connector를 정의해야 한다... 이전 1 다음
