Connector (2) 썸네일형 리스트형 [Kafka] Source Connector 생성 Source Connector는 Connect에 API 호출을 통해 생성한다. ex. source_connector.json { "name": "postgres-source-connector", "config": { "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector", "connection.url": "jdbc:postgresql://postgres-server:5432/mydatabase", "connection.user": "myuser", "connection.password": "mypassword", "table.whitelist": "iris_data", "topic.prefix": "postgres-source-", ".. [Kafka] Producer와 Consumer의 한계 Kafka는 Producer와 Consumer Client를 통해 메시지를 파이프라인을 쉽게 구성할 수 있다. 하지만 전달해야할 DB가 늘어날 때 마다 Producer, Topic, Consumer도 한개씩 늘어나기 때문에 개발 비용, 반복작업이 많아 질 수 있다. 따라서, 더 간편하고 효율적으로 메시지 파이프라인을 구축하는 방법으로 Kafka에서는 Connect와 Connector라는 것이 탄생하게 되었다. Connect & Connector Connect는 데이터 시스템과 Kafka 간의 데이터를 확장 가능하고, 안전한 방법으로 Streaming하기 위한 도구이다. Connect를 사용하기 위해서 데이터를 어디로부터 가져오는지, 어디에다가 전달해야 하는지를 알려주는 Connector를 정의해야 한다... 이전 1 다음
