0. Kafka란? - 아파치 카프카(Apache Kafka)는 LinkedIn에서 개발된 분산 메시징 시스템. - 발행-구독(publish-subscribe) 모델을 기반으로 동작. - 크게 producer, consumer, broker, connectors, streams processors 구성 1. 탄생배경 - 모든 시스템으로 데이터를 전송, 실시간 처리도 가능한 것. - 데이터가 갑자기 많아 지더라도 확장이 용이한 시스템이 필요함 - Befroe Kafka : 엔드투엔드 연결 방식의 아키텍쳐 : 데이터 연동의 복잡성 증가(하드웨어, 운영체제, 장애 등) : 각기 다른 데이터 파이프라인 연결구조 : 확장에 엄청남 노력이 필요 - After Kafka : 프로듀서/컨슈머 분리 : 메시지 데이터를 ..
Kafka 개요
0. Kafka란? - 아파치 카프카(Apache Kafka)는 LinkedIn에서 개발된 분산 메시징 시스템. - 발행-구독(publish-subscribe) 모델을 기반으로 동작. - 크게 producer, consumer, broker, connectors, streams processors 구성 1. 탄생배경 - 모든 시스템으로 데이터를 전송, 실시간 처리도 가능한 것. - 데이터가 갑자기 많아 지더라도 확장이 용이한 시스템이 필요함 - Befroe Kafka : 엔드투엔드 연결 방식의 아키텍쳐 : 데이터 연동의 복잡성 증가(하드웨어, 운영체제, 장애 등) : 각기 다른 데이터 파이프라인 연결구조 : 확장에 엄청남 노력이 필요 - After Kafka : 프로듀서/컨슈머 분리 : 메시지 데이터를 ..
2021.03.09