8장: 발행/구독과 분산 큐

분산 큐를 쓰는 이유

큐를 시스템에 끼워 넣는 이점은 세 가지로 요약된다.

• 부하 관리 — 갑작스러운 요청 폭주를 큐가 흡수해 소비자가 자기 속도로 처리하게 한다
• 구성 요소 간 결합도 낮추기 — 생성자와 소비자가 서로의 존재나 가용성을 알 필요가 없어진다
• 신뢰성과 일관성 — 소비자가 죽어 있는 동안에도 메시지가 큐에 남아 있다

큐를 설계하고 구현할 때 확보해야 하는 것은 확장성, 장애 허용성, 메시지 일관성이다. 그리고 시스템의 주요 구성 요소는 큐 관리자, 메시지 저장소, 로드 밸런싱, 장애 허용과 복구, 확장성이다.

아키텍처를 설계할 때 고려할 사항

책이 나열하는 항목들은 실무에서 하나씩 걸려 본 적이 있는 것들이다.

발행/구독 시스템 설계

생성자가 특정 토픽에 메시지를 발행하면, 그 토픽을 구독한 소비자가 메시지를 받아 보는 구조다.

큐와의 결정적 차이는 하나의 메시지가 여러 소비자에게 전달된다는 점이다. 큐는 보통 하나의 메시지를 하나의 소비자가 가져가지만, 발행/구독은 구독자 수만큼 복제해 전달한다.

주요 특징은 다음과 같다.

• 생성자와 소비자 간의 낮은 결합도
• 확장성과 효율성
• 메시지 처리의 유연성

이를 갖추기 위해 필요한 구성 요소는 토픽 관리, 메시지 라우팅, 소비자 관리, 서비스 품질 기술, 확장성과 로드 밸런싱이다.

확장성을 결정짓는 요소

토픽 파티셔닝이 발행/구독 시스템 확장의 핵심 장치다. 파티션 수가 병렬 처리의 상한을 정한다.

신뢰성을 보장하는 요소

메시지 전달 보장은 세 수준으로 나뉜다.

이 외에 장애 허용성과 메시지 순서 보장이 신뢰성의 축을 이룬다. 소비자 관리와 메시지 라우팅 측면에서는 소비자 등록 및 관리, 효율적인 메시지 라우팅이 필요하다.

기본적인 발행/구독 시스템 구축 절차

1. 적절한 도구와 기술 선택하기 — 아파치 카프카, RabbitMQ, 구글 Pub/Sub 중 플랫폼을 고르고 구현 언어와 프레임워크를 정한다
2. 발행/구독 인프라 설정하기
3. 생성자와 소비자 구현하기
4. 테스트 및 최적화하기

카프카

아파치 카프카는 대용량 실시간 데이터 피드를 처리하려고 설계된 분산 스트리밍 플랫폼이다. 내구성, 속도, 확장성을 고려해 설계됐고, 발행/구독과 큐 기반 메시지 패턴을 모두 구현할 수 있다는 점이 강점이다.

핵심 개념은 넷이다.

• 토픽(Topic) — 메시지가 분류되는 논리적 채널
• 생성자와 소비자(Producer / Consumer) — 메시지를 쓰고 읽는 주체
• 브로커(Broker) — 메시지를 저장하고 전달하는 카프카 서버
• 파티션과 복제(Partition / Replication) — 토픽을 여러 파티션으로 나누고 각 파티션을 여러 브로커에 복제한다

배포 절차

책은 분산 환경에서 카프카를 배포하는 과정을 네 단계로 정리한다.

1. 카프카 클러스터 설정하기

브로커 개수와 각 브로커의 세부 설정을 정한다. 그리고 주키퍼를 통합 설정한다. 카프카는 클러스터 정보를 관리하고, 주키퍼는 브로커 간 역할 분담을 조율하는 데 쓰인다.

2. 토픽 생성 및 설정하기

토픽을 만들 때 파티션 수와 복제 계수(Replication Factor) 를 설정해 성능과 안정성을 조절한다.

3. 카프카 생성자와 소비자 구현하기

4. 모니터링과 유지보수

클러스터 모니터링과 성능 튜닝을 지속한다.

카프카 스트림

카프카 스트림은 카프카 위에서 데이터를 처리하려고 설계된 도구다. 별도의 스트림 처리 프레임워크 없이 카프카 내에서 바로 작업을 수행할 수 있다는 점이 특징이다.

스트림 처리 애플리케이션은 토폴로지(Topology) 라는 형태로 정의된다. 프로세스(노드)와 스트림(에지)으로 구성된 그래프다.

키네시스

AWS가 제공하는 클라우드 기반 스트림 처리 서비스로, 대규모 데이터 스트림을 실시간으로 처리하도록 설계됐다.

카프카와 대응 관계로 보면 이해가 빠르다. Data Streams가 카프카 토픽에 해당하고(카프카의 파티션이 키네시스의 샤드에 대응), Data Analytics가 카프카 스트림에 해당한다. Firehose는 카프카 커넥트가 담당하는 적재 역할에 가깝다. 차이는 운영 부담이다. 키네시스는 브로커를 직접 관리하지 않는 대신 처리량 단위로 과금되고 세부 튜닝의 여지가 적다.

정리

이 장은 발행/구독 시스템과 분산 큐를 비교적 밀도 있게 다룬다. 특히 확장성과 신뢰성을 결정하는 요소를 항목별로 나눠 놓은 부분은 실제로 큐를 도입할 때 체크리스트로 쓸 만하다.

전달 보장의 세 수준과 파티셔닝은 반드시 짚어야 할 개념인데 책도 빼놓지 않았다. 다만 카프카와 키네시스는 개요 수준에서 그친다. 배포 절차를 네 단계로 나열하는 정도라, 실제 운영에서 부딪히는 컨슈머 그룹 리밸런싱이나 오프셋 관리, 파티션 수 결정 같은 문제는 별도 자료가 필요하다.

이 장에서 얻은 가장 유용한 관점은 큐와 발행/구독을 같은 축의 서로 다른 지점으로 보게 된 것이다. 하나의 메시지를 한 소비자가 가져가면 큐이고, 여러 소비자가 각자 가져가면 발행/구독이다. 카프카는 컨슈머 그룹이라는 개념으로 이 둘을 하나의 구조 안에서 모두 표현한다.