728x90
반응형
카프카 토픽 파티션 갯수 설정
토픽을 새로 생성했는데 파티션을 몇개로 설정할지 고민에 빠졌다.
파티션 갯수를 늘리면 로드가 줄어들기는 하지만 늘리는 만큼 복제 지연 이슈가 있을 수 있으니 적당히 나눠야 한다.
바람직한 갯수는 아래와 같다.
#partitions = desired throughput / partition speed
예를 들어 하루에 1TB 의 throughput을 원한다고 하고 하나의 파티션 속도가 10MB/s 라면
1TB/24h = 11.5MB/s 이므로
대략 1개~2개 정도면 원하는 throughput을 만족할 수 있는 속도가 나온다.
728x90
반응형
'코딩해 > 개발개발 이것저것' 카테고리의 다른 글
| [API] 일상 속 사물이 알려주는 웹 API 디자인 #2 (0) | 2022.04.01 |
|---|---|
| [API] 일상 속 사물이 알려주는 웹 API 디자인 #1 (0) | 2022.03.29 |
| [Windows] 윈도우 백그라운드 실행 프로그램 확인/종료 (0) | 2021.10.28 |
| [MSA] MSA 초보가 정리하는 MSA 기본 개념 (0) | 2021.05.04 |
| [Mac | Linux] jps 자바 프로세스 확인 | feat. Hadoop jps 확인 (0) | 2021.04.25 |