728x90
반응형
에러 메시지
Caused by: java.lang.AssertionError: assertion failed: Concurrent update to the commit log. Multiple streaming jobs detected for원인
로그에 동시 업데이트 하기 때문에 발생
스파크 스트리밍에서 동일한 체크포인트 위치에 두 개 이상의 다른 스파크 작업이 업데이트 하려 할 때 발생한다.
이 때 스파크 설정의 checkpointLocation을 다른 위치로 사용하면 해결할 수 있다.
두 개의 다른 스파크 스트리밍 작업에서 checkpoint 위치를 다르게 한다.
.option("checkpointLocation", checkpointPath1) .option("checkpointLocation", checkpointPath2)728x90
반응형
'코딩해 > Kafka, Spark, Data Engineering' 카테고리의 다른 글
| [Spark] Executor 개수, 사이즈 정하기 | Spark 튜닝 성능개선 (2) | 2023.12.03 |
|---|---|
| [Spark] 스파크 구조와 실행 과정 | 스파크 기초 (1) | 2023.12.03 |
| [DB 엔지니어링] 유데미 강좌 - ACID (0) | 2023.07.24 |
| [데이터 중심 애플리케이션 설계] 1장 - 신뢰할 수 있고 확장 가능하며 유지보수하기 쉬운 애플리케이션 (0) | 2023.03.22 |
| [Spark] RDD | GroupByKey 보다는 ReduceByKey (0) | 2023.02.08 |