728x90
반응형
에러
org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized
results of XXXX tasks (X.0 MB) is bigger than spark.driver.maxResultSize (X.0 MB)
원인
나와있는데로 rdd로 분산되어 있던 데이터가 spark job 을 통해 driver로 합쳐지면서 driver 최대 메모리 크기를 초과해서 발생한 에러이다.
해결
메모리 최대 크기 늘려주면 된다.
resource 설정을 하면 되는데 SparkConf를 통해서 하거나 conf 파일을 수정하거나 spark-shell 실행 시 매개변수를 통해 설정을 할 수 있다.
나는 spark-shell 실행 시 매개변수를 주었다.
spark-shell --conf spark.driver.maxResultSize=6G
끝.
어렵다 어려워
728x90
반응형
'코딩해 > Kafka, Spark, Data Engineering' 카테고리의 다른 글
| [Redis] Mac Redis 설치 (0) | 2022.12.13 |
|---|---|
| [Spark-submit] Console 로그 설정 | Log level (0) | 2022.06.03 |
| [Kafka] 카프카 파티션 | 순서 (0) | 2022.03.31 |
| [Kafka | 카프카 핵심 가이드 ] Chapter 01. 카프카 훑어보기 (0) | 2022.03.30 |
| [Kafka] 카프카 Kafka Rebalancing (0) | 2022.03.29 |