Spark DataFrame 크기 계산하기

여러가지 이유로 Spark DataFrame 의 row count 보다는 크기를 계산하여야 한다.

• Broadcast join 이 적합한지 확인용
• Executor 자원을 얼마나 할당할지 확인용
• 데이터 크기를 비교하여 DataFrame 이 정상적으로 생긴 것인지 확인용
• 다양하게...

disk 에 저장하지 않고도 Spark 에서 DataFrame 의 크기를 알려주는 API 가 있다.

import org.apache.spark.util.SizeEstimator
// dataframe 생성
SizeEstimator.estimate(df)

이런 방법으로 데이터 크기를 측정할 수 있다.