728x90
반응형
하둡에 적재된 Iceberg 테이블에 각 칼럼들에 대한 description 을 추가하여
칼럼 설명을 달 수 있다.
테이블을 생성하며 하는 것이 더 효율적이겠지만 칼럼이 추가되거나 comment 를 추가하지 못했었다면
spark shell 명령어로도 추가할 수 있다.
spark.sql("ALTER TABLE my_table ALTER COLUMN my_col_1 COMMENT '1번 칼럼입니다';")
728x90
반응형
'코딩해 > Kafka, Spark, Data Engineering' 카테고리의 다른 글
| Spark DataFrame 크기 계산하기 (0) | 2024.09.20 |
|---|---|
| Spark Dataframe - Array column size | 칼럼 사이즈 구하기 (1) | 2024.09.14 |
| [Spark] Executor 개수, 사이즈 정하기 | Spark 튜닝 성능개선 (2) | 2023.12.03 |
| [Spark] 스파크 구조와 실행 과정 | 스파크 기초 (1) | 2023.12.03 |
| [Spark] java.lang.AssertionError: assertion failed: Concurrent update to the commit log. Multiple streaming jobs detected for 해결방법 (0) | 2023.11.20 |