Haonly's Blog

하둡에 적재된 Iceberg 테이블에 각 칼럼들에 대한 description 을 추가하여 
칼럼 설명을 달 수 있다.

테이블을 생성하며 하는 것이 더 효율적이겠지만 칼럼이 추가되거나 comment 를 추가하지 못했었다면 
spark shell 명령어로도 추가할 수 있다.

spark.sql("ALTER TABLE my_table ALTER COLUMN my_col_1 COMMENT '1번 칼럼입니다';")

#!/bin/bash


# 원하는 시작 날짜
START=20211031


# 원하는 종료 날짜
END=20220522


CURRENT="$START"



while [ "$CURRENT" != "$END" ]; do

    hadoop fs -rm -r /user/table/mydb.db/mytable/pt=$CURRENT

    CURRENT=`date -d "$CURRENT 1 day" +"%Y%m%d"`

done

자꾸 까먹어서 정리

hdfs 파일 삭제

> hadoop fs -rm -skipTrash {경로}

hdfs 디렉터리 삭제

> hadoop fs- rm -r -skipTrash {경로}

-skipTrash를 써주면 휴지통 거치지 않고 바로 삭제됨

Jps 는 자바로 실행되는 java virtual machine process를 보여주는 명령어이다.

이번에 하둡으로 맵리듀스 잡 실행해보며 하둡 클러스터 잘 도는지 확인하려 jps 명령어 써보면서 간단히 정리해본다.

데이터노즈, 네임노드, 리소스 매니저 등등 잘 돌고 있었고 이제 테스트가 끝나서 종료하려고 ./stop-all.sh 명령어를 넣었는데 java virtual machine에서는 종료가 안된건지 자꾸 남아서 직접 Kill 해 주어야 했다.

참고로 앞에 23240 등 다섯 자리 숫자가 Pid 임.

직접 kill 할 때는 

> kill -9 pid

써주어 종료시킬 수 있다.

이렇~~~게!

간단하쥬~?