Haonly's Blog

spark-sql이 데이터를 빠르게 search 하는데 효과적이긴 하지만 데이터가 너무 크거나 복잡한 연산을 필요로 할 때는 Spark RDD API를 사용하는 것이 더 나을 때가 있다.
스칼라로 코드를 작성할 수 있기 때문에 복잡한 연산을 표현하기에 더 직관적이고 적절하다.

combine 관련 연산 중 가장 많이 쓰이는 두 개의 메소드가 groupByKey와 reduceByKey이다.
groupByKey보다는 reduceByKey가 더 효율적으로 구현되어 있다.

그래서 공식 API 문서를 비롯한 여러 곳에서 groupByKey 사용을 권장하지 않고 있다.

이유는 map-side combine이 효율적인데 groupByKey는 map-side combine을 하지 않도록 되어있기 때문이다.

https://databricks.gitbooks.io/databricks-spark-knowledge-base/content/best_practices/prefer_reducebykey_over_groupbykey.html
(groupByKey 보다 reduceByKey가 더 나은 이유)

1. Homebrew를 통해 설치 (시간이 조금 걸린다)

>> brew install redis

2. redis server 시작

>> brew services restart redis

3. redis-cli 접속

>> redis-cli

4. redis info 확인

>> brew info redis

위와 같이 사용 가능.

port는 6379인 것으로 확인

Redis 특징

• key-value 형태의 NoSQL
• in-memory 기반으로 세컨더리DB 정도로 활용

1. 오늘의 감사

• 주변에 좋은 사람들이 많음에 감사합니다. 나를 예뻐하는 사람, 나에게 영감을 주는 사람들이 많습니다.
• 추운 날 따듯하게 일할 수 있음에 감사합니다.

2. 마음이 뭉클해지는 모먼트

블로그에 글쓰기를 완전히 놓은 것은 아니었다.

다만, 생각 정리가 되지 않았고, 공부를 해도 정리를 하며 느려지는 공부의 속도가 아쉬워서 잠시 글을 쓰지 않았다.

사실 생각 정리는 글을 쓰며 더 잘되는데... ㅎㅎ

연말이 되어서 그런 건지, 최근에 나에게 영감을 주는 사람들을 만나서 그런 건지 오늘은 꼭 블로그를 써야겠다고 다짐했다.

5년 전 2017년에 세계여행을 떠난 내가 문득 생각났다.

그때는 여행지에서 느낀 감정들과 내가 했던 생각들, 내가 보는 것들을 모두 잊지 않고 기억하려 애썼는데,

5년이 지난 지금 내 기억에는 그렇게 억지로 기억하려 곱씹었던 순간들보다 내 온 감정을 통해 느낀 즐겁거나 슬픈 시간들이 더 진하게 남았다.

5년이 지나 만난 혜리와 22살의 우리는 참 어렸다고, 지금 간다면 우리 더 잘 여행할 수 있을 것 같다는 이야기를 나눴다.

지금 이런 여행을 하려면 포기해야 할 것들이 너무나 아쉽다는, 아주 현실적인 생각이 순간 들었고, 그래서 5년 전 내 기억들이 더욱 소중해졌다. 이런 기억들로 지금들을 살아가는 거지!

다시 되돌아보니 5년 전 나, 아주 씩씩했구나!

1. 도움이 필요한 일에 흔쾌히 협조적인 순간

2. 당연한 일을 당연하지 않게 생각하며 감사를 표하는 따뜻한 마음

요 두 가지 순간과 따뜻한 마음이 만나 오늘 내 하루를 만들었나 보다. 

'성장', '성장' 하며 바쁘게 굴러가던 나의 하루들이었는데, 연말이라는 기회로 천천히 돌아보고 있다.

이렇게 당연한 일에 고마워하는 마음과, 함께 일하는 동료를 통해 또 한 번 내가 더 좋은 사람이 되고 싶다는 다짐을 한다.

어릴 때는 '회사원'이 되는 게 무서웠다. 무섭다기보다 사실 지겨워 보였다.

욕심이 많아 하는 학생회, 독서 동아리, 영어모임, 운동 등등 바쁘게 살아가는 나를 보며 어른들은 내가 뭐라도 될 것이라고 말씀하셨다.

그런데 내가 된 건 그냥 '회사원'이었다. 이 괴리감이 그동안 나를 작게 만들어 왔었다.

내가 어떤 모습이었어야 그때 어른들이 말씀하셨던 '뭐'와 지금의 나 사이에 괴리감이 없을까.

생각해보면 정해진 건 없다. 나는 정해진 것 없이, 그저 또 욕심을 부리고, 생각보다 화려하지 않은 내 모습에 그렇게 나를 미워만 했던 것 같다.

지금의 나는 이렇게나 주변에 좋은 사람이 많은걸, 이렇게나 나에게 좋은 영감을 주는 사람들이 많은걸!

조금씩 지금의 내 모습을 온전히 예뻐하고 사랑하게 되는 것 같다.

3. 마음이 따뜻한 사람이 되는 법

나는 그렇게 좋은 사람이 아니라고 생각해 왔다.

조금 까탈스럽기도, 예민하기도 한데, 자꾸 주변에는 좋은 사람들만 있다.

자꾸만 예쁘다고 해주는 사람과 같이 있으면 어느 순간 내가 예뻐 보이고,

업무를 보며 칭찬을 받으면 더 잘하고 싶어 진다.

자꾸만 예쁘다고 해주는 사람과 자꾸만 칭찬을 해주는 사람들이 고맙다. 내가 더 잘하고 싶다는 생각이 든다.

나는 좋은 사람이 아닌데, 자꾸 이렇게 좋은 사람들이 주변에 있는 것은 기회겠지.

주변의 좋은 사람들에게 이렇게 영감을 받다 보면, 나도 그렇게 좋은 사람이 될 수 있겠지.

예쁘고 따뜻한 마음으로 주변 사람들을 대하고 싶다. 

계속 그렇게 따뜻한 마음을 가진 사람이 되고 싶다.

#!/bin/bash


# 원하는 시작 날짜
START=20211031


# 원하는 종료 날짜
END=20220522


CURRENT="$START"



while [ "$CURRENT" != "$END" ]; do

    hadoop fs -rm -r /user/table/mydb.db/mytable/pt=$CURRENT

    CURRENT=`date -d "$CURRENT 1 day" +"%Y%m%d"`

done

자꾸 까먹어서 정리

hdfs 파일 삭제

> hadoop fs -rm -skipTrash {경로}

hdfs 디렉터리 삭제

> hadoop fs- rm -r -skipTrash {경로}

-skipTrash를 써주면 휴지통 거치지 않고 바로 삭제됨

특정 파일에 특정 단어 카운트 명령어 자꾸 까먹는다..

grep -c '찾는 단어' filename.log