Haonly's Blog

MSA: Microservice Architecture의 약자로 한 문장으로 정리하자면 아래와 같다습니다

"하나의 큰 어플리케이션을 여러개의 작은 어플리케이션으로 쪼개어 변경과 조합이 가능하도록 만든 아키텍쳐"

즉 작은 서비스들을 만들어 합쳐 하나의 어플리케이션으로 만든다는 개념으로 컴포넌트들의 조합이라고 이해했습니다.

등장 배경

MSA의 반대 개념은 Monolithic Architecture로 소프트웨어의 모든 구성요소가 한 프로젝트에 통합되어 있는 형태입니다.

아직까지 개발하기 간단하다는 장점으로 많은 소프트웨어가 이 Monolithic 형태로 구현되어 있습니다.

하지만 큰 규모의 개발 프로젝트에서는 한계와 단점이 존재한다고 합니다. 아무래도 큰 규모의 개발을 진행할 때는 빌드 및 테스트 하는 시간이 오래걸리고 전체 시스템 구조를 파악하는 것이 쉽지 않기 때문입니다.

제가 이해하기로는 큰 규모의 온라인 주문 사이트에서 이 MSA 형태의 개발을 하겠구나 싶었습니다.

그래서 이번에 고랭으로 MSA에서 흔히 일어날 수 잇는 상황에 대해서 효율적인 처리를 연습해볼 수 있도록 Context를 사용한 예시를 개발해 보았습니다. (개발 다 하면 링크 넣을 것… ㅎㅎ)

또 쿠팡에서 테크 블로그(?) 비슷하게 MSA 에 대해 정리해 둔 글도 있더라구요.

쿠팡 - 행복을 찾기 위한 우리의 여정

참고할 사이트:

lion-king.tistory.com/entry/MSA-distributed-transaction

medium.com/coupang-tech/%ED%96%89%EB%B3%B5%EC%9D%84-%EC%B0%BE%EA%B8%B0-%EC%9C%84%ED%95%9C-%EC%9A%B0%EB%A6%AC%EC%9D%98-%EC%97%AC%EC%A0%95-94678fe9eb61

www.popit.kr/msa%EC%97%90%EC%84%9C-%EB%A9%94%EC%8B%9C%EC%A7%95-%ED%8A%B8%EB%9E%9C%EC%9E%AD%EC%85%98-%EC%B2%98%EB%A6%AC%ED%95%98%EA%B8%B0

velog.io/@tedigom/MSA-%EC%A0%9C%EB%8C%80%EB%A1%9C-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0-1-MSA%EC%9D%98-%EA%B8%B0%EB%B3%B8-%EA%B0%9C%EB%85%90-3sk28yrv0e

jaehue.github.io/post/how-to-use-golang-context/

일요일이지만 토요일이라고 적는다.

이번 주는 쉽니다-

있었던 일:

• 토마; 토마 컨퍼런스 성-공-적!
  • 토마; 2021-2022 Division D Director 가 되었다! OMG!
• 일; 하둡은 어려워
• 7개월만에 서울 땅을 밟은 그에게는 서울이 신기했다.
• 꿈에서도 클라이밍 하다가 평일에 일퇴(일찍 퇴근)하고 클라이밍 하러 갔다가 조져짐
• 그 여파인지 이틀 뒤 일어났는데 목이 안돌아감 -> 한의원 감 -> 낫지 않음 -> 금토일 아무것도 못함...
  • 의문; 왜 다음 날이 아니라 이틀 뒤에 아팠던 걸까?
• 교훈: 건강 관리를 잘 하자...

ㅎㅅㅎ🙄

Jps 는 자바로 실행되는 java virtual machine process를 보여주는 명령어이다.

이번에 하둡으로 맵리듀스 잡 실행해보며 하둡 클러스터 잘 도는지 확인하려 jps 명령어 써보면서 간단히 정리해본다.

데이터노즈, 네임노드, 리소스 매니저 등등 잘 돌고 있었고 이제 테스트가 끝나서 종료하려고 ./stop-all.sh 명령어를 넣었는데 java virtual machine에서는 종료가 안된건지 자꾸 남아서 직접 Kill 해 주어야 했다.

참고로 앞에 23240 등 다섯 자리 숫자가 Pid 임.

직접 kill 할 때는 

> kill -9 pid

써주어 종료시킬 수 있다.

이렇~~~게!

간단하쥬~?

평범한 일주일, 근데 이제 운동을 조금 곁들인,,

토마 활동

홍대 토마는 작년 2~3월쯤 코로나가 심해지지 않았을 때쯤, 그리고 재작년 9월쯤인가 요즘 영어 촬영차 갔었다. 홍대 토마의 분위기를 특히 좋아했다. 

이번 컨퍼런스 홍보를 위해 클럽을 방문하며 홍보를 해야 하는데 어딜 가서 홍보를 할까 하다가 홍대 토마가 마침 생각 나 바로 방문하게 되었다.

컨퍼런스가 2주밖에 남지 않은 상황이라 바로 말씀을 드려 방문했고 마침 코로나로 격주 캐주얼 미팅하는 주에 방문하게 되어 나름 편안한 분위기에서 홍보할 수 있었다. 

(깨알 D93 컨퍼런스 홍보용 홈페이지 링크)

캐쥬얼 미팅 주제로는 'Unrealistic dream'으로 비현실적인 꿈(?) 을 공유하는 시간이었다. 다들 재미있는 이야기를 공유해 주었다. 그중 공감 가는 이야기는 역시,, 내가 두 명이었으면 좋겠다는 이야기 ㅋㅋㅋㅋ 한 명은 일 시키고 한 명은 놀게 하겠다고 한다.

나는 아주 어릴 때 친척오빠가 너무 좋아서 오빠랑 결혼하고 싶어했던 이야기를 공유했다. 이모가 가족끼리는 결혼 못한다고 해서 엄청 슬퍼하기까지 했었다는 이야기를 했다. 지금 생각해보니 너무 귀엽다 ㅋㅋㅋㅋㅋ 🤣

끝날 때 쯤이긴 했지만 조금 일찍 나갔어야 해서 나가보겠다고 했더니 보통 마지막에 찍는 단체 사진인데도 먼저 찍자고 해줘서 고맙게도 사진도 남길 수 있었다!🥰

4월부터 새로 가입하게 된 잠실 한국어 토스트마스터즈에서 자기소개 연설을 하게 되었다.

회원이 되어 반가운 마음을 표현하고 내가 좋아하는 3가지(여행, 운동, 토마)를 소개하며 나를 소개했다. 형식적인 소개가 아닌 만큼 이렇게 좋아하는 것들을 소개하며 나를 소개하는 방법이 참 좋다. 이 전 GGLTM Ice Breaking 소개 연설에서도 내가 좋아하는 3가지를 소개했었다.

히히 이 맛에 연설 하지!! 영어로만 토마 하다가 한국어로 하려니 많이 어색했지만 다들 좋게 봐주신 것 같아 더더 열심히 하고 싶다.

가민 러닝

가민에서 내 코치 젶님이 계속 운동하라고는 하는데 나는 아 안 해~~ 라며 하지 않은지 일주일 차.. 이제는 해야겠다는 생각이 들어 5km 정도 뛰었다. 페이스는 확실히 빨라졌고 숨도 크게 차지 않는다. 

그런데 이걸 적어도 주 3회 정도는 해 줘야 하는데.. 이번 주는 1회 뛰었다ㅠㅠ 더 자주 뛰고 싶은데 역시 게으름이 문제지.

그래도 시계를 차고 있으니 계속 뛰어야겠다는 생각이 든다. (생각만ㅋㅋㅋㅋ)

그래서 다음 주 목표는 주 2회 러닝! 할! 뚜! 이! 따!🏃‍♀️

볼더링

이번 주 내내 클라이밍 가고 싶어서 일주일이 빨리 갔으면 했다. 지난주에 못 깬 문제를 토요일에 가자마자 올랐고 바로 완등!

팔에 멍들고 피부 까지게 올랐지만 못 오르던 걸 일주일 뒤에 가니 올랐다 ㅠㅠ 흑흑 감격

클라이밍이 이렇게 재미있을 일인가 했지만 중독되어 유튜브도 클라이밍 영상만 본 게 된다... 

이번에는 초록띠 밸런스 문제에 한 시간 동안 꽂혀서 풀다가 결국 못 푼 문제가 있다. 스태프 분이 직접 푸는 것도 보여주시고 열심히 응원해주시긴 했지만.. 나는 못 풀었다. 잠시 다른 곳 갔다가 오셔도 내가 못 풀고 있으니 계속 도와주셨는데 나는 절대 못 품 ㅋㅋㅋㅋ큐ㅠㅠㅠ

그런데 이 문제가 있는 벽을 탈거하고 새로 세팅한다고 한다. 그래서 오늘(일요일)이라도 가려고 했지만 전완근의 불허...로 못 가게 되어 그 문제는 영원히 풀지 못하는 문제가 되었다 ㅋㅋㅋㅋㅋ 엉엉엉 ㅠㅠㅠ😂

또 일주일 동안 체력 비축해서 새로 세팅된 문제 열심히 풀어봐야지!!

+ 암벽화도 사고 싶다 ㅇㅅㅇ

하둡

하둡은 내 팔에 그려진 코끼리(?)가 아니라 하둡이다. 

빅데이터 분산 처리를 위한 오픈소스인데 이 놈이 일주일 내내 나를 괴롭히고 있다. 퇴근하고 집에 와서 맥북에도 세팅해 보고, 마침 고랭 스터디에서도 맵리듀스를 써서 풀 만한 문제가 있어 이 문제를 하둡 맵리듀스로 풀어보려고 환경설정을 해 보는데 절대 허락하지 않는다. 

특히 금요일 재택 할 때는 원격 접속도 너무너무 느려서(이건 맥 탓...) 뭐 제대로 하지도 못했다 ㅠㅠㅠ 

그래서 토요일 오전 잠시 출근해서 다시 세팅해 봤는데도 결국 못했다. 그냥.. 왜 안되는지.. 어떤 단계인지 정도 정리해두고 퇴근했다.. ㅠㅠ 

도대체 왜 안되는걸까...? 세팅 그냥 문서 보고 따라하는데 왜 안되는걸까...? 왜 맵리듀스... 왜 하둡 스트리밍... 왜 안되는걸까...?😔

월요일엔 교육이라 재택으로 내내 교육 듣느냐고 일 하지도 못할 텐데 너무 답답하게 흘러만 가는 것 같아 고통받고 있다... 이렇게 하면서 레밸업 하는 걸까 기대도 해 보지만 당장에 안 풀리는 답답함은 어쩔 수가 없나 보다. 다음 주엔 해결을 해 보길!

새로운 동기부여

독서모임, 스페인어, 잠한토, 고랭 스터디

앞으로 조금 더 집중할 것들(?)이다. 열심히는 아니고, 그냥 취미생활로. 

Apache Airflow에 대해 알아보자

아파치 에어플로우는 데이터 처리 파이프라인을 조율하기 위해 만든 오픈소스 도구.

Cron 같은 느낌

Apache Airflow를 사용하는 이유

• 데이터 ETL 과정을 통해 데이터를 가공하며 적재하는데
• 이때여러 개의 sequential한 로직이 존재하게 됨. (앞의 결과가 뒤 작업의 input이 되는 등)
• 위와 같은 작업이 여러개일 경우 이러한 workflow 관리도구로 airflow를 사용할 수 있으며,
• 비슷한 workflow 관리도구로 하둡 에코시스템의 우지와 같은 솔루션이 있음.

장점

• Python 기반으로 만들어 져 데이터 분석 하는 분들도 쉽게 코드를 작성할 수 있음
• Airflow 콘솔이 따로 존재해 task 관리를 서버에서하지  않아도 되고 각 작업별 시간이 나오기 때문에 bottleneck을 찾을 때에도 유용함

DAG: 방향성 비순환 그래프

• 에어플로우 상의 작업흐름은 DAG로 설계되기 때문에 이를 짤 때 어떻게 독립적으로 실행 가능한 태스크들로 나뉠 수 있을까 생각해보고
• 그 다음에 각 태스크를 그래프로 결합하여 전체적인 논리 흐름에 맞게 합칠 수 있음
• Task의 집합체이자 workflow

DAG 생성

1. default_args 정의(owner, start_date 등 정의)
2. DAG 객체 생성(dag id, schedule_interval 정의)
3. DAG 안에 Operator를 활용해 task 생성(SparkSubmitOperator, BashOperator 등)
4. Task들을 연결( >>, << 활용하거나 t1.set_upstream(t2) 또는 t2.set_downstream(t1) 도 같은 표현)

즉 DAG 객체 생성 -> Operator를 활용해 Task 작성 -> Task 연결

한줄평; 나름 여유롭고 차분

식목일 기념 등산

세계 여행하며 3박 4일 등산도 잘하던 나였는데, 한국에서는 굳이 등산을 잘하지 않게 된다. 올해 첫 등산이었다. 

작년에 요즘영어 멤버들과 마캉과 함께 등산을 갔었는데 그때 기분 나고 상쾌했다. 더 잘 오르고 싶었다. 

정상에서 삶은 계란이랑 초코바 먹으면서 불어오는 바람을 맞으니 마음이 평화로워졌다.

양재천

요즘 날씨가 좋아 점심 먹고 양재천 산책을 자주 한다. 이상하게 생긴 큰 새가 한가운데에 저렇게 서 있어서 이름이 궁금했다. 찾아봤더니 왜가리란다. 

양재천에 물고기들도 많고 오리도 있다. 이런 자연이 정말 좋다. 

사무실과 도로, 자동차들, 큰 건물들. 이런 것들이랑 비교된다. 어느 정도 사람 손이 탄 듯 인공 다리랑 아스팔트 벽이 보이긴 하지만 계속해서 흐르는 물이랑 간간히 보이는 저런 살아있는 것들이 있어서 다행이다.

달리기

뛸까 말까 엄청 고민하다가 뛰어봤다. 몸이 좀 붓는 느낌이고 배도 좀 아팠는데 뭔가 오랫동안 안 뛴 느낌이 들어 뛰러 나갔다.

사실 내 가민 러닝코치 젶의 코칭 계획도 무시하고 자꾸 안 뛴다. 처음에는 죄책감이 들었는데 이제는 '아 배 째~~~ 안 뛰어~~~'라는 마인드다 ㅋㅋㅋ 그래도 한 번은 뛰어야지 라며 뛴 기록! 역시나 몸이 안 좋으니 맘에 안 든다 ㅠㅠ 한 3~4일 정도 쉬었다가 뛰어야겠다.

탄천이랑 곱창

정자역에 엄청 맛있는 곱창집을 발견했다. 곱창좌 선배님과 함께 갔는데 인정하셨다. 여기 자주 가야겠다.

곱창을 먹기 전에 곱창 먹기까지 시간이 좀 남아서 탄천 산책을 했다. 탄천이 양재천보다 더 넓다. 그리고 아직 벚꽃이 남아있었다. 

탄천에도 왜가리가 있었다. 그런데 아무튼 탄천도 좋았는데 곱창이 정말 최고였다. (정자 황소곱창!)

시를 잊은 그대에게

오래도록 읽고 싶은데 자꾸자꾸 궁금해서 읽어내려가고 곱씹으며 소화하려고 몇 번이고 읽는 구간이 있는 책이다.

지금 읽고 있는 곳의 주제는 '기다림'이다.

나는성격이 급해서 그런 건지 기다리는 걸 싫어한다. 약속시간에도 보통 딱 맞춰서 가고, 버스나 지하철 시간도 꼭 확인한다.

요즘 마음이 싱숭생숭한데 다리다가 지쳐 그런 것 같았다.

이 시를 읽으니 빛대어빛 대어 생각난 사람이 더 소중하다는 생각이 들었다. 그리고 이렇게 빛 대어 떠올릴 수 있는 사람이 있다는 게 신기하고 고마웠다. 떠올릴 사람이 없었다면 이 시를 읽을 때 느낌이 달랐을 것이다.

(클라이밍 하러 가는 지하철 안 독서 치고는 진지한 독서였다.)