Haonly's Blog

Thread 몇개로 돌리는 애플리케이션이 있다.

어떤 thread가 어떤 작업을 하는지 알고싶었다. 그래서 thread id 찍어보고 싶은데 어떻게 찍는지 몰라서 찾아봄

val threadId = Thread.currentThread.getId

생각보다 많이 간단...!

Pyspark

콘솔에 로깅이 1초마다 뜨는게 거슬려서 알아봄

SparkContext.setLogLevel()

Log levels: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN

문자열 split 방법

val s = "aa bb cc"
val splited = s.split(" ")

일반적인 split은 위와 같이 하면 된다.


dot(.)이 포함된 문자열을 split 하려고 했는데 안된다.
아래와 같이 하면 된다.

val s = "aa.bb.cc"
val splited = s.split("\\.")

dot(.)은 자바 정규식 예약어이기 때문에 \(back slash)가 필요한데 \ 자체도 예약어이기 때문에 \\ 두번 붙여야 한다.

1. 감사하자

• 함께 운동할 수 있는 사람들이 있음에 감사하다.
• 힘든 일이거나 사소한 일이라도 털어놓으라고 말해주는 상사가 있음에 너무나 감사하다.

2. 정의

Justice의 정의가 아닌 Definition의 정의.

바쁜 요즘 막 살아지는데로 살지 않기 위해 계속해서 할 것들을 만들어 낸다.

일주일을 꽉꽉 채워 휴식, 공부, 일, 운동, 놀기를 집어넣는다.

보통은 공부를 많이 하려고 한다. 몰랐던 지식을 머릿속에 채워 넣는 것이 일단 그 행위 자체로 꽤 멋있고, 채워지며 깨닫는 것에서 보람을 느낀다.

공부를 하는 것도 좋은데, 내가 대학생 때 놓쳤다고 생각하는 것을 해 볼 생각이다.

'정의하기'

내가 좋아하는 것, 내가 잘하는 것, 성공의 정의, 행복의 정의, 내가 하는 일의 정의, 내 기분(짜증, 화, 기쁨 등)의 정의, 사랑의 정의... 

어쩌다가 놓쳤는지 모르겠다. 참 바쁘게도 살았는데 어쩌다가 놓친 걸까.

어떻게 보면 아직도 나만의 정의가 없는 것이, 내가 뭘 좋아하고 잘하는지 모르는 것이 창피할 수 있다.

바쁘게 살아지는 데로 살다 보니 놓쳤는지, 그냥 아무 생각이 없었던 건지, 하여튼 내가 놓쳤던, 내가 아직 모르는 것들을 정의해 볼 생각이다.

부러운 누군가와 비교하며 스스로 왜 이렇게 못난 건지, 왜 이렇게 부족한 건지 자책하며 미워하지 말고 나도 조금 더 멋진 어른이 되고 싶다.

조금 더 멋진 어른이 되면 부러운 것들도 적어질까.

선뜻 정의하고 생각하기가 어렵다.

차근차근 생각하고 정의해 볼 생각이다. 필요하다면 책도 많이 읽을 것이다.

일주일 참 빠른 듯 느리다.

2주 차 주간회고를 월요일에 작성하고, 어제 패기롭게 퇴근 후 카페에 갔지만 주간회고까지는 작성할 틈이 없었다.

그래도 나름 의미있게 월요일을 시작하고, 기록의 중요성을 알기에, 실행하기 위해 오늘은 잠시 주간회고를 작성하려 책상에 앉았다.

일주일. 하루 하루를 꽉꽉 채워, 휴식도, 공부도, 운동도, 지인들과의 약속까지 모두 일주일의 하루하루에 분배시켜 놓는다. 

하루하루 계획한 일정을 보내고 하루를 마무리할 때 가장 뿌듯하다.

살아지는 데로 사는 듯 하지만 나름대로 규칙과 계획을 가진달까.

지난 한 주는 회식도 있었고 운동도 했고, 아프기도 했다. 

일이 쏟아지는 바람에 정신이 없었다.

그래도 주말에는 토마로 꽉 차거나 광교에서 자연 마음껏 즐기며 운동을 했다.

자꾸 축축 쳐지고 힘이 없어서 면역력 주사도 맞았다.

무릎이 조금 아파서 다니기 시작한 병원에서 올바르게 앉기, 걷기, 자기를 고치고 있다.

27살 먹고 뭐 하는 거지 싶지만, 굉장히 중요한 것을 늦게서야 배우는 느낌이다. 

이번 한 주도 계획한 것들을 하나하나 완료해 나가며 뿌듯한 한 주로 채워가야지!

이번 주 화이팅!

카카오 제네시스 - 카프카 기반 스트리밍 데이터 플랫폼

2021년 Kakao 에서 봤던 Cory 님(광고추천팀 - 데이터 플랫폼 개발)이 작성한 글이고 내가 요즘 공부하는 카프카, 업무와 직관된 데이터 플랫폼이라는 제목 워딩에 끌려 클릭했다.

개인적으로 사용자에게 직접 서비스될 수 있는 분야가 업무적으로 더 선호된다. 하지만 이미 플랫폼에 집중된 내 업무로는 직접 서비스할 기회는... 적다. 거의 없을 수도..

그런데 광고 추천이라니. 내가 직접 서비스하진 않더라도 결국에는 개인화된 광고를 서빙하는 작업을 하는 플랫폼일 것이다! 완전 끌린다.

(나는 누가 쓰는지도 모르고.. 그냥 들어오는 데이터 ETL 하는 느낌인데 말이다.. ㅠㅠ)

아무튼 그래서 이번 기술 블로그 엄청 재밌게 읽었다! 공부 의욕 뿜뿜!

들어가면 나오는 내용이지만 나만을 위한 정리

• 기존 카프카 데이터 파이프라인 아키텍처의 관리에서의 어려움과 리소스 낭비로 새로운 카프카 커넥트 기반 데이터 플랫폼을 구성
• 고려한 점: 오너십 / 모니터링 / 배포 / 데이터 리니지(화면)
• 카프카 커넥트 사용
  • ETL 역할을 수행하는 것을 커넥터라고 하며, 싱크 커넥터는 consumer, 소스 커넥터는 producer 역할을 한다.
  • 카프카 커넥트는 분산 커넥트와 단일 커넥트로 나뉜다.

• 카프카 커넥트를 API 동작이 아닌, 지속적 운영을 위해 vue.js로 어드민 페이지를 만들어서 모든 파이프라인 관련 동작을 제네시스 웹을 통해 수행 가능하록 개발.
• 카프카 커넥트를 운영하며 고려해야 할 점
  • 반드시 웹 화면이 필요
    • REST API를 통해 파이프라인을 생성, 수정, 삭제할 수 있지만 언제까지나 API 툴로 운영할 수가 없음
    • 오픈소스로 나와 있는 카프카 커넥트 웹을 사용해도 됨
  • 커스텀 커넥터 개발 → 보안 관련 이슈
  • 커넥터 클러스터 구분 운영
    • 커넥터의 특성(메몰리 많이 사용/CPU 많이 사용)에 따라 커넥트 클러스터를 분리하여 운영하는 것을 고려

도커로 말아서 올렸더라. 도커도 또 공부하려면 한참인데 정말...!!

이거 다 개발하려면 진짜 많은 시간과 노력이 들었겠다 싶다.

나도 하고 싶다. 배울게 너무 많다...!

한 줄 느낀 점:
플랫폼 운영하려면 알아야 할게 많다. 좋게 생각하면 배우는 거 좋아하는 나한테 딱!