Haonly's Blog

#!/bin/bash


# 원하는 시작 날짜
START=20211031


# 원하는 종료 날짜
END=20220522


CURRENT="$START"



while [ "$CURRENT" != "$END" ]; do

    hadoop fs -rm -r /user/table/mydb.db/mytable/pt=$CURRENT

    CURRENT=`date -d "$CURRENT 1 day" +"%Y%m%d"`

done

자꾸 까먹어서 정리

hdfs 파일 삭제

> hadoop fs -rm -skipTrash {경로}

hdfs 디렉터리 삭제

> hadoop fs- rm -r -skipTrash {경로}

-skipTrash를 써주면 휴지통 거치지 않고 바로 삭제됨

특정 파일에 특정 단어 카운트 명령어 자꾸 까먹는다..

grep -c '찾는 단어' filename.log

서버끼리 통신하는 작업을 하다가 방화벽이 뚫려 있는지 확인할 일이 생겼다.

ping도 쓰고 curl도 쓰는데 둘 차이가 뭔지 갑자기 궁금해져서 찾아봤다.

Ping

ping [대상 목적지 ip]

탁구 ping pong의 줄임말인 줄 알았는데(그런 의미도 있다고 하지만),  Packet Internet Groper의 약자라고 한다...!

확인할 IP로 인터넷 패킷을 전송하고 대상이 보낸 응답을 분석하는 방식이다. 

실제 ping google.com을 쳐보면 packets 전송상태를 나타내 준다. 

ping은 ICMP 프로토콜(TCP/IP에서 IP 패킷을 처리할 때 발생되는 문제를 알려주는 프로토콜)을 사용하는데 이 프로토콜은 OSI 7 계층의 3 layer에 해당하는 Network layer에 속하는 프로토콜을 사용한다.

그렇기 때문에 4 layer인 Transport layer에서 사용하는 port 정보를 이용하지 않는다.

그래서 ping 명령어로는 포트가 열려있는지 까지는 확인할 수 없는 것이다.

Curl

curl [대상 목적지] (default로 GET)

Curl은 Client URL의 약자라고 한다. URL로 데이터를 전송하여 서버에서 데이터를 가져오거나 서버에 데이터를 보낼 때 사용한다.

즉, curl을 활용하여 endpoint에 HTTP 프로토콜을 이용하여 PUT, POST 등의 요청을 보내고 그 결과를 확인할 수 있다.

telnet

telnet [대상 목적지] [포트번호]

ping이 단지 요청을 보내고 받아서 분석하는 명령어라면 telnet은 컴퓨터와 컴퓨터 사이를 연결해주는 명령어이다.

포트 오픈 확인까지 할 수 있는 telnet은 transport layer 를 통해 통신하는 거(겠지..?)

윈도우 컴퓨터에서는 설정을 통해 telnet을 활성화시키면 되고

맥 환경에서는 brew를 통해 다운로드하면 된다.

URI(Uniform Resource Identifier) -> 통합 자원 식별자로 인터넷에 있는 자원을 나타내는 주소

URL(Uniform Resource Locator) -> 네트워크 상에서 웹 페이지, 이미지, 동영상, 등의 파일이 위치한 정보를 나타낸다.

URL(Unifor Resource Name) -> URI의 표준 포맷 중 하나, 이름으로 리소스를 특정한다. 

URL은 URI의 더 일반화된 부류의 부분집합이고 URI는 URL과 URN으로 구성된 종합적인 개념이다.

http는 스킴(어떻게)를 의미하고 ftp, rtsp(비디오) 등의 다른 가용한 프로토콜을 사용할 수 있다.

URL은 동일하게 '스킴://서버위치/경로' 구조로 이루어져 있다.

(항상 까먹어서 내가 보려고 정리!)