고슴도치 METHOD

카프카 클러스터를 구성하기 위해 먼저 VM(CE)를 구성 해 준다. 총 4대의 VM이 필요하며 이 중 3대는 카프카 클러스터 구성용, 1대는 SSH 접속을 위한 Public IP가 부여된 VM이다. 폐쇄망 VM과 공개망 VM을 만드는 것은 따로 상세히 기술하지는 않는다. 주의 할 점은 카프카 클러스터 구성용 VM에는 각각 30GB의 외부 볼륨이 붙는다. 아래 사진 한장으로 설명을 대체 한다. 각 서버에 SSH로 접속하기 위해 edge 서버에서 몇가지 작업을 해야한다. 아래 순서대로 진행 한다. kafka 클러스터용 VM에 SSH로 접속하기 위한 키 생성 및 키 배포 작업. 클러스터용 VM에 외부 볼륨 마운트 후 kafka 계정 생성 작업. 편리한 SSH 접속을 위한 Script 작성 폐쇄망에 VM 3대에..

클라우드 운영 환경에서 로그 관리의 용이함을 위해 Kafka 애플리케이션의 Log를 Mount한 Volume 한곳에 모아두는 과정에서 이상한 점을 발견한다. Kafka에서 수집되어지는 로그 종류는 총 3 가지 정도로 보여지는데, 로그 위치를 지정 할 수 있는 옵션이 설정 파일들을 뒤져봐도 2 가지 밖에 없다는 것이다. 첫 번째는 server.properties 파일의 log.dirs 옵션이다. 이 로그 경로는 Kafka 애플리케이션의 자체 로그가 아니라 토픽, 파티션 정보등 Data가 저장되는 경로라고 이해 하는 것이 더 적합하다. 두 번째는 zookeeper.properties 파일의 dataDir 옵션이다. zookeeper에 관련된 로그들이 저장되는 경로이다. 세 번째로 kafka 애플리케이션의 로..