클라우드 운영 환경에서 로그 관리의 용이함을 위해 Kafka 애플리케이션의 Log를 Mount한 Volume 한곳에 모아두는 과정에서 이상한 점을 발견한다.
Kafka에서 수집되어지는 로그 종류는 총 3 가지 정도로 보여지는데, 로그 위치를 지정 할 수 있는 옵션이 설정 파일들을 뒤져봐도 2 가지 밖에 없다는 것이다.
첫 번째는 server.properties 파일의 log.dirs 옵션이다. 이 로그 경로는 Kafka 애플리케이션의 자체 로그가 아니라 토픽, 파티션 정보등 Data가 저장되는 경로라고 이해 하는 것이 더 적합하다.
두 번째는 zookeeper.properties 파일의 dataDir 옵션이다. zookeeper에 관련된 로그들이 저장되는 경로이다.
세 번째로 kafka 애플리케이션의 로그가 모이는 곳의 default 값이 카프카가 설치된 디렉토리의 logs 디렉토리인데, ($kafka_home/logs 정도라고 표현하면 될 것이다.)
이 경로를 설정하는 파일이 어떤 파일인지 몰랐는데 이번에 알아내게 되었다.
kafka를 실행할 때 사용하는 스크립트 파일인 kafka-server-start.sh 맨 아랫줄을 보면 kafka-run-class.sh 라는 파일을 참조하는데 이 파일을 살펴보면
위와 같이 LOG_DIR 설정이 $base_dir/logs로 되어 있는것을 확인할 수 있다. 이걸 원하는 디렉토리 경로로 바꿔주면 된다.
'IT > Kafka' 카테고리의 다른 글
| [Kafka] 폐쇄망에 3 Node로 카프카 클러스터 구성하기 (0) | 2022.05.30 |
|---|