어제 모니터링 툴설치하고 모니터링하는데 10분 간격으로 Heap 메모리가 늘었다가 줄었다 하는 걸로 파악이 되었습니다.

추측은 캐시는 2분만에 돌기때문에 2분마다 줄었다 늘었다 할거라고 예상했는데 10분 간격으로 늘었다가 줄어들어서 생성된 Threads 들을 분석해보니,

38번 서버에서 50번, 52번, 60번, 61번 서버에 RMI TCP Connection 요청하고 있었습니다.

원인은 ehcache 내부에서 multicastGroupAddress 를 통해 같은 그룹안의 노드를 자동으로 발견하는 멀티캐스트 방식으로 본인의 로컬 캐시데이터와 타 서버간의 캐시데이터를 비교하여 각 서버에 캐시메모리를 동기화하는 작업을 하고 있는걸로 파악되었습니다.

앞선 개발자들이 해당 기능에 대한 명확한 분석없이 ctrl+c 를 반복하면서 생긴 이슈로 수정하였습니다.

그 후 RMI TCP Connection 요청이 없어졌으며, 그로인한 Thread 부하가 줄어들었습니다.