.svg)
%201.svg)
%201.svg){kind=icon}
담당자가 프로모션 코드를 발송해 드립니다.
와탭을 경험해 보세요.
와탭을 경험해 보세요.
와탭을 경험해 보세요.
와탭을 경험해 보세요.
와탭을 경험해 보세요.
와탭을 경험해 보세요.
와탭을 경험해 보세요.
와탭을 경험해 보세요.
WhaTap AI를 경험해 보세요.
모니터링 임계값 설정 가이드, 알림 기준은 어떻게 정할까?
모니터링 알림 설정을 처음 할 때는 "CPU 사용률 80%, 응답시간 2초로 정하면 되는 건가?"를 고민하고, 몇 달 운영한 뒤에는 "기준을 낮추면 너무 자주 울리고, 높이면 장애를 놓치는데 어떻게 정하지?"를 고민합니다. 쓸데없는 알림은 줄이고 장애는 놓치지 않으려면 모든 지표에 숫자 하나를 똑같이 정하지 말고, 지표 성격에 따라 고정 임계값과 동적 기준선을 나눠 씁니다. 그리고 어느 기준이든 한 번 튄 값에 바로 울리지 않도록, 조건이 일정 시간 이어질 때만 알림을 보냅니다.
숫자 하나로 모든 지표를 다루면 알림 규칙이 두 방향으로 어긋납니다. 점심시간처럼 트래픽이 매일 몰리는 시간대마다 울리는 알림은 곧 아무도 열어 보지 않습니다. 반대로 트래픽이 적은 밤에는 응답시간이 평소의 세 배가 돼도 2초 아래라 아무 알림도 오지 않습니다.
지금 쓰는 알림 규칙은 다음 순서로 다시 정리합니다.
- 지표 나누기: 디스크 용량이나 메모리 한도처럼 물리 한계가 있는 지표와, 요청 수처럼 시간대와 요일에 따라 오르내리는 지표를 나눕니다.
- 기준 고르기: 물리 한계가 있는 지표에는 사람이 값을 정해 두는 고정 임계값을, 오르내리는 지표에는 과거 같은 시간대의 평소 범위와 비교하는 동적 기준선을 겁니다.
- 지속 시간 조건 걸기: 규칙마다 조건이 몇 분 이어질 때만 알림을 보내도록 지속 시간을 둡니다.
- 한 달에 한 번 검토하기: 규칙별로 울린 횟수와 실제 조치로 이어진 비율을 확인하고, 아무도 조치하지 않은 알림은 지우거나 등급을 낮춥니다.
임계값은 지표 성격에 따라 다르게 잡는다
임계값은 지표가 그 값을 넘거나 밑돌면 알림을 보내도록 정해 둔 경계 값으로, 임계치라고도 부릅니다. 임계값을 잡는 방식은 지표 성격으로 고릅니다. 다음 표는 지표별로 처음 고를 만한 기준입니다. 표의 p95는 바로 아래에서 설명합니다.
응답시간 p95는 요청 100건 가운데 95번째로 빠른 요청의 응답시간입니다. 사용자가 참을 수 있는 한계는 고정 상한으로, 평소보다 느려진 변화는 동적 기준선으로 나눠 보는 것이 기본 조합입니다.
에러율은 평소 값이 0에 가까워서, 과거 데이터로 평소 범위를 계산하면 범위가 지나치게 좁아져 에러 한두 건에도 알림이 울립니다. 그래서 에러율에는 고정 임계값이 더 잘 맞습니다. 주문 수와 로그인 수는 평소보다 늘어나는 쪽보다 줄어드는 쪽이 장애 징후라서, 동적 기준선을 하락 방향으로 겁니다.
알림 등급은 고정 임계값인지 동적 기준선인지와 상관없이 사용자가 받는 영향과 대응이 얼마나 급한지로 정합니다. 주문 수가 급감했다는 동적 기준선 알림은 바로 사람을 불러야 하고, 디스크 사용률 고정 임계값 알림은 계획된 정리 작업으로 처리할 수도 있습니다.
고정 임계값과 동적 기준선은 무엇이 다를까
고정 임계값은 사람이 미리 정한 값을 지표가 넘거나 밑돌면 알림을 보내는 방식입니다. 고정 임계값의 장점은 단순함입니다. 알림이 울린 이유가 "디스크 사용률이 90%를 넘었다"로 한 줄에 설명되고, 같은 데이터를 넣으면 언제나 같은 결과가 나옵니다. 약점은 시간이 지나면서 드러납니다. 고정 값 하나로는 낮 정점과 밤 저점을 함께 다룰 수 없고, 서비스가 성장하면 1년 전에 정한 값이 지금의 평소 수준이 되기도 합니다.
동적 기준선은 과거 같은 시간대의 평소 범위를 계산해 두고, 현재 값이 그 범위를 벗어나면 알림을 보내는 방식입니다. 동적 임계값, 베이스라인 알림이라고도 부르고, 많은 모니터링 도구가 이상 탐지라는 이름으로 제공합니다. 시간대와 요일 패턴을 반영하는지는 구현에 따라 다릅니다. 동적 기준선은 과거 데이터로 평소를 계산하므로, 요일마다 달라지는 패턴을 반영하려면 최소 한 주, 가능하면 여러 주의 데이터가 쌓여야 합니다. 데이터가 쌓이기 전에는 고정 임계값을 함께 걸어 두는 편이 안전합니다.
동적 기준선은 서서히 나빠지는 변화를 놓친다
동적 기준선의 가장 큰 약점은 천천히 진행되는 악화입니다. 메모리 누수로 사용량이 하루 1%씩 오르거나 응답시간이 몇 주에 걸쳐 조금씩 늘어나면, 기준선도 같은 속도로 따라 올라갑니다. 매일 보면 평소 범위 안이라 알림이 울리지 않습니다. 천천히 진행되는 악화는 동적 기준선만으로는 잡기 어려워서, 넘으면 안 되는 고정 상한을 함께 두거나 이번 주 값을 4주 전 같은 시간대와 비교하는 규칙을 따로 만들어 보완합니다.
알림이 너무 많거나 장애를 놓칠 때는 조건부터 점검한다
조치할 필요 없는 알림이 쌓이면 알림 피로로 이어집니다. 알림 피로는 반복되는 알림에 무뎌져 진짜 장애 알림까지 흘려보내는 상태를 말합니다. 알림이 너무 많다고 기준값부터 올리면 장애를 놓치기 쉬우므로, 기준값을 바꾸기 전에 지속 시간 조건, 최소량 조건, 해제 조건부터 확인합니다.
지속 시간 조건, 몇 분 이어질 때만 울리게 하기
고정 임계값이든 동적 기준선이든 한 번 튄 값에 바로 알림을 보내면 문제가 없는데도 울리는 오탐이 많아집니다. 조건이 일정 시간 이어질 때만 알림을 보내는 지속 시간 조건을 거는 것이 기본입니다. 대신 지속 시간만큼 탐지가 늦어지므로, 심각한 규칙일수록 지속 시간을 짧게 둡니다.
최소량 조건, 요청이 적은 시간대의 흔들림 거르기
트래픽이 적은 시간대에는 요청 몇 건만으로 값이 크게 흔들립니다. 요청 2건 가운데 1건만 실패해도 에러율은 50%가 됩니다. 요청 수가 일정 수준 이상일 때만 판단하는 최소량 조건을 함께 두되, 최소량을 어느 구간에서 확인할지는 판단 대상에 따라 다릅니다.
- 에러율과 p95: 현재 요청으로 계산하는 값이므로, 현재 요청량이 충분할 때만 판단합니다.
- 요청 급감: 평소 이 시간대에 요청이 충분히 있었는지를 확인합니다. 현재 요청량에 최소량 조건을 걸면 요청이 0건으로 떨어진 완전 중단을 놓칩니다.
- 수집 중단: 지표 자체가 들어오지 않으면 평소와 비교하는 규칙으로는 아무것도 판단할 수 없으므로, 데이터 미수집을 감지하는 규칙을 따로 둡니다.
해제 조건, 정상 범위에 머문 뒤에 풀기
발생 조건에 지속 시간을 걸어도 해제 조건을 따로 두지 않으면, 값이 범위 경계를 오갈 때마다 알림이 울렸다 풀리기를 반복합니다. 정상 범위에 일정 시간 머문 뒤에 해제하도록 두면 반복이 줄어듭니다.
한 달에 한 번, 조치로 이어지지 않은 알림 정리하기
알림 규칙은 한 번 만들고 끝나지 않습니다. 한 달에 한 번, 규칙별로 울린 횟수와 실제 조치로 이어진 비율, 알림 없이 지나간 장애를 함께 확인합니다. 아무도 조치하지 않은 알림은 지우거나 등급을 낮추고, 알림 없이 지나간 장애는 새 규칙을 만들 근거로 씁니다. 새로 추가한 동적 기준선 규칙은 처음부터 당직자를 부르지 않습니다. 기존 장애 알림은 그대로 두고, 당직 호출이 가지 않는 별도 알림 채널에서 몇 주 검증한 뒤 호출 대상으로 올립니다.
자주 묻는 질문
임계값은 어떤 값으로 정해야 하나요?
CPU 사용률 80%처럼 흔히 쓰는 숫자보다 서비스의 과거 데이터에서 시작하는 편이 맞습니다. 과거 2~4주 데이터를 크기순으로 늘어놓았을 때 상위 몇 % 지점에 있는 값에 여유를 더해 시작하는 방법이 있습니다. 디스크 같은 용량 지표는 증설에 필요한 시간을 기준으로 계산하는 편이 정확합니다. 하루 증가량에 증설까지 걸리는 일수를 곱해 필요한 여유 용량을 구하고, 남은 용량이 필요한 여유 용량보다 작아지는 사용률을 임계값으로 둡니다.
머신러닝 이상 탐지를 쓰면 알림이 더 정확해지나요?
요일과 계절 같은 주기를 나눠 계산하거나 다음 값을 예측하는 머신러닝 이상 탐지는 여러 주기가 겹친 지표에서 기준선을 더 정교하게 계산할 수 있습니다. 대신 알림이 울린 이유를 설명하기 어려워지고, 담당자가 이유를 납득하지 못한 알림은 무시되기 쉽습니다. 모델을 고르기 전에, 알림 하나를 받은 담당자가 다음에 무엇을 볼지 정해져 있는지부터 점검합니다.
마치며
모니터링 알림 기준은 지표마다 다르게 잡습니다. 넘으면 실제로 무언가가 멈추는 지표에는 고정 임계값을, 시간대와 요일에 따라 평소 수준이 달라지는 지표에는 동적 기준선을 걸고, 어느 쪽이든 지속 시간 조건을 함께 두면 쓸데없는 알림은 줄이면서 장애는 덜 놓칠 수 있습니다.
와탭은 이상 탐지 기능을 이상치 탐지라는 이름으로 제공합니다. 이상치 탐지의 Automatic Baseline은 수집 서버가 지표별 임계값을 자동으로 계산하고, 사용자는 적용 대상과 지속 조건을 정합니다. 상승과 하락 패턴의 민감도를 직접 지정하려면 Adaptive Range를 씁니다. 지금 쓰는 알림 규칙 가운데 시간대마다 오탐이 나는 규칙이 있다면, 이상치 탐지 문서에서 Automatic Baseline과 Adaptive Range의 차이를 확인해 보세요.
더 읽을거리
