[인터뷰] GPU 모니터링 담당자가 전하는 GPU 운영의 현실과 미래

안녕하세요. AI 네이티브 옵저버빌리티 플랫폼, 와탭랩스입니다.

매년 Google Korea는 한 해의 사회·기술적 흐름을 보여주는 ‘올해의 검색어’를 공개합니다. 2025년 검색어 순위를 살펴보면 지난 한 해를 ‘AI의 해’라고 정의해도 과언이 아닙니다.

챗GPT, Gemini, 나노바나나 등 주요 생성형 AI 도구들의 검색량이 급증했을 뿐 아니라, GPU 생태계의 중심에 있는 NVIDIA의 CEO 젠슨황이 올해의 검색 인물 부문(정치인 제외)에서 압도적인 1위를 차지했다는 점이 이를 명확히 보여줍니다.

GPU 자체에 대한 관심 역시 정점에 달했습니다. 지난해 10월, 과학기술정보통신부는 NVIDIA와의 전략적 파트너십을 통해 총 26만 장의 GPU를 확보했다고 발표했습니다. 이는 미국과 중국에 이어 세계적으로 손꼽히는 규모로, 글로벌 AI 인프라 관점에서 한국이 최상위 그룹(Top-Tier)에 진입했음을 상징하는 수치로 평가받고 있습니다.

‍

이러한 AI와 GPU 중심의 흐름 속에서 현장에서는 보다 현실적인 질문들이 오가고 있습니다.

“확보한 GPU는 실제로 얼마나 효율적으로 활용되고 있는가?”
“투자 비용 대비 성과는 충분히 관리되고 있는가?”
“장애나 성능 저하는 얼마나 빠르게 감지·대응되고 있는가?”

그래서 이번 레터에서는 GPU 모니터링을 직접 개발하고, 실제 환경에서 구축·운영해온 개발자들과 함께 GPU 운영 현장의 이야기를 살펴봅니다. 화려한 숫자 뒤에 가려진 운영상의 현실과 그에 대한 대응 경험을 중심으로, 앞으로 GPU 운영 전략을 어떻게 가져가야 할지에 대한 실질적인 인사이트를 전해드리고자 합니다.

본 인터뷰는 지난 11월 개최된 WhaTap Observe Summit 2025의 세션 <GPU 운영의 현실과 미래: 가시성에서 인텔리전스로>를 바탕으로 구성되었습니다.

‍

GPU 운영의 냉혹한 현실

‍

안녕하세요, 먼저 간단한 자기소개 부탁드립니다.

김재영: 와탭랩스 Infra팀 GPU 모니터링 개발을 담당하고 있는 김재영입니다.

유재현: 재영님과 함께 GPU 모니터링 개발하고 있는 유재현입니다.

‍

기업들이 GPU를 도입하면서 가장 많이 토로하는 고민은 무엇인가요?

유재현: 많은 기업이 초기 학습(Trainig) 단계를 지나 실제 서비스에 적용하는 추론(Inference) 단계로 넘어가고 있습니다. 이 시점부터 문제가 본격적으로 드러납니다. 가장 큰 문제는 CPU와 달리 참고할 만한 운영 레퍼런스나 표준화된 진단 가이드가 거의 없다는 점입니다. 장애가 발생해도 어디가 문제인지 파악하기 어렵고, GPU 장애는 곧바로 서비스 중단으로 이어지는 경우가 많다 보니 운영자들의 부담이 상당합니다.

김재영: 여기에 하나 더 덧붙이자면, GPU 이슈는 일반적인 소프트웨어 버그와는 성격이 다릅니다. 전력 소모나 온도 변화 같은 하드웨어 이벤트와 애플리케이션 로직이 복잡하게 얽혀 있기 때문입니다. 실제로 한 글로벌 연구에 따르면 AI 학습 장애 원인의 약 30%가 하드웨어 이슈, 즉 전력이나 온도, 장치 자체의 오류에서 기인한다고 합니다.

30%나 된다니 놀랍네요. 현장에서 겪은 구체적인 사례가 있을까요?

김재영: 반도체 제조 현장에서의 사례가 기억에 남습니다. 쿠버네티스 환경에서 GPU 워크로드를 운영하던 중 전력 제한을 초과하면서 GPU가 갑자기 에러 상태로 전환되고 서비스가 중단된 일이 있었습니다. 문제는 당시 적절한 모니터링 체계가 갖춰져 있지 않아, 장애가 발생할 때마다 원인을 특정하지 못한 채 장비를 ‘껐다 켜는’ 방식으로 대응할 수밖에 없었다는 점입니다. 이후 전력 사용 패턴을 분석하고 나서야 비로소 사전 조치가 가능해졌습니다.

‍

말씀하신 것처럼 ‘껐다 켜는' 식의 대응에서 벗어나려면 원인 분석(RCA)이 중요할 텐데, GPU에서는 왜 특히 어려운 걸까요?

유재현: GPU는 결코 단독으로 일하지 않기 때문입니다. 하드웨어, 네트워크, CPU와의 연계가 매우 긴밀합니다. 특히 최근 많이 활용되는 MIG(Multi-Instance GPU)나 가상화, 컨테이너 환경에서는 기존의 단일 장치 중심의 모니터링 방식만으로는 전체 상태를 파악하는 데 한계가 있습니다.

김재영: 결국, GPU 하나만 봐서는 문제를 설명할 수 없다는 의미입니다. 그래서 핵심은 '연계된 통합 가시성'입니다. 전력과 온도, 드라이버 상태 같은 하드웨어 지표부터 컨테이너 내부의 워크로드 흐름까지를 하나의 맥락으로 연결해 봐야 합니다. 그래야 경험이나 감에 의존한 대응이 아니라, 데이터에 기반한 정밀한 운영이 가능해집니다. 이것이 GPU 운영 현장에서 얻은 가장 중요한 인사이트입니다.

(추천 글: GPU 모니터링 시 반드시 봐야 할 핵심 지표는?)

‍

GPU의 역설 “부족한데, 낭비되고 있다”

요즘 GPU를 구하는 것이 하늘의 별 따기라고들 합니다. 그런데 현장에서는 오히려 GPU 자원이 낭비되고 있다는 이야기도 들립니다. 이 아이러니한 상황은 왜 발생하는 걸까요?

유재현: 한 문장으로 정리하면, 필요한 시점에 필요한 만큼 쓰지 못하고 있기 때문입니다. GPU는 대개 워크로드 단위로 통째로 할당되는 경우가 많습니다. 하지만, 실제 이 장치들의 실사용률을 측정해 보면 10~20% 수준에 머무는 사례가 많습니다. 자원은 확보했지만, 활용은 구조적으로 비효율적인 상태가 고착화된 셈입니다.

김재영: 여기에 구조적인 ‘파편화’ 문제도 큽니다. GPU 상태 정보가 장치 레벨, 서버 레벨, 쿠버네티스 레벨로 각기 흩어져 있다 보니 전체 흐름이 툭툭 끊깁니다. 어느 GPU가 유휴 상태인지, 어떤 워크로드가 과도하게 점유하고 있는지 한눈에 보이지 않으니 효율적인 스케줄링이 이루어지지 않는 것이죠.

유재현: 물론 MIG처럼 GPU를 분할해 활용하는 기술이 대안으로 있지만, 이를 현업에 적용하기엔 운영 복잡도가 여전히 높습니다. 관리 도구의 성숙도 역시 초기 단계에 머물러 있어, 기술은 존재하지만 현업에서 안정적으로 활용하기에는 장벽이 있는 것이 현실입니다.

‍

그렇다면 이처럼 복잡한 문제를 어떻게 풀어야 할까요? 생각하고 계신 이상적인 AI 인프라 운영 전략이 궁금합니다.

유재현: 저는 GPU를 '1급 자원(First-Class Citizen)'으로 다뤄야 한다고 봅니다. CPU나 메모리와 동일한 수준으로 인벤토리 관리의 대상이 되어야 한다는 의미입니다. GPU의 온도, 전력 성능 지표를 서버 메트릭과 통합하여 분석하고, 이슈가 발생했을 때 한 번의 클릭으로 트레이스와 로그까지 파고드는 원클릭 드릴다운 환경이 필요합니다.

쿠버네티스 환경을 운영하는 분들을 위한 실무적인 팁도 주신다면요?

김재영: 핵심은 시각화입니다. 예를 들어 컨테이너 맵을 통해 어떤 Pod가 어떤 GPU를 얼마나 사용하고 있는지를 색상으로 직관적으로 보여줄 수 있습니다. 이렇게 하면 활용률이 낮은 GPU나 MIG를 제대로 쓰지 못하는 비효율 구간을 시스템이 자동으로 드러납니다. 운영자가 경험이나 감에 의존해 추측할 필요가 없어지는 거죠.

‍

그렇게 수집된 데이터는 실제로 어떤 운영상의 이득으로 이어질 수 있을까요?

김재영: 데이터가 쌓이면 패턴이 보입니다. 예를 들어 '수요일을 제외한 야간 시간대에는 GPU 리소스가 대부분 유휴 상태다'와 같은 인사이트를 도출할 수 있습니다. 이를 바탕으로 워크로드 재배치나 예약 스케줄링 정책을 수립하면 이는 곧바로 비용 절감, 즉 FinOps 관점의 성과로 이어집니다.

‍

GPU, 가시성에서 인텔리전스로

오늘 이야기를 통해 GPU 운영이 단순한 기술 모니터링을 넘어, 비즈니스 리스크 관리와 전략적 의사결정을 지원하는 영역으로 확장되고 있다는 점이 분명해졌습니다. 마지막으로, 와탭이 그리는 GPU 모니터링의 미래는 어떤 모습인가요?

김재영: 현재 GPU 모니터링이 인프라 안정화와 장애 원인 파악 초점을 두고 있다면, 다음 단계는 비용 메트릭과의 결합(FinOps)입니다. GPU 사용량과 전력 소모를 실제 비용($) 기준으로 환산해 보여줌으로써 GPU 운영 데이터를 경영진의 의사결정에 직접 연결하는 도구로 발전시키고자 합니다.

‍

유재현: 관리의 범위 역시 더욱 확장될 것입니다. 단일 GPU를 넘어 인프라 전체를 연결하는 인피니밴드(InfiniBand) 네트워크와 AI 워크로드 전반의 리소스를 아우르는 통합 관리 모델을 지향하고 있습니다. 궁극적으로 중요한 것은 흩어진 데이터를 '하나의 공통 언어'로 정리하고 연결하는 것입니다. 그 공통 언어가 마련될 때 개발팀, 운영팀, 비즈니스팀이 동일한 기준에서 AI 인프라의 가치를 이해할 수 있게 됩니다.

‍

두 분의 이야기를 종합해 보면, 오늘날 GPU 운영의 본질적인 과제는 이미 보유한 GPU를 얼마나 정확히 이해하고, 연결된 맥락 속에서 활용하느냐에 있습니다. 실제 현장에서는 GPU 장애의 약 30%가 전력이나 온도와 같은 하드웨어 요인에서 발생하는 동시에, 다수의 GPU가 평균 10~20% 수준의 낮은 활용률에 머무르는 구조적 비효율이 공존하고 있습니다.

이는 GPU가 단일 장치가 아니라 하드웨어, 쿠버네티스, 네트워크, 애플리케이션이 복합적으로 얽힌 자원임에도 이를 통합적으로 바라볼 수 있는 가시성이 부족했기 때문입니다. 결국 해법은 GPU를 CPU, 메모리와 동등한 1급 자원으로 관리하고, 전력·온도·워크로드·비용 메트릭을 하나의 흐름으로 연결해 데이터 기반의 운영과 의사결정으로 진화하는 데 있습니다.

이러한 ‘가시성에서 인텔리전스로의 전환’이 이루어질 때 GPU 운영은 장애 대응을 넘어, 비용 효율과 비즈니스 경쟁력을 동시에 높이는 전략적 영역으로 자리 잡게 될 것입니다.

이와 같은 GPU 운영에 도움을 줄 수 있는 와탭 GPU 모니터링 소개서를 지금 다운로드해보세요.

‍와탭 GPU 모니터링 소개서 다운로드 →