H100을 샀는데 왜 AI는 챗봇에 갇히는가

공공 AI의 병목은 컴퓨팅 구매가 아니라 컴퓨팅 거버넌스다

공공 AI 이야기를 듣다 보면 묘한 간극을 만납니다. 한쪽에서는 H100 같은 고성능 GPU를 몇 장 확보했는지가 성과처럼 이야기됩니다. 다른 쪽에서는 실무자가 여전히 웹 브라우저의 챗봇에 문서를 붙여 넣고 답을 복사합니다. 값비싼 연산장비는 들어왔는데 정작 행정업무에 연결된 API는 없고, 부서가 안전하게 쓸 수 있는 서비스 목록도 없으며, 누가 운영을 책임지는지도 분명하지 않은 경우가 생깁니다.

이 글에서 H100은 특정 기관의 구매 사례를 가리키는 말이 아닙니다. 공공기관이 확보하는 고가의 AI 컴퓨팅 자원을 상징하는 표현입니다. 문제는 장비의 성능이 아닙니다. 장비가 실제 업무로 흘러가는 경로가 없다는 데 있습니다.

GPU는 구매하는 순간 자산이 되지만, 서비스가 되는 것은 아닙니다. 이용자가 신청할 수 있어야 하고, 모델이 올라가 있어야 하며, 인증된 API가 열려 있어야 합니다. 데이터의 위험도에 따라 사용할 수 있는 환경이 나뉘어야 하고, 장애와 비용을 관리할 운영자가 있어야 합니다. 무엇보다 그 연산이 어떤 행정 문제를 얼마나 개선했는지 측정할 수 있어야 합니다.

그래서 공공 AI의 다음 질문은 “GPU를 몇 장 살 것인가”가 아니라 “누가 어떤 조건으로 어떤 업무에 쓸 수 있게 할 것인가”여야 합니다.

장비를 들여놓는 일과 연산을 배분하는 일은 다르다

공공기관이 자체 컴퓨팅 자원을 확보하려는 이유는 충분히 이해할 수 있습니다. 민감한 데이터를 외부로 보내기 어렵고, 특정 사업자의 가격과 정책에 전적으로 의존하고 싶지 않으며, 반복적으로 발생할 추론 비용도 통제하고 싶기 때문입니다. 내부망과 특수업무에는 로컬 실행이 더 적합한 경우도 있습니다.

하지만 소유권이 곧 이용 가능성을 보장하지는 않습니다. 하나의 GPU를 여러 업무가 함께 사용하려면 자원을 나누고, 우선순위를 정하고, 대기열을 운영하고, 장애를 복구해야 합니다. 엔비디아의 MIG 공식 문서를 보면 H100을 포함한 지원 GPU는 전용 연산·메모리를 가진 여러 격리 인스턴스로 분할할 수 있습니다. 기술적으로는 한 장비를 여러 사용자와 워크로드가 효율적으로 나눠 쓰는 길이 이미 있습니다.

그런데 어느 부서에 어느 크기의 인스턴스를 줄지, 긴급 민원과 연구 실험 중 무엇을 먼저 처리할지, 유휴 자원을 다른 기관이 빌려 쓸 수 있는지, 비용을 누구에게 어떻게 배부할지는 하드웨어가 결정하지 않습니다. 이것은 조직의 규칙입니다.

장비가 있는데도 활용되지 않는다면 기술이 부족해서가 아니라 다음과 같은 운영 질문에 답하지 못했을 가능성이 큽니다.

누가 이용 자격을 얻고 누가 승인하는가.
어떤 모델과 도구를 공용 서비스로 제공하는가.
민감도에 따라 어떤 데이터까지 넣을 수 있는가.
부서별 할당량과 우선순위, 대기시간은 어떻게 정하는가.
장애, 보안사고, 모델 업데이트는 누가 책임지는가.
사용량이 아니라 실제 업무효과를 어떻게 평가하는가.

이 질문들의 답을 저는 ‘컴퓨팅 거버넌스’라고 부르고 싶습니다.

GPU를 서버실의 물건이 아니라 내부 공공서비스로 봐야 한다

컴퓨팅 거버넌스의 핵심은 GPU를 부서 소유의 장비에서 기관 전체가 호출하는 서비스로 바꾸는 것입니다. 실무자는 서버 주소와 드라이버 버전을 알아야 할 필요가 없습니다. 승인된 모델을 문서분류, 검색, 요약, 변환 같은 업무 도구에서 API로 호출할 수 있으면 됩니다.

이 구조에는 적어도 여섯 개 층이 필요합니다.

첫째는 서비스 목록입니다. 사용할 수 있는 모델, 입력 가능한 데이터 등급, 지원 언어, 최대 문맥, 예상 비용과 품질, 금지된 용도를 한곳에서 확인할 수 있어야 합니다. “GPU가 있다”는 공지보다 “이 업무에는 이 엔드포인트를 이 조건으로 쓸 수 있다”는 설명이 실무에 더 유용합니다.

둘째는 접근 인터페이스입니다. 개별 팀이 서버에 직접 접속해 모델을 띄우는 방식으로는 확산이 어렵습니다. 인증, 사용량 기록, 버전 고정, 속도 제한이 포함된 표준 API와 개발용 샌드박스가 필요합니다. API가 열리지 않은 GPU는 대부분의 실무자에게 잠긴 창고와 다르지 않습니다.

셋째는 배분 규칙입니다. 부서마다 장비를 한 대씩 사는 대신 공용 풀에서 필요한 만큼 쓰게 하려면 할당량, 우선순위, 예약, 유휴자원 회수, 비용 귀속 규칙을 정해야 합니다. 큰 모델 한 번을 돌리는 연구와 작은 모델을 매일 호출하는 행정서비스는 같은 방식으로 배분할 수 없습니다.

넷째는 데이터 구역입니다. 공개자료, 내부 업무자료, 개인정보, 고도의 민감정보를 같은 환경에서 처리해서는 안 됩니다. 데이터 등급별로 허용 모델과 저장·로그 정책을 나누고, 외부 반출과 도구 실행에는 별도 승인을 두어야 합니다. 무조건 차단하거나 무조건 로컬로 몰아가는 대신 위험에 비례한 경계를 설계해야 합니다.

다섯째는 운영 책임입니다. 모델을 올린 부서와 네트워크를 관리하는 부서, 실제 업무를 소유한 부서가 갈라져 있으면 장애가 생길 때 서로를 바라보게 됩니다. 서비스 수준, 업데이트 주기, 보안패치, 사고 대응, 폐기 기준과 최종 책임자를 처음부터 정해야 합니다.

여섯째는 성과 회계입니다. GPU 가동률과 토큰 사용량은 운영지표일 뿐 행정성과가 아닙니다. 처리시간, 사람의 검토시간, 수정률, 재작업, 서비스 품질, 업무 한 건당 총비용이 어떻게 달라졌는지를 함께 봐야 합니다.

공통기반은 중앙의 거대한 챗봇을 뜻하지 않는다

한국지능정보사회진흥원이 공개한 2026년 공공부문 AI 도입·활용 가이드는 기관별 AI 인프라 구축으로 생긴 중복투자와 기술적 파편화를 문제로 짚고, 모델과 GPU를 범부처가 공동 활용하는 ‘범정부 AI 공통기반’을 우선 검토하도록 합니다. 중요한 방향입니다.

다만 공통기반을 모든 기관이 하나의 거대한 챗봇만 쓰는 구조로 오해해서는 안 됩니다. 공통이어야 하는 것은 인증, 과금, 보안, 로그, 모델 제공, 평가 같은 기반입니다. 업무도구와 규칙은 현장에 맞게 달라질 수 있어야 합니다.

도로망은 공동으로 쓰지만 모든 차량의 목적지가 같지는 않습니다. 공통 컴퓨팅 기반도 마찬가지입니다. 중앙은 안전하게 달릴 수 있는 도로와 교통규칙을 제공하고, 각 기관은 그 위에 민원 분류, 법령 검토, 보조금 심사 지원, 문서 변환 같은 서로 다른 업무차량을 올려야 합니다.

OECD의 2026 디지털정부 전망도 많은 국가가 공공 AI 전략과 담당 조직을 갖췄지만 데이터 거버넌스, 인프라, 직무별 역량, 조직 역량 같은 실제 확산 조건은 고르지 않다고 지적합니다. 전략과 장비가 존재하는 것, 업무에서 지속적으로 쓰이는 것은 다른 단계라는 뜻입니다.

클라우드를 쓰면 해결되는가

여기에는 간단한 반론이 있습니다. 복잡하게 공용 GPU를 운영하지 말고 상용 클라우드 API를 쓰면 된다는 것입니다. 많은 업무에서는 맞는 선택입니다. 수요가 작거나 변동이 크고, 민감정보를 다루지 않으며, 빠른 실험이 중요하다면 외부 API가 더 싸고 안정적일 수 있습니다.

하지만 클라우드도 거버넌스를 대신해 주지는 않습니다. 누가 어떤 모델을 쓸지, 어떤 데이터를 보낼 수 있는지, 예산 한도를 어떻게 둘지, 출력 오류를 누가 검토할지는 여전히 기관이 정해야 합니다. 반대로 내부 GPU를 보유해도 이런 규칙이 없다면 활용은 늘지 않습니다.

따라서 답은 ‘자체 구축이냐 클라우드냐’의 이분법이 아닙니다. 위험도, 사용량, 지연시간, 데이터 위치, 공급자 의존성을 기준으로 업무별 실행환경을 선택하되, 어느 환경에서도 같은 승인·기록·평가 원칙을 적용하는 혼합 구조가 현실적입니다.

소유 방식보다 중요한 것은 이용 방식입니다.

첫 파일럿은 GPU 배정이 아니라 서비스 개통이어야 한다

공용 컴퓨팅 기반을 시험한다면 부서에 GPU 사용시간을 나눠주는 것부터 시작하지 않는 편이 좋습니다. 위험과 사용패턴이 다른 업무 세 가지를 골라 ‘연산 서비스’를 끝까지 개통해보는 편이 낫습니다.

예를 들어 공개문서 분류, 내부 규정 검색, 민감정보가 없는 대량 문서 변환을 선정할 수 있습니다. 각 업무에 승인 모델과 API, 데이터 경계, 담당자, 비용 한도, 장애 대응, 평가 지표를 붙입니다. 그리고 8주 동안 다음을 봅니다.

이용 신청에서 첫 호출까지 걸린 시간
평균·상위 대기시간과 실패율
업무 한 건당 추론비용과 사람 검토시간
초안 채택률과 핵심 수정률
부서 간 재사용 횟수
정책 위반, 개인정보 노출, 장애 건수

GPU 가동률이 높아도 사람이 결과를 다시 만들고 있다면 실패입니다. 반대로 가동률이 낮더라도 특정 업무의 처리시간과 검토 부담을 안정적으로 줄였다면 자원을 제대로 쓴 것입니다. 공공 컴퓨팅의 목표는 칩을 쉬지 않게 하는 것이 아니라 행정서비스를 더 낫게 만드는 데 있습니다.

이 파일럿의 첫 산출물도 화려한 챗봇 화면이 아닙니다. 사용 가능한 서비스 목록, 데이터 등급표, API 계약, 배분 규칙, 운영 책임표, 업무효과 대시보드가 먼저여야 합니다.

공공 AI의 경쟁력은 연산의 양보다 배분의 질에서 갈린다

GPU 확보는 중요합니다. 연산자원이 부족하면 자체 실험과 서비스 운영이 모두 외부 조건에 묶입니다. 그러나 구매를 성과의 끝으로 보면 장비는 빠르게 노후화되고, 실무는 여전히 공개 챗봇 주변을 맴돌게 됩니다.

H100을 사는 일은 예산과 조달의 문제입니다. 그 H100을 수십 개 업무가 안전하게 나눠 쓰고, 필요할 때 API로 호출하며, 비용과 성과를 비교하고, 문제가 생기면 멈출 수 있게 만드는 일은 조직 설계의 문제입니다.

공공 AI의 병목은 컴퓨팅 그 자체만이 아닙니다. 연산을 업무에 배분하는 규칙, 즉 컴퓨팅 거버넌스입니다.

장비를 확보했다면 다음 보고서에는 GPU 수량보다 세 가지 숫자가 먼저 나와야 합니다. 몇 개 업무가 실제로 연결됐는가. 신청에서 이용까지 얼마나 걸리는가. 사람의 일과 서비스 품질이 얼마나 나아졌는가.

GPU가 챗봇을 넘어 행정의 공용 기반이 되는 순간은 칩이 들어온 날이 아닙니다.

누구나 책임 있는 방식으로 그 연산을 업무에 호출할 수 있게 된 날입니다.

참고한 공식자료

※ 이 글은 공개된 공식자료와 현장 문제 신호를 바탕으로 한 개인적 제안입니다. 특정 기관의 장비 도입이나 운영 상태를 지칭하지 않습니다.