AX 사례집은 성공담 모음이 아니라 실험 레지스트리가 되어야 한다

공공 AX 사례집을 펼치면 대개 비슷한 문장을 만납니다. 생성형 AI를 도입해 업무시간을 줄였다. 만족도가 높아졌다. 앞으로 전 기관으로 확산할 계획이다. 사진에는 발표하는 사람과 챗봇 화면이 있고, 숫자가 있다면 절감한 시간이나 이용 건수가 크게 적혀 있습니다.

틀린 내용이라고 단정할 수는 없습니다. 다만 이런 사례만으로는 다음 조직이 무엇을 배워야 하는지 알기 어렵습니다. 도입 전에는 얼마나 걸렸는지, AI가 정확히 어느 단계를 맡았는지, 사람이 얼마나 고쳤는지, 실패한 입력은 무엇이었는지, 검수비용이 다른 부서로 이동하지 않았는지, 어떤 조건에서 중단했는지가 보이지 않기 때문입니다.

성공담은 관심을 끌 수 있습니다. 그러나 조직의 시행착오를 줄이는 지식이 되려면 기록 방식이 달라져야 합니다.

AX 사례집은 홍보물에서 실험 레지스트리로 바뀌어야 합니다.

사례와 증거는 다르다

‘AI로 보고서 작성시간을 70% 줄였다’는 문장이 있다고 해보겠습니다. 무엇을 재야 같은 결과를 재현할 수 있을까요.

기존에 보고서를 처음부터 쓰는 데 걸린 시간과 AI 초안을 만드는 시간을 비교했는지, 아니면 자료조사와 승인까지 포함한 전체 시간을 비교했는지 알아야 합니다. AI가 만든 초안을 사람이 전부 다시 읽고 고친 시간은 포함됐는지, 실험 참여자가 자발적인 숙련자였는지, 쉬운 사례만 골랐는지, 품질이 전과 같았는지도 확인해야 합니다.

이 정보가 없으면 70%는 성과처럼 보이지만 의사결정에 쓸 수 있는 증거는 아닙니다. 다음 기관은 같은 도구를 사도 어떤 업무범위와 검수선이 필요했는지 알 수 없습니다.

반대로 목표를 달성하지 못한 실험이라도 기준선과 실패원인이 잘 남아 있다면 가치가 큽니다. 문서 검색은 빨라졌지만 최신성 확인 때문에 검토시간이 늘었다든지, 평균 정확도는 높았지만 드문 예외에서 위험한 오류가 났다든지, 모델 비용보다 데이터 정리가 더 비쌌다는 기록은 다음 팀의 예산과 설계를 바꿀 수 있습니다.

성공 여부보다 학습 가능성이 중요한 이유입니다.

실험 레지스트리에 무엇을 남길 것인가

레지스트리는 AI 사업의 모든 자료를 공개하자는 뜻이 아닙니다. 개인정보와 보안정보를 빼고도 설계와 판단의 핵심은 남길 수 있습니다. 저는 최소 기록을 아홉 칸으로 제안합니다.

1. 문제와 기준선

어떤 사용자의 어떤 불편을 해결하려 했는지, 기존 업무는 어떻게 흘렀는지, 처리시간·비용·오류·재작업이 어느 정도였는지를 AI 도입 전에 기록합니다. 기준선이 없으면 개선도 없습니다.

2. 가설과 범위

‘생산성을 높인다’보다 좁게 써야 합니다. 예를 들어 “공개자료 기반 질의의 근거 찾는 시간을 20% 줄이되 핵심 수정률과 재문의율은 늘리지 않는다”처럼 성공과 실패를 판정할 수 있어야 합니다. 자동화하지 않는 업무도 함께 적습니다.

3. 사람과 AI의 업무분장

AI가 분류, 검색, 초안, 추천, 최종결정 가운데 무엇을 맡았는지 표시합니다. 사람이 언제 검토하고, 누가 승인하며, 예외가 어디로 넘어가는지도 남깁니다. 같은 모델을 써도 업무분장이 다르면 결과는 전혀 달라집니다.

4. 시스템과 데이터의 버전

모델, 프롬프트 또는 스킬, 검색자료, 기준일, 연결도구, 주요 설정을 기록합니다. 모델과 데이터가 바뀐 뒤에도 옛 성과수치를 그대로 붙여두면 서로 다른 시스템을 같은 이름으로 부르게 됩니다.

5. 평가방법

표본을 어떻게 골랐는지, 누가 정답을 만들었는지, 어떤 집단과 예외를 따로 봤는지, AI 사용 전후를 어떻게 비교했는지 적습니다. 정확도 하나만이 아니라 처리시간, 사람 검토시간, 수정률, 재작업, 이용자 경험, 형평성, 총비용을 함께 봐야 합니다.

6. 오류와 사고

평균점수에 가려진 실패 유형을 남깁니다. 근거 없는 생성, 오래된 규정 인용, 개인정보 노출, 특정 집단의 낮은 성능, 잘못된 도구 실행, 사람이 놓친 오류를 분류합니다. 사고가 없었다면 탐지방법과 관찰기간을 함께 써야 합니다.

7. 중단 조건과 실제 결정

어떤 기준을 넘으면 범위를 줄이거나 멈추기로 했는지, 실험 뒤에 확대·수정·유지·중단 중 무엇을 선택했는지를 적습니다. 결과를 보고도 원래 계획대로 확산했다면 평가가 아니라 통과의례가 됩니다.

8. 변경 이력

모델, 데이터, 업무절차, 법령, 책임자가 바뀔 때 기록을 갱신합니다. AI 시스템은 한 번 납품되고 끝나는 물건이 아니라 계속 변하는 운영체계입니다.

9. 재사용 자산과 한계

다른 조직이 가져갈 수 있는 평가셋, 업무 스킬, 체크리스트, 계약조건, 실패 패턴을 남깁니다. 동시에 어느 환경에서는 결과를 일반화하면 안 되는지도 분명히 적습니다.

이 아홉 칸이 있어야 사례는 “우리도 했다”는 증명에서 “다음 실험을 더 잘하게 하는 자료”로 바뀝니다.

해외의 제도는 이미 기록과 갱신 쪽으로 움직인다

실험 레지스트리라는 이름을 그대로 쓰지 않더라도, 여러 정부의 AI 관리체계는 비슷한 요소를 요구합니다.

영국 정부가 2026년 공개한 AI 개입 영향평가 가이드는 AI를 도입하기 전에 기존 업무를 정확히 기록해 기준선을 세우고, 기술 벤치마크만이 아니라 실제 공공서비스의 과정·영향·비용 대비 가치를 평가해야 한다고 설명합니다. 파일럿에서 전면 확산으로 갈 때 결과가 유지되는지도 별도 질문으로 둡니다.

NIST AI 위험관리 프레임워크는 테스트·평가·검증·확인의 지표와 방법을 문서화하고, 배포 전뿐 아니라 운영 중에도 성능과 위험을 반복 측정하도록 합니다. 역할과 책임, 사고, 폐기 절차까지 생애주기 전반에서 관리하도록 한다는 점도 중요합니다.

영국의 Algorithmic Transparency Recording Standard는 공공기관이 알고리즘 도구를 왜, 어떻게 쓰는지 표준 형식으로 공개하게 합니다. 캐나다의 Algorithmic Impact Assessment는 설계 단계와 운영 직전 평가를 수행하고, 기능이나 사용범위가 바뀌면 결과를 갱신하도록 합니다.

투명성 기록과 영향평가는 실험 레지스트리와 목적이 완전히 같지는 않습니다. 전자는 국민에 대한 설명과 위험관리의 비중이 더 큽니다. 그러나 공통점은 분명합니다. AI 시스템을 이름과 성공수치 하나로 관리하지 않고 목적, 영향, 책임, 변경, 평가의 기록으로 관리합니다.

단계 등급은 상이 아니라 현재 상태여야 한다

AX 사례를 1등부터 100등까지 세우는 방식도 경계할 필요가 있습니다. 순위는 관심을 끌지만 위험과 준비상태를 가립니다. 자동발송 시스템과 내부 초안 도구를 같은 점수표에 놓을 수도 없습니다.

대신 사례마다 현재 단계를 표시하는 편이 낫습니다.

0단계 아이디어: 문제와 가설만 정의
1단계 샌드박스: 비실데이터 또는 제한된 표본으로 실험
2단계 보조업무: 사람이 전수 검토하며 내부에서 사용
3단계 제한 운영: 특정 범위와 이용자에게 실제 적용
4단계 확산: 기준선 대비 효과와 위험을 확인하고 확대
S단계 중단: 효과 부족, 위험, 비용, 제도 문제로 종료

여기서 S는 낙제가 아닙니다. 중단 사유와 판단이 잘 남아 있다면 가장 유용한 기록이 될 수 있습니다. 모든 실험이 4단계로 가야 한다는 압박이 생기면 조직은 좋지 않은 프로젝트를 멈추지 못하고 수치를 꾸미게 됩니다.

단계는 훈장이 아니라 현재 허용된 범위입니다. 새로운 데이터나 기능이 추가되면 다시 낮은 단계에서 검증할 수도 있어야 합니다.

기록 부담이 혁신을 늦춘다는 반론

현장에서는 “실험 하나 하려는데 문서부터 너무 많이 쓰게 한다”는 반론이 나올 수 있습니다. 타당합니다. 수십 쪽의 평가서를 모든 작은 자동화에 요구하면 실무자는 공식 절차를 피하거나 실험 자체를 포기합니다.

그래서 레지스트리는 위험에 비례해야 합니다. 공개자료 요약처럼 되돌리기 쉬운 내부 도구는 한두 장의 최소 기록과 짧은 평가셋으로 시작할 수 있습니다. 개인정보를 처리하거나 국민의 권리·의무에 영향을 주는 시스템은 더 상세한 영향평가와 독립검토가 필요합니다.

최소 레지스트리는 거대한 보고서가 아니라 살아 있는 한 페이지여야 합니다. 문제, 기준선, 가설, 업무분장, 버전, 핵심지표, 오류, 다음 결정을 한 화면에서 보게 하고, 상세자료는 연결합니다. 실험이 바뀔 때 짧게 갱신합니다.

오히려 이런 기록은 중복 보고를 줄일 수 있습니다. 예산심의, 보안검토, 성과보고, 사례집, 인수인계가 각각 같은 설명을 다시 요구하는 대신 레지스트리의 공통 필드를 참조하게 만들 수 있기 때문입니다.

첫 레지스트리는 신규 사업보다 이미 끝난 사례로 시험해볼 수 있다

제도를 새로 만들기 전에 지난 1년간 종료된 AI 실험 10건을 골라 역으로 기록해보면 좋겠습니다. 성공사례만 고르지 말고 확대, 유지, 중단 사례를 섞습니다.

각 팀에 다음 자료를 요청합니다. 도입 전 업무시간, 실제 AI 적용범위, 사람 검토시간, 대표 오류, 총비용, 운영책임자, 최종 결정, 재사용 가능한 자산입니다. 비어 있는 칸도 그대로 남깁니다. 무엇을 측정하지 않았는지 자체가 현재 평가체계의 진단이 됩니다.

그다음 질문은 단순합니다.

성과수치의 분모와 비교기준을 재현할 수 있는가.
검수와 재작업까지 포함한 총시간이 줄었는가.
모델 변경 뒤에도 같은 평가를 반복할 수 있는가.
다른 기관이 실패를 피할 만큼 정보가 남아 있는가.
중단된 실험에서 배운 것이 공개돼 있는가.

이 질문에 답하지 못한다면 사례가 부족한 것이 아니라 기록 구조가 부족한 것입니다.

성공사례보다 좋은 것은 다음 결정을 바꾸는 기록이다

사례집은 조직의 행동을 유도합니다. 성공담만 모으면 사람들은 성공처럼 보이는 발표를 만들고, 실패를 숨기며, 빨리 확산하는 쪽으로 움직입니다. 기준선과 검수비용, 중단 조건까지 기록하면 사람들은 측정 가능한 가설을 세우고, 작은 범위에서 시험하며, 필요할 때 멈추는 쪽으로 움직입니다.

공공 AX에서 실패가 사라질 수는 없습니다. 모델은 바뀌고 데이터는 흔들리며 업무에는 예외가 있습니다. 중요한 것은 실패하지 않는 척하는 것이 아니라 실패가 다음 조직의 비용을 줄이게 만드는 일입니다.

따라서 좋은 AX 사례집의 첫 질문은 “얼마나 혁신적이었는가”가 아니어야 합니다.

무엇을 바꾸려 했는가. 도입 전에는 어땠는가. 사람과 AI는 어떻게 일했는가. 무엇을 측정했는가. 어디서 틀렸는가. 그래서 무엇을 계속하고 무엇을 멈췄는가.

이 답이 쌓이면 사례집은 홍보책자를 넘어 공공 AI의 집단학습 장치가 됩니다.

우리가 필요한 것은 성공한 기관의 사진이 아니라 다음 의사결정을 바꿀 수 있는 실험의 기록입니다.

참고한 공식자료

※ 이 글은 공공 AI 사례 관리방식에 대한 개인적 제안입니다. 공개 범위는 개인정보, 보안, 영업비밀과 관련 법령을 고려해 위험에 비례해 정해야 합니다.