AI가 관여한 행정결정에는 영수증이 필요하다

정부가 어떤 AI를 쓰는지 공개하는 것과, 한 시민이 자신의 결정에 AI가 어떻게 관여했는지 아는 것은 다른 일입니다.

2026년 8월 28일부터 「인공지능 및 데이터 기반 행정 활성화에 관한 법률」이 시행됩니다. 서울경제의 칼럼 「공공AI법 시행과 민주적 행정의 조건」은 이 법의 시행을 앞두고 중요한 질문을 던졌습니다. 시민은 AI가 어디에 왜 쓰였는지 알고, 잘못된 판단에는 이의를 제기할 수 있어야 한다는 것입니다.

저도 같은 문제의식을 갖습니다. 다만 여기서 한 걸음 더 들어가고 싶습니다.

법과 제도가 공공 AI의 목록을 만들고 영향평가를 공개해도, 시민이 자기 사건에서 무슨 일이 있었는지 모른다면 투명성은 멀리 있는 정보에 머뭅니다. 불이익을 받은 시민에게 정부의 AI 목록을 검색하고 여러 법률을 대조해 권리구제 절차를 찾아보라고 하는 것은 순서가 거꾸로입니다.

제가 제안하고 싶은 것은 거대한 새 포털이 아닙니다.

AI가 행정결정에 실질적으로 관여했다면, 그 결정문에 짧은 AI 결정 영수증을 붙이자는 것입니다.

목록은 시스템을 보여주고 영수증은 내 사건을 보여준다

인공지능데이터행정법은 공공 AI의 책임과 투명성을 위한 여러 장치를 담고 있습니다. 공공기관이 AI를 정책 수립과 의사결정에 활용하더라도 최종 권한과 책임은 해당 기관에 있음을 명확히 해야 합니다. 기관은 AI 활용 서비스의 유형·목적·데이터 등 현황을 관리해 행정안전부장관에게 제출하고, 행정안전부장관은 그 목록을 매년 공표해야 합니다. AI를 도입할 때에는 법이 정한 예외를 제외하고 기본권 영향을 사전에 평가해 결과를 공개해야 합니다. 국가법령정보센터의 인공지능데이터행정법

이 장치들은 꼭 필요합니다. 감사기관, 국회, 연구자, 시민단체와 다른 공공기관이 어떤 시스템이 쓰이고 있는지 살필 수 있게 합니다. 도입 전에 위험을 찾고, 책임자를 세우며, 기관끼리 같은 실수를 반복하지 않게 하는 기반도 됩니다.

하지만 목록과 영향평가는 시스템 단위의 정보입니다. 시민은 대개 시스템을 만나는 것이 아니라 한 건의 결과를 만납니다.

복지 지원의 우선순위가 내려갔다고 가정해보겠습니다. 시민이 알고 싶은 것은 전국의 AI 서비스 목록에서 그 시스템이 몇 번째에 올라 있는지가 아닙니다.

내 결정에 AI가 실제로 관여했는가. 자격을 결정했는가, 조사 대상을 추천했는가, 담당자가 볼 순서를 정했는가. 어느 날짜의 소득과 가족관계 자료를 썼는가. 누락되거나 오래된 정보는 없었는가. 담당자는 AI 결과를 실제로 다시 봤는가. 틀린 자료를 어디에서 고치고 누구에게 재검토를 요청할 수 있는가.

목록은 “정부가 무엇을 쓰는가”에 답합니다. 결정 영수증은 “나에게 무슨 일이 일어났는가”에 답합니다.

민주적 통제에는 둘 다 필요합니다.

보호 규정이 있어도 시민이 조립해야 한다면 어렵다

현재도 시민을 보호하는 법적 장치는 있습니다. 「행정절차법」은 행정청이 처분의 근거와 이유를 제시하고, 처분 문서에 담당자의 소속·성명·연락처를 적으며, 행정심판·행정소송 등 불복 가능 여부와 절차·기간을 알리도록 합니다. 국가법령정보센터의 행정절차법

「개인정보 보호법」 제37조의2는 개인정보로 이루어지는 완전히 자동화된 결정이 권리나 의무에 중대한 영향을 미치는 경우, 법이 정한 예외를 제외하고 정보주체가 그 결정을 거부할 수 있게 합니다. 설명을 요구할 권리와 인적 개입에 의한 재처리도 규정합니다. 시행령은 자동화된 결정의 사실과 목적, 주요 개인정보의 유형, 처리 절차, 거부·설명 요구 방법을 홈페이지 등을 통해 공개하게 합니다. 개인정보 보호법, 개인정보 보호법 시행령 제44조의4

다만 적용 범위는 단순하지 않습니다. 개인정보 보호법의 자동화된 결정 조항은 완전히 자동화된 시스템을 전제로 하고, 「행정기본법」 제20조에 따른 행정청의 자동적 처분은 그 정의에서 제외합니다. 행정기본법은 법률에 근거한 완전 자동 처분을 허용하되 재량이 있는 처분은 제외합니다. 행정기본법 제20조

AI가 최종 결정을 직접 내렸는지, 담당자에게 점수나 순위를 추천했는지, 개인정보를 사용했는지, 법률에 근거한 자동적 처분인지에 따라 확인할 규정이 달라질 수 있습니다. 보호 장치가 없다는 뜻은 아닙니다. 문제는 AI를 도입한 쪽은 기관인데, 어떤 규정이 적용되고 어떤 구제 절차를 밟아야 하는지 조립하는 부담은 시민에게 돌아갈 수 있다는 점입니다.

결정 영수증은 새로운 권리구제 제도를 하나 더 만들자는 제안이 아닙니다. 이미 처분문에 담아야 하는 근거·담당자·불복 절차에 AI 관여 정보를 붙여, 흩어진 권리를 실제로 행사할 수 있게 만드는 표준 인터페이스에 가깝습니다.

국회에 계류 중인 행정절차법 제5조 제4항부터 통과시켜야 한다

이 간극을 줄일 법안이 이미 국회에 있습니다. 정부가 2025년 12월 3일 제출한 「행정절차법 일부개정법률안」(의안번호 2214816)은 제5조에 제4항을 신설해, 인공지능기술을 이용한 행정작용의 상대방이 행정청에 AI로 도출한 결과와 결과 도출에 활용된 주요 기준 등에 관한 설명을 요청할 수 있게 합니다. 행정청은 특별한 사유가 없으면 그 요청에 따라야 합니다.

이 조항은 통과되어야 합니다. 완전히 자동화된 결정만이 아니라 AI를 이용한 행정작용을 기준으로 설명요청권을 설계했다는 점이 중요합니다. AI가 최종 결론을 냈는지, 점수·순위·추천으로 사람의 판단에 영향을 줬는지를 따지기 전에 시민이 행정청에 설명을 요구할 법적 손잡이부터 마련할 수 있기 때문입니다.

그러나 법안은 2025년 12월 4일 국회 행정안전위원회에 회부된 뒤, 2026년 8월 10일 현재 공개된 진행상황이 여전히 ‘위원회 회부’에 머물러 있습니다. 공공 AI 활용이 먼저 확산되고 사례별 설명권의 심사가 뒤에 남아 있어서는 안 됩니다. 국회는 적어도 이 제5조 제4항을 조속히 심사해 통과시켜야 합니다.

통과만으로 모든 문제가 해결되는 것은 아닙니다. 설명요청권은 시민이 자기 사건에 AI가 쓰였다는 사실을 알아야 행사할 수 있습니다. 개정안에는 사건별로 AI의 역할, 사용정보와 기준일, 사람의 실제 개입, 정정·재검토 경로를 먼저 알려주도록 하는 구체적인 통지 형식까지 담겨 있지는 않습니다. 제5조 제4항이 권리의 법적 바닥이라면, 결정 영수증은 그 권리를 시민이 실제로 쓸 수 있게 만드는 실행 규격이어야 합니다.

결정 영수증에 들어갈 여섯 가지

‘AI 결정 영수증’은 공식 법률용어가 아닙니다. 제가 제안하는 사례별 통지 형식입니다. 모든 AI 사용에 붙일 필요도 없습니다. 맞춤법 검사나 문서 서식 정리처럼 결과에 실질적인 영향을 주지 않는 도구까지 알릴 이유는 적습니다.

반대로 AI가 개인이나 기업에 관한 분류·점수·순위·추천·이상 탐지·초안 중 하나를 만들고, 그것이 권리·의무·기회·조사 가능성에 실질적인 영향을 줬다면 완전 자동화 여부와 관계없이 통지 대상이 되어야 합니다. 조사나 단속 도중 즉시 알리는 것이 증거 확보나 제3자의 권리를 해칠 수 있다면 통지 시점과 세부 범위를 조정할 수 있습니다. 그래도 절차가 허용하는 시점에는 AI의 관여와 이의제기 경로를 당사자에게 돌려줘야 합니다.

영수증에는 다음 여섯 가지가 필요합니다.

1. AI가 한 일과 하지 않은 일

“AI를 활용했습니다”로는 부족합니다. 신청서 요약, 자격요건 대조, 위험점수 산정, 조사 우선순위 추천, 처분문 초안, 최종 결정 가운데 무엇을 했는지 표시해야 합니다. 최종 결정은 누가 했는지도 함께 적습니다.

2. 결정에 사용된 핵심 정보와 기준일

사용한 개인정보의 항목을 무작정 나열하는 대신 결과에 영향을 준 정보, 출처, 기준일을 보여줘야 합니다. 시민이 “이 소득 자료는 갱신 전 수치다” 또는 “가족관계 변경이 빠졌다”고 확인할 수 있어야 합니다.

3. 결정의 근거와 AI 결과의 관계

법령·지침·사실관계가 어떤 결론으로 이어졌는지 설명하고, AI 점수나 추천이 필수 요건이었는지 참고자료였는지 구분해야 합니다. 영업비밀인 모델 가중치를 전부 공개하지 않아도, 무엇이 결과를 바꿀 수 있는지는 설명할 수 있습니다.

4. 사람의 개입 방식과 책임 부서

담당자가 최종 승인했다는 표시만으로는 부족합니다. 원자료와 AI 결과를 비교했는지, AI 추천과 다르게 결정할 권한이 있었는지, 실제로 어떤 부분을 검토했는지 알려야 합니다. 개인 연락처를 과도하게 공개하지 않더라도 책임 부서와 공식 문의 채널은 분명해야 합니다.

5. 자료 정정과 재검토 경로

잘못된 입력정보를 고치는 곳과 결정 자체를 다투는 곳은 다를 수 있습니다. 두 경로를 구분하고, 신청 방법·기한·처리 예상기간·비디지털 이용방법을 한 화면에 보여줘야 합니다.

6. 추적 가능한 기록

사건 식별번호, 사용한 시스템과 주요 데이터의 버전, 결정 시점, 공개된 서비스 목록과 영향평가 링크를 연결해야 합니다. 그래야 나중에 시스템이 바뀌어도 당시 무엇으로 판단했는지 복원할 수 있습니다.

한 장짜리 예시는 이 정도면 됩니다.

이 결정에는 AI 기반 분류 도구가 사용됐습니다. AI는 신청 내용의 자격요건 대조와 검토 우선순위 추천을 맡았고 최종 결정은 하지 않았습니다. 2026년 7월 31일 기준 소득·가구정보가 사용됐습니다. 담당 부서는 원자료와 추천 결과를 검토해 최종 결정했습니다. 정보가 다르면 ○○시스템에서 정정을 요청할 수 있으며, 결정 재검토는 통지일부터 ○일 이내에 △△부서로 신청할 수 있습니다. 시스템 설명과 영향평가는 이 링크에서 확인할 수 있습니다.

목표는 알고리즘 강의를 제공하는 것이 아닙니다. 시민이 잘못된 자료를 찾고, 책임 부서에 도달하고, 기한 안에 결정을 다시 열 수 있게 하는 것입니다.

사람의 서명이 AI의 영향을 숨길 수도 있다

결정 영수증은 완전 자동화보다 부분 자동화에서 더 중요할 수 있습니다.

AI가 최종 처분 버튼을 누르지 않아도 결과를 크게 바꿀 수 있기 때문입니다. 조사할 사람의 순서를 정하고, 부정수급 가능성을 점수화하고, 채용 후보를 걸러내고, 지원 우선순위를 추천하면 담당자는 이미 AI가 좁힌 선택지를 보게 됩니다. 마지막에 사람이 서명했다는 사실만 공개하면 AI의 실질적인 영향은 보이지 않을 수 있습니다.

캐나다 정부의 자동화된 의사결정 지침은 자동화 시스템이 결정을 직접 내리는 경우뿐 아니라 사람의 판단을 보조하는 경우도 다룹니다. 모든 서비스 제공 경로에서 자동화 사용 사실을 알리고, 결정 뒤에는 어떻게 왜 결정됐는지 의미 있는 설명을 제공하게 합니다. 영향 수준이 높으면 사람이 최종 결정을 내리고, 시스템의 추천을 정확성과 적절성 측면에서 검토해야 합니다.

영국의 Algorithmic Transparency Recording Standard 지침도 공적 효과가 있는 의사결정에 중대한 영향을 주거나 국민과 직접 상호작용하는 알고리즘 도구를 공개 대상으로 봅니다. 최종 버튼을 누가 눌렀는지만으로 범위를 정하지 않는다는 점이 중요합니다.

따라서 통지 기준은 “AI가 완전히 자동으로 결정했는가” 하나가 아니라 “AI 결과가 이 사건의 경로와 결론에 실질적인 영향을 줬는가”여야 합니다.

사람의 재검토가 실제 재검토가 되려면

결정문에 ‘사람이 검토함’이라고 적는다고 통제가 생기지는 않습니다. 사람이 AI 결과를 잠깐 보고 승인 버튼을 누르는 구조라면 인간 개입은 책임의 증거가 아니라 책임을 가리는 장식이 될 수 있습니다.

실질적인 재검토에는 네 가지 조건이 필요합니다.

검토자가 AI 요약만이 아니라 원자료와 적용 기준을 볼 수 있어야 합니다.
AI의 추천과 다르게 결정할 권한이 있어야 합니다.
이의를 검토할 시간과 필요한 전문성이 있어야 합니다.
유지·변경 결론과 그 이유를 새로 기록해야 합니다.

특히 이의신청을 같은 시스템에 다시 입력해 같은 결과를 받는 것은 재검토가 아닙니다. 문제가 데이터 오류인지, 규칙 적용 오류인지, 모델 오류인지, 담당자의 판단 오류인지 분리해서 볼 수 있어야 합니다.

호주의 로보데트 왕립위원회는 정부 자동화에 일관된 법적 틀이 필요하며, 영향을 받은 사람이 검토를 요청할 명확한 경로를 가져야 한다고 권고했습니다. 자동화 사용 사실과 작동방식을 쉬운 언어로 설명하고, 독립적인 감시와 감사를 가능하게 해야 한다고도 제안했습니다. 로보데트 왕립위원회 최종보고서

결정 영수증은 재검토 자체를 보장하지는 않습니다. 그러나 누가 무엇을 다시 봐야 하는지를 드러내기 때문에 형식적인 인간 개입과 실질적인 인간 검토를 구분할 출발점이 됩니다.

보안과 영업비밀 때문에 다 공개할 수 없다는 반론

모든 모델 구조, 탐지 기준과 임계값을 사건 당사자에게 공개하면 시스템을 회피하거나 개인정보·보안·영업비밀을 침해할 수 있다는 반론이 있습니다. 타당합니다. 조사·단속·사기 탐지 분야에서는 상세 공개가 실제 위험을 만들 수 있습니다.

그렇다고 사용 사실과 역할, 책임 부서, 정정·이의제기 경로까지 숨겨야 하는 것은 아닙니다.

공개는 층을 나누면 됩니다. 첫 화면에는 AI의 역할, 사용정보 범주와 기준일, 사람이 검토한 범위, 책임 부서, 정정·재검토 경로를 쉬운 말로 보여줍니다. 두 번째 층에는 서비스 목록과 영향평가, 평가방법, 알려진 한계와 감사 결과를 연결합니다. 보안상 공개하기 어려운 세부정보는 근거를 밝혀 제한하고 감독기관에는 검증 가능한 기록을 제공합니다.

영국 ATRS 지침도 보안이나 지식재산 위험을 고려해 일부 필드를 가릴 수 있게 하면서, 가능한 정보는 공개하고 가린 이유를 설명하는 편을 전체 기록을 비공개로 두는 것보다 바람직한 방식으로 제시합니다.

설명 가능성은 소스코드를 전부 보여주는 것과 같지 않습니다. 시민이 자신의 사실관계를 고치고 결정을 다툴 수 있을 만큼 설명하는 것이 먼저입니다.

30일 동안 한 종류의 통지서로 시험할 수 있다

결정 영수증을 법 개정 과제로만 미룰 필요는 없습니다. 한 기관이 이미 서면으로 통지하는 업무 한 종류를 골라 30일 동안 시범 적용할 수 있습니다.

처음 10일은 개인정보를 제거한 과거 사례 100건으로 영수증을 만들어봅니다. 담당자가 당시 사용한 정보와 시스템 버전, AI의 역할을 실제로 복원할 수 있는지 확인합니다. 복원하지 못하는 칸은 현재 기록체계의 결함입니다.

다음 10일은 시민·실무자·법률 및 접근성 담당자가 함께 읽어봅니다. 영수증을 본 사람이 AI가 한 일, 잘못된 정보를 고칠 곳, 책임 부서, 재검토 기한을 정확히 찾는지 측정합니다. 설명을 더 길게 쓰는 것보다 네 질문에 제대로 답하게 하는 것이 목표입니다.

마지막 10일은 위험이 낮고 되돌릴 수 있는 실제 통지에 제한적으로 붙입니다. 문의량, 자료 정정 건수, 재검토 처리시간, 접근성 문제, 담당자의 작성시간을 함께 봅니다. 시민 이해도 90% 이상, 필수정보 누락 0건, 개인정보·보안 사고 0건을 임시 통과 기준으로 둘 수 있습니다. 담당자가 매번 수작업으로 한 시간씩 써야 한다면 형식과 기록 연계를 다시 설계해야 합니다.

가장 중요한 측정값은 영수증 발급 건수가 아닙니다.

잘못된 정보가 얼마나 빨리 고쳐졌는가. 시민이 담당 부서를 찾아 헤매는 시간이 줄었는가. 재검토자가 당시 판단을 복원할 수 있었는가. 설명을 받은 뒤 결정을 수용한 경우와 실제로 결정이 바뀐 경우를 구분해 기록했는가.

투명성의 성과는 페이지 조회 수보다 오류를 바로잡는 능력에 가깝습니다.

공공 AI의 책임은 시민이 결정을 다시 열 수 있을 때 완성된다

인공지능데이터행정법이 최종 권한과 책임을 공공기관에 둔 것은 중요한 출발입니다. 서비스 목록과 영향평가 공개도 공공 AI를 보이지 않는 기반시설로 남겨두지 않기 위한 장치입니다.

하지만 기관이 책임진다는 선언과 시민이 그 책임을 실제로 물을 수 있는 인터페이스 사이에는 아직 거리가 있습니다.

공공 AI 목록은 어떤 시스템이 있는지 보여줍니다. 영향평가는 도입 전에 어떤 위험을 검토했는지 보여줍니다. 감사기록은 운영 중 무엇이 잘못됐는지 보여줍니다. 결정 영수증은 이 모든 정보를 한 시민의 사건과 연결합니다.

AI가 어디에 쓰였는지 공개하는 것에서 멈추지 말아야 합니다. 내 결정에 어떤 역할을 했는지, 어떤 자료가 쓰였는지, 누가 다시 판단할 수 있는지까지 전달해야 합니다.

공공 AI가 민주적 행정이 되는 순간은 모델의 존재를 공표한 때가 아닙니다.

시민이 자기 사건의 문을 다시 열 수 있을 때입니다.

참고한 자료

※ ‘AI 결정 영수증’은 현행 법률의 공식 용어가 아니라 사례별 통지를 위한 개인적 제안입니다. 이 글은 2026년 8월 10일 확인한 공개자료를 바탕으로 썼으며, 특정 사건에 대한 법률 자문이나 공식 유권해석이 아닙니다.