월간복지동향 2025 2025-09-01 12489

[기획4] 공공서비스의 특수성을 고려한 AI 거버넌스

안은혜ㅣ미국 세인트루이스 워싱턴대 사회복지학과 교수

공공서비스 AI는 민간 부문과 본질적으로 다르다. 넷플릭스의 추천이 마음에 들지 않으면 다른 서비스로 전환하면 되고, 피해도 일시적 불편에 그친다. 반면 공공서비스 AI는 치명적인 피해를 줄 수 있다. 미국 루이지애나주에서는 가석방 심사 AI 시스템에 의해 거의 시력을 잃은 70대 수감자의 재범률이 ‘중간 위험’으로 잘못 분류되어 예정되어 있던 가석방 심사가 자동 취소되었다. AI 시스템은 결정 근거를 제시하지 않았고, 이의제기 절차도 마련되지 않았다.¹

이런 사례는 공공서비스 AI의 세 가지 특수성을 보여준다. 첫째, 기업 서비스와 달리 시민에게 다른 선택권이 없다. 둘째, AI의 오류나 편향이 개인의 기본적 권리에 직결된다. 셋째, 효율성도 중요하지만, 그보다는 형평성, 투명성, 책임성 등 공공의 가치가 우선되어야 한다. 따라서 공공서비스에는 민간과 다른 AI 거버넌스가 필요하다.

공공서비스 분야의 AI 활용 현황

복지, 보건의료, 교육, 사법 분야에서 AI 활용이 확대되며 서비스의 사각지대를 줄이고 효율성을 높이는 장점이 있지만 그만큼 단점도 뚜렷하다. 복지분야의 경우, 서울시에서는 건강보험료 체납, 공과금 연체 등 다양한 공공데이터를 분석해 위기가구를 발굴하여 복지 사각지대에 있던 취약계층을 찾아 지원하고 있다.² 미국 엘리게니 카운티(Allegheny County)는 아동학대예측 시스템 AFST(Allegheny Family Screening Tool)을 운영하여 위험 사례를 효과적으로 선별한다.³ 물론 긍정적 사례만 있는 것은 아니다. 네덜란드에서는 복지 부정수급을 탐지하기 위해 SYR(System Risk Indication)를 도입했지만, 저소득층과 이민자 거주 지역만 집중 감시하여 2020년 인권 침해를 이유로 폐기되었다.⁴

보건의료에서는 한국 질병관리청이 감염병 빅데이터 플랫폼으로 COVID-19 확산 패턴을 예측하고 의료자원 배치를 최적화했다.⁵ 또한 서울시에서 운영 중인 손목닥터9988과 같은 AI 기반 건강관리 서비스가 확대되며 맞춤형 건강관리가 더 쉬워진 동시에,⁶ 도시와 농촌 간, 연령대별 디지털 접근성과 활용 능력의 격차가 건강 격차로 이어질 우려도 함께 커졌다.

교육에 있어서는 조지아 주립대학교(Georgia State University)는 학생성과예측분석 시스템을 도입하여 졸업률을 향상시켰으며,⁷ 한국 역시 교육부가 NEIS데이터를 활용하여 학업중단조기경보 시스템을 운영하여 위기 학생을 조기에 발견하고 지원한다.⁸ 그러나 AI에 의해 ‘위험군’으로 분류되는 것 자체가 학생에게 ‘문제아’라는 꼬리표가 되는 문제와 디지털 기기 보유 여부에 따른 학습 격차 확대가 새로운 과제로 떠올랐다.

사법 분야의 경우 문제가 더욱 심각하다. 미국의 범죄예측 시스템 PredPol(현 Geolitica)은 범죄 발생 가능 지역을 예측한다고 했지만, 실제 정확도는 0.5% 미만이었고, 더 큰 문제는 이 시스템이 과거 경찰이 집중 순찰했던 소수인종 거주 지역만 반복적으로 ‘고위험’으로 예측했다는 점이다.⁹ 재범 예측 도구인 COMPAS는 흑인을 고위험으로 잘못 분류할 확률이 백인의 두 배였고,¹⁰ 디트로이트에서는 DataWorks Plus의 얼굴인식 시스템 오류로 최소 3명의 흑인 남성이 부당하게 체포되었다.¹¹

공공서비스에서 AI활용 시 고려해야 할 요소들

공공서비스에서 AI를 활용할 때 나타나는 이러한 문제들은 AI 기술 자체의 특성과 공공 영역의 복잡성이 만나면서 발생한다.

첫째로는 AI 시스템이 효율성을 우선시하면서 공공 가치가 뒤로 밀리는 경우이다. 공공서비스 AI는 비용 절감과 같은 효율성 지표를 달성하면서도 형평성, 보편성, 인간 존엄성이라는 본질적 가치를 동시에 만족해야 한다. 효율성이 우선이 될 경우 복잡한 개별 상황에 대한 고려가 되지 않아서 사회적 약자가 배제되는 문제가 발생한다.

둘째로는 AI 시스템의 불투명성으로 인한 권력 불균형 문제다. 알고리즘 작동 방식이 공개되지 않거나 복잡해서 시민이 이해하기 어려운 경우, 공공 결정에 대한 이의제기나 설명 요구가 어려워져서 시민의 알 권리와 참여권 등 기본권을 침해할 수 있다.

셋째로는 데이터 편향으로 인한 구조적 배제다. 훈련 데이터가 주류 집단 중심으로 편향되면 소수자나 취약계층의 특성이 제대로 반영되지 않아 오류가 발생할 수 있다. 또한 아동학대를 신고 데이터로, 의료 서비스 필요를 의료비 지출로, 재범 위험을 과거 체포 여부로 측정하는 경우처럼, AI가 실제 현상 대신 측정 가능한 대리지표를 학습하면서 기존의 구조적 차별이나 사회경제적 불평등을 반영하여 왜곡된 결과를 낳기도 한다.¹²

마지막으로는 예측 기능이 감시와 통제로 변질되는 경우이다. AI가 위험 예측 정확도만 최적화하고 예측된 위험에 대응할 적절한 지원 정책이 마련되지 않으면, 공공서비스의 돌봄 기능이 단순한 감시와 통제로 바뀔 수 있다.

공공서비스의 특수성을 고려한 AI거버넌스

AI 거버넌스는 AI 기술이 조직의 목표와 가치에 부합하도록 보장하고, 법적 요구사항을 충족시키며, 윤리적 원칙을 준수하도록 관리하는 체계적 시스템이다.¹³ AI 거버넌스는 아직 진화하는 개념이지만, 대부분의 정의는 데이터, 알고리즘, 윤리와 가치, 규제 준수, 책임성이라는 다섯 가지 핵심 요소를 포함한다. 공공서비스 영역에서는 각 요소가 민간 부문과 다른 특수성을 지닌다.

데이터 : 대표성과 형평성의 기초

민간기업이 다루는 데이터는 주로 구매 이력이나 시청 기록처럼 상대적으로 단순한 정보를 포함한다. 따라서 기업은 주로 데이터 보안과 프라이버시 법 준수에 중점을 두며, 데이터가 유출되더라도 평판 손상과 재정손실정도에 그친다. 반면 공공 부문은 가족 배경, 건강 기록, 범죄 이력, 공공서비스 신청 및 이용 내역 등 극도로 민감하고 복잡한 데이터를 다룬다. 이러한 데이터를 어떻게 활용하느냐에 따라 기존의 사회경제적 불평등이 더욱 심화될 수도 있다.

따라서 공공서비스 데이터 거버넌스는 데이터가 모든 시민을 공정하게 대표하는지 확인해야 한다. 다문화 가정, 장애인, 이민자, 농촌 거주자 등이 데이터수집 과정에서 구조적으로 배제되거나 과소 혹은 과대 대표 되면 서비스 설계 단계부터 차별받게 된다. 또한 역사적 차별이 데이터에 어떻게 반영되어 있는지, 과거 차별받은 집단의 기록이 현재 AI 시스템에 어떤 영향을 미치는지도 면밀히 분석해야 한다.

알고리즘 : 투명성과 공정성

민간 부문 알고리즘의 목표는 명확하다. 안정적으로 작동하여 이윤을 극대화하는 것이다. 넷플릭스는 특정 영화를 추천한 이유를 설명하거나 정당화할 의무가 없다. 사용자의 경우 불만족스러우면 다른 서비스로 옮기면 그만이다. 반면 공공서비스 알고리즘은 완전히 다른 기준이 필요하다. AI의 결정이 다른 대안이 없는 시민들의 삶을 좌우하기 때문이다. 복지 수급 자격, 의료 서비스 우선순위, 교육 지원 대상 선정, 가석방 여부 같은 결정은 개인의 생존과 미래를 결정한다.

따라서 공공서비스 알고리즘에는 두 가지가 필수적이다. 하나는 설명가능성(explainability)으로, 시민은 자신에게 영향을 미치는 결정이 어떻게 내려졌는지 이해할 권리가 있다. 위스콘신주 State v. Loomis 사건¹⁴이 대표적이다. 피고인은 자신의 형량에 영향을 미친 알고리즘의 작동 방식을 알 수 없었고, 개발사는 영업비밀을 이유로 공개를 거부했다. 또 다른 하나는 영향평가(impact assessment)이다. AI를 도입하기 전에 누구에게 어떤 영향을 미칠지 사전에 파악하고, 의도하지 않은 차별이나 피해 가능성을 철저히 검토해야 한다.

윤리와 가치 : 공공성 추구

민간기업의 AI 윤리는 주로 브랜드 보호와 리스크 관리에 초점을 맞춘다. 윤리위원회를 구성하고 가이드라인을 발표하며, 문제가 생기면 사과하는 것이 일반적이다. 기본적으로 ‘해를 끼치지 않기(do no harm)’를 목표로 한다. 반면 공공서비스는 이보다 훨씬 높은 기준이 필요하다. 단순히 해를 끼치지 않는 것을 넘어 적극적으로 시민의 권리를 보호하고, 사회정의를 실현하며, 형평성을 보장해야 한다. AI가 실제 서비스 제공 능력보다 많은 사람을 도움이 필요한 그룹으로 판정했을 때 어떻게 대응할지, AI에 의한 위기가족 선정이 그 가족에 의한 낙인과 감시를 강화하는 것으로 이어지지 않으려면 어떻게 해야 할지, 또 인간 존엄성을 지키면서 AI 결정을 따르려면 어떻게 해야 하는지 등 이러한 복잡한 윤리적 딜레마에 대한 답을 함께 고민해야 한다.

규제 준수 : 헌법적 권리 보호

민간 부문에서 규제 준수는 리스크 관리 차원에서 접근하기 때문에 데이터 프라이버시 법을 따라 벌금을 피하고 사업을 지속하는 것이 목표다. 반면 공공서비스는 단순한 법규 준수를 넘어 시민의 헌법적 권리를 보호해야 한다. 개인정보보호법을 지키는 것만으로는 부족하다. AI가 특정 집단을 차별한다면 헌법상 평등권을 침해하는 것이고, 불투명한 알고리즘으로 중요한 결정을 내린다면 적법절차 원칙을 위반하는 것이다. 네덜란드의 복지 부정수급을 탐지하기 위해 개발된 SyRI(System Risk Indicator)시스템이 좋은 예로, 형식적으로는 개인정보보호법을 준수했지만, 2020년 법원은 시민의 사생활을 과도하게 집행한다고 판결했다.

책임성 : 명확한 책임 구조의 필요성

민간기업에서 AI 실수는 판매 손실이나 고객 불만 대응과 같이 대부분 내부 문제로 끝난다. 반면 공공서비스의 실수는 결과가 훨씬 심각하고 책임도 무겁다. 한 예시로 2013년 미국에서 8세 아동인 가브리엘 페르난데스가 부모의 학대로 사망했을 때 담당 사회복지사들이 명백한 학대 정황을 놓쳤다는 이유로 형사 고발되었다.¹⁵ 비록 무죄 판결을 받았지만, 이는 공무원이 직무상 과실로 형사 책임까지 질 수 있음을 보여준다. 이는 민간 부문 직원에게는 적용되지 않는 수준의 책임으로, AI 시스템이 도입되면서 이러한 책임문제는 더욱 복잡해진다. 알고리즘이 잘못된 결정을 내렸을 때 책임 소재가 모호해지기 때문이다. 따라서 공공서비스 기관은 명확하고 투명한 책임 구조를 마련해야 한다.

마무리

AI 기술이 주로 민간 영역 주도로 개발되는 현실에서, 공공영역이 이런 도구를 무비판적으로 수용하는 것은 위험할 수 있다. 공공서비스에서 AI를 활용할 때는 해당 분야 전문가와의 긴밀한 협업이 필수적이다. 기술 전문가뿐 아니라 사회복지사, 교사, 의료진 등 현장 전문가와 서비스 이용자인 시민의 목소리가 설계 단계부터 반영되어야 한다. AI가 시민을 위한 도구가 되도록, 한국 공공서비스의 고유한 특성과 맥락에 맞는 AI 거버넌스 구축이 시급하다.

| 미주 |

Webster RA, An Algorithm Deemed This Nearly Blind 70-Year-Old Prisoner a “Moderate Risk.” Now He’s No Longer Eligible for Parole, ProPublica. https://www.propublica.org/article/tiger-algorithm-louisiana-parole-calvin-alexander. April 10, 2025. Accessed July 2, 2025. ↩︎
서울 복지 포털, 위기가구 지원. https://wis.seoul.go.kr/was/cfs/crisisFamilyInfo.do?utm_source=chatgpt.com ↩︎
Allegheny County Analytics, Developing Predictive Risk Models to Support Child Maltreatment Hotline Screening Decisions-Allegheny Analytics, 2019, Accessed September 17, 2023. https://www.alleghenycountyanalytics.us/2019/05/01/developing-predictive-risk-models-support-child-maltreatment-hotline-screening-decisions/ ↩︎
Henley J, Booth R., Welfare surveillance system violates human rights, Dutch court rules. https://www.theguardian.com/technology/2020/feb/05/welfare-surveillance-system-violates-human-rights-dutch-court-rules. ↩︎
이혜련, 최수현, 엄은진, 송경희, 김성순, 코로나바이러스감염증-19 빅데이터(K-COV-N) 연구 성과 소개 및 활용방안, Public Health Wkly Rep, 2024;17(48):2147-2159, doi:10.56786/PHWR.2024.17.48.4. ↩︎
서울특별시, 손목닥터9988, https://onhealth.seoul.go.kr/plus/web. ↩︎
Case study : Georgia state university, Published online 2019. https://agb.org/wp-content/uploads/2019/01/case_study_innovation_georgia.pdf?utm_source=chatgpt.com. ↩︎
교육부, 학업중단 예방 및 학교 박 청소년 지원 방안 수립. ↩︎
Sankin A, Mattu S., Predictive Policing Software Terrible At Predicting Crimes–The Markup, October 2, 2023, Accessed March 9, 2025. https://themarkup.org/prediction-bias/2023/10/02/predictive-policing-software-terrible-at-predicting-crimes. ↩︎
Angwin J, Larson J, Mattu S, Kirchner L., Machine bias : There’s software used across the country to predict future criminals. And it’s biased against blacks, ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. May 2016. ↩︎
Hill K., Facial Recognition Led to Wrongful Arrests. So Detroit Is Making Changes. The New York Times. https://www.nytimes.com/2024/06/29/technology/detroit-facial-recognition-false-arrests.html, June 29, 2024, Accessed December 31, 2024. ↩︎
Neil R, Zanger-Tishler M., Algorithmic Bias in Criminal Risk Assessment : The Consequences of Racial Differences in Arrest as a Measure of Crime, Annu Rev Criminol, 2025;8(1):97-119, doi:10.1146/annurev-criminol-022422-125019 ↩︎
Mäntymäki M, Minkkinen M, Birkstedt T, Viljanen M., Defining organizational AI governance, AI Ethics, 2022;2(4):603-609, doi:10.1007/s43681-022-00143-x ↩︎
Wisconsin Supreme Court, State v. Loomis, 881 N.W.2d 749(2016). https://www.wicourts.gov/sc/opinion/DisplayDocument.pdf?content=pdf&seqNo=171690. ↩︎
Gabriel Fernandez case : Charges dropped for social workers-Los Angeles Times, Accessed August 18, 2025. https://www.latimes.com/california/story/2020-07-15/charges-against-the-social-workers-linked-to-gabriel-fernandez-killing-will-be-dropped. ↩︎