공익법센터 인공지능(AI) 2026-08-27 1087

[2026 정기국회 입법·정책과제] 피지컬 AI 산업에서의 인권 보호 체계 마련

1. 현황과 문제점

정부가 발표한 ‘3대 메가프로젝트’의 3축 중 하나는 피지컬 AI임. 피지컬 AI는 로봇·자율주행수단·드론·스마트제조설비 등의 형태로 현실의 물리적 환경을 인식·판단하고 직접 행동한다는 점에서 일반적인 생성형 AI와 차이가 있음. 피지컬 AI 기술은 오작동이나 잘못된 판단이 곧바로 이용자·노동자·보행자의 생명·신체·재산에 대한 현실적 침해로 이어질 수 있으므로, 산업진흥보다 안전과 기본권 보장을 선행조건으로 삼아야 함. 특히 안전 관련 의사결정의 추적가능성과 인간-기계 상호작용에서의 안전의 관점에서, 피지컬 AI의 상용화는 단순한 기술지원이 아니라 인간이 통제할 수 있고 위험이 사전에 검증된 경우에 한하여 허용되어야 한다는 것을 원칙으로 삼아야 함.

EU의 경우, 피지컬 AI의 이러한 특성을 전제로 AI 규제와 제품안전 규제를 중첩적으로 적용하고 있음. EU「AI Act」는 제품의 안전구성요소이거나 그 자체가 제품인 AI 중 일정한 요건을 충족하는 시스템을 고위험 AI로 규율하고,「기계류 규정」(Regulation (EU) 2023/1230)은 자율 이동 기계와 머신러닝 기반 안전기능에 대하여 위험관리와 안전설계를 요구함.

그럼에도 현재 발의되어 있는 법안들을 살피면, 피지컬 AI의 위험과 기본권 침해 가능성에 대한 규율보다 산업 육성과 신속한 실증을 위한 지원·규제완화에 상대적으로 큰 비중을 두고 있음. 특히 고위험 피지컬 AI에 대한 의무적 사전 안전검증체계도 부재하고, 개인정보 보호에 상당한 특례 인정 및 정보주체와 제3자 권리 보호는 산업 육성이라는 목적 하에 중대하게 논의되고 있지 않음. 중대한 위험을 사전에 발견 및 통제하는 체계와 사고 발생 시 책임배분 및 조사, 피해구제에 관해 규율할 필요성이 있음. 즉, 현재 발의된 법안들은 피지컬 AI의 개발·실증·상용화를 촉진하기 위한 지원과 규제완화에는 구체적인 법적 근거를 마련하면서, 그 과정에서 발생할 수 있는 생명·신체의 안전과 개인정보자기결정권 등 기본권 침해를 예방·통제하기 위한 규율은 이에 상응하는 수준으로 갖추지 못하고 있음.

피지컬 AI 관련 법률안은 단순히 산업 육성과 규제특례라는 기본방향 위에 안전장치를 일부 추가하는 수준으로 접근해서는 안 됨. 피지컬 AI는 현실 공간에서 인간의 생명·신체와 기본권에 직접 영향을 미치는 기술이므로, 위험수준에 따른 의무적 사전 안전검증, 인간의 실질적 통제가능성, 개인정보 및 사생활 보호, 규제특례의 명확한 한계, 중대한 사고에 대한 보고·조사 및 책임·피해구제체계가 법률상 충분히 마련되는 것이 법제정의 전제조건이 되어야 함.

2. 세부 과제

1) 인권 보장 체계 확보

피지컬 AI 산업진흥을 위한 개인정보 규제의 완화만을 목적으로 하여서는 안 되며, 인간의 존엄과 기본권 보호, 개인정보자기결정권, 사생활 보호 및 위험에 노출되는 사람의 정보·참여권을 우선적으로 보장하는 토대 위에서 추진되어야 함.
피지컬 AI가 국민의 생명·신체와 기본권에 직접 영향을 미치는 기술이라는 점을 고려하여 최소한 인간의 존엄과 기본권 보호, 생명·신체의 안전 및 인간 중심의 개발·이용 원칙을 법률의 목적과 국가책무에 명시해야 함.
피지컬 AI가 현실 공간을 인식하는 과정에서 서비스를 이용하지 않는 제3자의 얼굴·음성·행동까지 수집할 수 있다는 점에서 정보주체의 동의, 최소 수집, 수집대상·장소의 제한 및 보충성 등의 요건을 마련해야 함.
피지컬 AI 위험에 직접 노출되는 주민과 노동자에게 기술에 대한 이해뿐만 아니라 위험에 관한 정보를 충분히 제공하고 의사결정 과정에 참여할 권리를 보장해야 함. 피지컬 AI로 인한 위험에 노출되는 사람의 알 권리·참여권 및 자기결정권 보장이 명시되어야 함.

2) 인간 통제에 기초한 안전 확보

피지컬 AI는 현실 공간에서 스스로 인식·판단하고 물리적 행위를 수행하므로, 안전성은 단순한 기술적 성능의 문제가 아니라 인간이 시스템의 위험을 사전에 파악하고 그 작동에 개입·중단할 수 있으며, 사고 발생 시 원인을 추적하고 책임을 물을 수 있는 통제가능성의 문제로 접근할 필요가 있음. 생명·신체에 중대한 영향을 미칠 것으로 예상되는 시스템에 대해서 위험수준에 따른 분류와 의무적 사전 안전성 검증, 인간의 개입·정지 권한, 사고의 기록·보고 체계 등 사전적·인간중심적 안전체계가 마련돼야 함.
생명·신체의 안전이나 기본권을 보호하기 위한 규범은 규제특례의 대상에서 제외하고, 안전성이 확인되지 않은 경우에는 특례보다 안전 규제가 우선한다는 원칙을 명시해야 함. 또한 피지컬 AI 관련 사고는 생명·신체에 돌이킬 수 없는 피해를 줄 수 있다는 점에서 사전적으로 통제할 수 있는 규정이 필요하며, 사고 발생시 제조자·개발자·운영자의 책임관계, 사고원인 조사, 작동기록의 보존, 피해자의 관련 정보 접근 및 실효적인 손해배상까지 연계되어야 함.
피지컬 AI의 안전성은 사업자가 기술적 성능을 인증받는 문제로 축소해서는 안 되며, 위험의 사전평가, 인간에 의한 감독·개입·정지, 중대한 위험 발생 시 실증·운영 중단, 사고의 기록·조사, 책임규명과 피해구제로 이어지는 전 과정에서 인간의 통제가능성을 확보하는 방향으로 구성되어야 함.

3) 별도 특별법 제정보다 인공지능기본법으로 통제