미래 지향적인 AI 규제: 혁신과 윤리의 균형

사진 : 샘알트먼 미 상원 법제사법위원회 청문회 중에서

  넷플릭스 미국 정치 드라마의 한 장면인가 싶은 이 장면은, 2023년 5월 16일 미 상원 법제사법위원회에서 처음으로 열린 인공지능(AI) 청문회에 출석한 ChatGPT의 창시자인 OpenAI의 최고경영자 샘알트먼의 모습이다. 이 자리에서 알트먼은 “OpenAI는 AI가 우리 삶의 거의 모든 측면을 개선할 것이란 믿음으로 설립됐지만 동시에 심각한 위험도 존재한다”라면서 “이 기술이 잘못되면 상당히 잘못될 수 있다고 생각한다. 그런 일이 일어나지 않도록 목소리를 내고, 정부와 협력하고 싶다”라고 밝혔다[1].
  ‘딥러닝의 아버지’로 불리는 제프리 힌턴도 구글을 떠나며 ”‘더 철학적인 일’에 시간을 투자하고 싶다. 그 철학적인 일은 AI가 재앙이 될 수 있다는 작지만 매우 현실적인 위험에 집중하는 것이다“라며 ”AI가 구글의 사업과 어떻게 상호작용하는 걱정할 필요 없이 AI의 안전문제에 대해 말하고 싶다“라고 뜻을 전한 바 있다[2].
  본 기고에서는, ‘미래 지향적인 AI 규제: 혁신과 윤리의 균형’을 주제로 기술의 발전과 혁신을 방해하지 않으면서도 AI 기술 규제를 어떻게 적절히 할 수 있을지 미국과 유럽 등 글로벌 동향과 기준에 대해 살펴본다. 입법 과정에서 확보되어야 할 인공지능의 공정성(Fairness), 책임성(Accounta bility), 투명성(Transparency) 및 윤리의식(Ethics) 요소(일명, FATE)[4] 각각에 대한 고려 사항과 이를 산업으로 바라보고 여러 산업 부분에서 AI 기술을 적용하는데 필요한 각기 다른 규제에 대해 함께 고민해 보고자 한다.

기술 발전의 선두주자, 미국
  미국은 인공지능 기술 발전의 선두 주자답게 AI 규제에 대한 논의가 활발히 이루어지고 있다. AI 위험관리 체계 보완을 위한 온라인 센터인 AI리소스센터(Trustworthy and Responsible AI Resource Center)를 설립[5]하고 AI 위험 관리 및 편향성 완화를 위해 지속적으로 노력하고 있으며, 정책적으로는 AI의 잠재적 위험을 인식하고 있지만, AI의 발전을 저해하지 않는 선에서 규제해야 한다는 태도를 가지며, 규제의 원칙으로 공정성, 책임성, 투명성, 안정성, 보안 등을 제시하는 다양한 법안을 제안하고 있다.
  미국의 행보 중 눈에 띄는 것은, AI의 특성에 따라 다양한 규제 방법을 적용하는 계획으로, 예를 들어 자율주행차는 교통안전 행정부(NHTSA)가 도로교통법에 따라, 얼굴인식 기술은 개인정보 보호법(GDPR)에 따라, 의료 진단/예방/치료 등은 식품의약국(FDA)의 의료기기 및 의료 소프트웨어 법에 따라 규제하도록 하고 있으며 이 외에도 딥페이크(deep fake)나 AI기반 의사결정 도구들에 대한 규제 법안을 제정하고 규제 기관을 감독하는 등의 방법을 적용하고 있다.
  발의 된 법안들도 매우 구체적인데, 예를 들어 알고리즘을 개발/배포하는 일정 기준 이상의 기업은 자동화된 의사결정 시스템과 그 시스템을 중요한 의사결정에 활용하는 과정에 대해 소비자에게 미치는 영향을 평가하도록 하여 투명성과 책임성을 부과한다거나, 소프트웨어의 업데이트가 있을 때 데이터의 유지 및 보관, 소비자의 권리 및 소비자에 대한 부정적 영향을 완화하는 방안에 대한 평가까지 이루어져야 하고 이를 보고해야 한다는 식이다. 또한 이들의 AI 규제의 방향과 내용은 AI 기술의 발전과 사회적 요구에 따라 계속해서 적응하고 발전해 나갈 것으로 예상된다.

통일된 규범을 준수하는 EU
  유럽의회는 최근 유럽연합 27개국의 인공지능 기술을 규제하는 포괄적인 주요 규칙에 대한 법안을 통과[6]시키며 개별국과의 최종 협상이 마무리 되면 2026년부터 시행될 수 있도록 빠르게 움직이고 있다.
  EU의 인공지능 법안의 특징은 인간 중심의 접근을 위하여 인간에 의한 감독, 기술적 견고성과 안전성, 프라이버시 및 데이터 거버넌스, 투명성, 다양성/비차별성/공정성, 사회 및 환경복지를 인공지능이 준수하여야 할 일반 원칙으로 제시하고 있으며 이에 기반하여 사람의 안전, 생계, 권리에 명백한 위협으로 간주되는 인공지능 시스템은 금지하고 고위험에 해당하는 인공지능 시스템에는 위험관리 시스템 운영, 위험과 차별 결과를 최소화하는 데이터 마련, 결과의 추적성을 보장하기 위한 자동 로그 생성, 위험에 대한 정보 제공 등 의무를 부여하고 있다.
  이러한 법에 따라 금지되는 서비스 분류는 예측적 치안(영화 마이너리티리포트에서 나오는 범죄 예측) 도구, 얼굴인식 DB 구축을 위해 인터넷이나 CCTV 영상에서 얼굴 이미지를 목적 없이 스크랩하는 행위, 사람을 판단하고 개인의 사회적 행위 등을 평가 또는 점수화 하는 소셜 스코어링, 민감한 특성(성별, 인종, 민족, 시민권 상태, 종교, 정치적 성향)을 사용하는 생체 인식 분류 등이 포함되며 협조하지 않을 경우 해당 기업은 연간 글로벌 매출의 6%에 해당하는 벌금을 부과 받게 된다는 것이 법안의 내용이다.
  이를 통해 유럽에서 개발되고 사용되는 AI가 인간 중심적이고 신뢰할 수 있는 AI의 활용을 촉진하고 유해한 영향으로부터 건강, 안전, 기본권 및 민주주의를 보호하는 것을 목표로 한다. 협상 과정에서 어떤 내용들이 변경되는지에 따라 각 국가별 정부 또는 산업 내에서의 지향이 어떻게 다른지 비교해 살펴볼 좋은 기회가 되겠다.

인공지능의 FATE
  앞서 살펴본 두 사례에서 보듯 인공지능은 이미 사회적 영향을 고려하여 적절히 발전하고 사용되어야 하는 대상이 되어있고 사용자와 사회에 신뢰를 줄 수 있어야 한다는 점에서도 결을 같이 하는 것으로 보인다. 또한 이를 위한 주요 가이드라인으로 내세우는 원칙들도 공정성, 책임성, 투명성, 윤리의식에 대한 내용으로 각각 세부적인 예시와 함께 명확하게 정리된다.

1) 공정성(Fairness)
  인공지능은 인간이 생산해 낸 각종 데이터를 이용하여 학습이 진행되어 인간이 가지고 있는 편향과 차별을 답습하여 불평등을 재생산할 수 있다. 예를 들어, 병원에서 사용하는 인공지능 알고리즘이 치료 우선순위를 결정하는 과정에서 백인 환자의 치료 순서를 흑인 환자에 비해 우선하여 배정하는 편향, 채용시스템이 지원자를 차등적으로 판단하여 개발자, 엔지니어 직군에 남성을 더 선호하는 차별, 심지어 최근 이미지 생성 알고리즘들도 커피를 들고 선글라스를 쓴 여성은 백인으로, 거리에서 음식을 팔고 있는 여성은 유색인으로 그리는 등 학습 결과물이 기존의 편향을 반영하는 단점들은 개인과 조직, 사회에 대한 부정적 영향을 증폭하고 영속시킬 수 있다는 우려[7]를 뒷받침한다.
  인공지능을 현실로부터 분리하여 설계/개발/배포할 수는 없으므로 차별과 불평등, 편향을 측정해 내는 기술적 방법들을 찾게 되는데, 미국 국립 표준기술연구소는 편향을 크게 특정 사회집단이 혜택 또는 불이익을 받는 방식으로 작동하는 제도적 절차와 관행을 뜻하는 시스템적 편향, 표본이 모집단을 대표하지 않을 때 발생하는 통계/계산적 편향, 인간 정신의 근본적/암묵적 판단을 뜻하는 인적 편향으로 범주화하여 이해를 확장하고, 이를 통해 각각의 편향이 가지는 성격에 따른 해결방안을 제시하는 것이 공정성을 지키는 방법이라고 이야기한다.

2) 책임성(Accountability)
  인공지능 시스템이 어떤 잘못된 결과를 냈을 때 그 책임은 누구한테 물을 수 있을까? 복잡하고 까다로운 시스템의 오류를 파악하고 책임소재를 규명하기는 쉬운 일이 아니며, 인공지능 모델이 내어놓는 결과에 대한 이유를 설명할 수 있는 일 또한 어렵지만 그 안에서 책임성은 인공지능 시스템이 신뢰를 얻고 안전하게 사용되기 위해서는 필수적인 요소이다. 
  앞서 살펴본 EU의 디지털 서비스법(Digital Service Act)은 대규모 온라인 플랫폼서비스와 검색엔진에 대해서 알고리즘과 데이터 처리방식이 불법콘텐츠 유포, 기본권 침해, 시민 담론, 선거 과정, 성평등 등에 미치는 위험을 평가하고 그 위험을 완화하도록 하였으며 최소 1년에 한 번씩 독립적인 감사를 시행하도록 주문함으로써 추천 시스템, 콘텐츠 조정 시스템, 광고 시스템 데이터 처리에 대한 책임성 체계를 갖출 것을 요구하고 있다.
  이러한 책임성은 인공지능 시스템의 개발자, 운영자, 사용자 모두에게 요구되는데, 개발자는 인공지능 시스템을 개발할 때 시스템의 오류를 방지하기 위해 온 힘을 기울여야 하며, 운영자는 시스템이 안전하게 운영되도록 관리해야 하고 사용자는 시스템 사용 시 시스템의 한계점을 이해하고 시스템이 잘못된 결과를 내면 즉시 신고를 하게 하는 식이다. 이를 위해 취할 수 있는 조치는 시스템의 개발과 운영에 관한 규정을 마련하고 시스템의 오류를 파악하고 책임 소재를 규명할 수 있는 시스템을 구축해야 한다. 시스템의 사용에 대한 교육이 제공되어야 하며 반드시 안전과 신뢰에 대한 인식을 제고하여 인공지능 시스템의 잠재적인 위험을 줄이고 긍정적인 효과를 극대화하는 데 이바지할 수 있어야 한다는 것이 책임성을 강조하는 목적이다.

3) 투명성(Transparency)
  앞서 언급한 바와 같이, 인공지능의 학습 과정에서 사용되는 네트워크는 복잡하게 연결된 계층 내 수백만 개의 변수들이 상호작용하는 구조이기 때문에 대부분은 사람이 그 결과가 도출된 이유를 파악하기 어렵다. 책임을 질 수 없고 설명할 수 없다면, 인공지능의 판단이 큰 영향을 미치는 영역에서 인공지능이 사용된다는 사실뿐만 아니라 인공지능이 사용하는 데이터, 변수, 알고리즘 작동 원리에 대한 기본 정보를 공개하도록 하는 것, 또는 설명을 요구할 수 있는 권리를 확보하는 것 등이 투명성을 확보하는 방법으로 일부 법에 반영되고 있다.
  예를 들어 EU의 경우, 온라인 중개 서비스에 콘텐츠 조정 알고리즘에 대한 투명성 보고서를 연 1회 작성하도록 하고, 대규모 온라인 검색엔진에는 광고 내용, 의도된 노출인지 여부, 노출 대상 선정에 사용된 주요 매개변수 등을 1년간 저장하고 공개하도록 하는 등 방법을 통해 온라인 광고 알고리즘에 대한 투명성을 확보하고 있기도 하다.

4) 윤리의식(Ethics)
  인공지능기술의 지속적인 발전과 사회적 수용, 사회와 개인의 이익을 증진하는 데 이바지할 수 있는 방향으로 사용되기 위해서는 윤리 의식에 기반한 인공지능 개발 및 사용이 필요하다. 인권을 존중하고 민주적 가치를 보장하며 인간에게 해를 끼치는 방향은 금지함은 물론 시스템이 오남용되고 사회에 악영향을 끼칠 위험에 대해서는 지속해서 감시하고 또한 방지하기 위한 노력이 필요하다.
  인공지능 시스템을 설계하거나 운영하는 서비스 제공자는 물론 이를 사용하는 사람들이 모두 시스템이 잘못된 방향으로 사용될 때 사회에 끼치는 해와 악영향에 대해 경각심을 가지고 안전하게 사용될 수 있도록 해야겠다. 개인정보는 적절하게 보호되어야 한다는 점, 그 정보의 사용을 위해서는 사용자의 동의를 얻어야 한다는 점, 데이터를 수집하고 사용할 때 데이터의 출처와 획득 방법에 대해 윤리적으로 고민하는 것, 의사결정 시스템이 편향성을 최소화하고 사용자의 가치와 원칙을 존중할 것 등이 당연시되는 것이 윤리 의식을 요구하는 목표이다.

사회-기술적 접근 사례
  최근 AI 기술 윤리에 대한 이슈는, 윤리 자체에 대한 선언적인 내용을 발표하는 것이 아닌 기술적 인공지능, 모델의 성능과 윤리 문제와의 관계 및 멀티모달 모델의 편향성을 정량화하는 지표들을 분석하는 연구들로 지속적으로 확대[8]되고 있다. AI 공정성 및 편향 진단 지표 뿐 아니라 텍스트-이미지 변환 환경에서 고정관념 편향을 평가하는 벤치마크, 인구통계학적 편향을 정량화하는 것을 목표로 하는 벤치마크들이 커뮤니티에 활용되고 있다.
  AI가 많이 활용될수록 AI 사고 및 논란 수는 지속적으로 증가하여 260건(20년 전에 비해 26배나 더 많은 수치)을 기록했는데 이는, AI가 윤리적으로 오용될 수 있는 방식에 대한 인식 또한 높아지고 있음을 알 수 있는 지표다. 2022년 3월 딥페이크를 통해 볼로디미르 젤렌스키 대통령의 항복 영상이 만들어져 배포된 것은 말그대로 대표적인 “사건”이었고, 일부 미국 교도소에서 AI 기반 시스템을 사용하여 수감자의 전화통화를 스캔하거나 런던경찰청이 거리 갱단원 데이터 세트를 유지 관리하고 AI를 기반으로 잠재적 위험성을 측정하는 등의 시스템을 만든 것은 개인정보보호 및 차별, 정확성이 떨어지고 특정 소수 민족 및 인종을 차별하는 경향에 대한 제보/보고가 시스템의 사용을 막고 해당 법규를 추가하게 되는 계기가 되기도 했다.
  사람들의 윤리 의식이 성장해나가는 것을 비웃기라도 하듯 멀티모달 모델들의 윤리 이슈도 계속 제기된다. 대화형 AI는 모델이 과도하게 의인화 되는 경우들이 존재하면서, 대화 시스템이 인간과 상호작용 시에 인간이 이해 및 허용할 수 있도록 답변에 대한 자체 제한 및 정책 개입에 기반을 둔 챗봇의 필요성이 지속적으로 요구되고 있다. ChatGPT의 경우도 출시 당시 안전 매커니즘이 내장되어 있었지만, 모든 적대적 시나리오에 대응하는 것은 현실적으로 불가능 하다는 부분을 인정하고, 논란이 발생하면 패치를 통해 해결하는 수준이다. 또한 상업적으로 활용되는 대화 시스템은 성별이 여성형에 편중되는 경향이 있어 이 부분에 대한 각성/개선의 목소리 또한 뜨겁다.
  이미지 생성 모델에서의 공정성 및 편향 이슈는 그래도 애교스럽다. 텍스트-이미지 변환에서 고정관념(성별, 인종, 종교, 직업) 편향 측정을 위한 벤치마크들의 활용이 가능해졌고 이를 통해 분석한 결과는 성별에 따른 편향이 가장 많이 발생하고, 명령 조정 또는 데이터셋 필터링 등이 없을 때 큰 모델일수록 성능은 우수하나 더 큰 편향이 있다는 것이다. Stable Diffusion(좌측)과 DALL-E2(중앙)는 CEO의 이미지를 정장을 입은 남성 또는 정장에 나이가 많고 다소 진지해 보이는 남성으로 묘사했고, Midjourney는 지능적인 사람에 대한 묘사(우측)를 안경을 쓴 나이 든 백인 남성의 이미지로 묘사하기도 했다.

  AI 위험에 대한 관리 또는 검사를 지원할 수 있는 Anthropic 같은 스타트업은 AI 모델이 반드시 지켜야 할 원칙을 담은 ‘클로드 헌법’을 공개했다. 이를 통해 더욱더 윤리적이고 안전한 AI를 만들겠다고 하며, 이런 움직임에 대한 정부 및 산업에서의 투자도 확대[9]되고 있다. 

마치며
  본 고에서 살펴본 것과 같이, AI 규제 관련하여 공정성, 책임성, 투명성을 강조하는 활발한 법제화 움직임이 결과로 나타나고, 특히 윤리 의식에 대해서는 윤리 원칙을 중요시하고 선언적 내용으로 뜬구름을 잡는 듯한 시절이 지나고 AI 윤리 수준을 측정할 수 있는 기술적 윤리에 대한 실무적 수준의 논의가 활발하게 이루어지고 있다는 점을 확인했다. 또한 위험에 대응할 기술 체계를 확보하고 상용화하는 빅테크기업, 위험 관리 검사를 통해 기존 체질을 개선하려 노력하는 스타트업 사례도 살펴봤다.
  우리도 AI 서비스 관련 산업뿐 아니라 AI 윤리를 기술 및 거버넌스를 통해 해소할 수 있도록 지원하는 연구, 전문기업, 산업이 더욱 발전하기를 희망하며, 작게나마 우리 성아연이 원우 간의 산업 내에 속한 여러 윤리적 고려사항에 관한 이야기를 시작하고 활발하게 토론할 수 있는 장이 되기를 또한 기대해본다.

references 
[1] 최서은, “AI, 심각한 위험 존재” 챗GPT 창시자도 규제 필요성 인정, 경향신문, 2023.05.17. https://m.khan.co.kr/it/it-general/article/202305172126005#c2b 
[2] Will Douglas Heaven, “Geoffrey Hinton tells us why he’s now scared of the tech he helped build”, MIT Technology review, 2023.05.02. https://www.technologyreview.com/2023/05/02/1072528/geoffrey-hinton-google-why-scared-ai/ 
[3] 신승국 등 6명, “AI 규제 동향 - AI활용의 가속화와 함께 국내외 AI 규제 논의 활발”, 법률신문, 2023.03.27.  https://www.lawtimes.co.kr/news/186328 
[4] 박소영, “인공지능의 FATE(공정성, 책임성, 투명성, 윤리의식)를 위한 입법 논의 동향과 시사점”, 국회입법조사처, 2023.07.04. https://www.nars.go.kr/report/view.do?cmsCode=CM0018&brdSeq=42365   
[5] DAVE NYCZEPIR, “NIST to establish online center for trustworthy and responsible AI resources”, FEDSCOOP, 2022.09.30. https://fedscoop.com/nist-trustworthy-responsible-ai-center/ 
[6] 최창현, “유럽의회, 세계 최초 '인공지능 규제 법안' 채택...“더 엄격한 개인정보 보호, 더 엄격한 투명성, 협조하지 않을 경우 징벌적 벌금 부과””, 인공지능신문, 2023.06.15. https://www.aitimes.kr/news/articleView.html?idxno=28270 
[7] 양기문, “미국 국립표준기술연구소, 인공지능 편향식별 및 관리기준 마련”, 정보통신정책연구원 보고서, 2022.04.
[8] 안성원 등 9명, “AI Index 2023 주요 내용과 시사점”, ISSUE REPORT, 소프트웨어정책연구소, 2024.05.08.
[9] Damir Yalalov, “Ex-OpenAI employees founded Anthropic, a business that has attracted over $700 million in financing”, METAVERSE POST, https://mpost.io/ex-openai-employees-founded-anthropic-a-business-that-has-attracted-over-700-million-in-financing/ 

 

이 글은, 성균관대학교 IMBA AIT(아이티) 연구회에서 발행하는 IT 트랜드매거진 AI's T (아이스티) 창간호 특별기고문을 옮겼으며, http://sungayeon.com 에서도 보실 수 있습니다.