우리 조상들이 지구 위에서 겪은 익스트림 생존 훈련과 똑같은 유산을 로봇들에게 제공하지 않는 한 그들은 인간이 스위치를 끄는 것에 저항하지 않을 것이다.
—레슬리 밸리언트 (이광근 역), <기계 학습을 다시 묻다>

AI 윤리 뉴스 브리프

2025년 9월 다섯째 주
by 🤔어쪈

1. AI 활용의 마지노선을 정하자는 (또다른) 성명서

지난주 미국 뉴욕에서 개최된 제80차 유엔총회에 맞추어, 200여명의 유명인사와 70여개의 기관이 서명한 고위험 AI 활용과 결과물을 금지하도록 국제협약을 요구하는 성명서가 발표되었습니다. AI가 인류와 국제사회에 용인할 수 없는 수준의 위험을 일으키지 않도록 침범하거나 넘어서는 안되는 레드라인(Red lines), 즉 마지노선을 설정해야 한다는 내용이 담겨있습니다. 다만 제한선이 어디에 그어져야 하는지를 논하기보다는 2026년말 까지 각국 정부가 모여 관련 협약을 체결하여 견고하면서도 실제로 작동할 제어방안을 마련해야 한다고 강조합니다.

성명서 작성과 발표를 주관한 3개 기관(프랑스 AI안전연구소(CeSIA), The Future Society, UC버클리 인간양립AI연구소(CHAI))은 다른 무엇보다 서명에 참여한 인사들을 전면에 내세웠습니다. 9명의 전 국가수장, 10명의 노벨상 수상자를 포함한 명단은 분명 눈길을 끄는 대목입니다. 반면 보편적으로 용인불가능한 수준의 위험 사례에 대해서는 아래와 같이 제시하면서도 특정 마지노선을 염두에 둔 것은 아니라고 선을 그었습니다.

• 핵무기를 비롯한 대량살상 내지는 치명적인 피해로 이어질 수 있는 무기 관련 지시 및 제어
• 인간 사칭, 대중 감시, 인프라 공격 등 사이버 공간에서의 악용
• 폐기 원칙 위반 및 자동화된 자기복제

사실 2년 전부터 비슷한 종류의 성명서가 꾸준히 발표되고, 또 잊혀지고 있습니다. 이를 의식해서인지 이번 성명서는 자주 묻는 질문(FAQ) 항목을 따로 마련하여 ‘애초에 국제 AI 레드라인이 가능한지’, ‘어떻게 협약을 실천할 수 있는지’와 같은 물음에 답변을 미리 달아두었습니다. 과거 유사한 성명서가 초지능에 의한 인류 멸종과 같은 너무 허황된 AI 위험을 강조한다거나, 해도 안해도 그만인 너무 당연한 말들뿐 실천과 행동을 담지 않았던 것에 비해서는 진일보한 움직임입니다. 성명서가 정한 기한이 1년 남짓밖에 남지 않은 만큼, 유의미한 협약이 체결되기 위해서 필요한 것들이 무엇인지 구체적으로 따지기 시작해야 할 시점입니다.

2. 국제 외교에서도 우리나라는 AI, AI, AI!

최근 국가AI전략위원회 출범과 AI 기본법 제정방향 발표 등 AI 산업 진흥에 속도를 내고 있는 국내 소식을 연이어 전해드린 바 있습니다. 더불어 우리나라 정부의 국제 외교 활동에서도 AI가 키워드로 계속해서 등장했습니다. 유엔총회에서 이재명 대통령은 기조연설을 통해 10월 경주에서 열리는 APEC(아시아태평양경제협력체) 정상회의에서 ‘AI 이니셔티브’를 발표하겠다고 예고했고, 유엔 안전보장이사회(안보리)에 의장국 자격으로 참석하여 ‘AI와 국제평화 및 안보’라는 주제의 토의를 주재했습니다.

기조연설문과 안보리 국별 발언에서 크게 특별한 내용이 있었던 것은 아닙니다. 이 대통령은 AI라는 도구를 어떻게 활용하냐에 따라 다른 미래를 맞이하게 될 것이라며 현 정부의 정책 슬로건인 ‘AI 기본사회’, ‘모두를 위한 AI’를 홍보했습니다. 안보리 특성상 자율살생무기(LAWs; Lethal Autonomous Weapon)에 대한 우려가 가장 크게 대두된 만큼 군사 분야에서도 AI를 무기가 아닌 분쟁 예방과 평화 유지 목적으로 활용할 수 있는 점과 작년 한국에서 AI의 책임 있는 군사적 이용에 관한 고위급 회의(REAIM)를 개최한 점을 언급했습니다.

국제 외교 석상에서 대통령이 우리나라를 대표해서 어떤 목소리를 냈는지도 중요하지만 실제로 어떤 논의가 이뤄졌는지도 알아두는 게 좋겠죠. UN 사무총장 안토니오 구테레쉬는 안보리 토의를 열며 앞서 소개한 ‘AI 레드라인 성명서’에 화답하듯 2026년까지 자율살생무기에 대한 법적 구속력 있는 금지 협약이 필요하다고 강조했습니다. 반면 미국을 대표하여 참석한 크리스 코르벤 국무부 차관보는 국제기구가 글로벌 AI 거버넌스를 중앙집권적으로 통제해선 안된다며 반기를 들었죠. 오히려 중국의 마자우쉬 외교부 부부장이 UN 사무총장의 제안에 호응하는 모습을 보였습니다. 반면 AI라는 주제 하에 좀처럼 듣기 힘든 국가들 역시 저마다의 의견을 내놓았습니다. 하산 셰이크 마흐무드 소말리아 대통령은 낮은 데이터 비중이나 인터넷 보급률 측면에서 아프리카가 직면한 위험은 다른 무엇보다 디지털 식민주의라고 우려를 표했습니다. 파키스탄은 인도와의 분쟁 중 자율살생무기가 실전에 배치된 바 있다며 그것이 얼마나 당면한 실질적인 위협인지 증언했죠.

UN은 이번 총회를 기점으로 국제 AI 거버넌스를 보다 심도있게 논의하고자 ‘AI에 관한 독립 국제 과학 패널 (Independent International Scientific panel on AI)’, ‘AI 거버넌스에 관한 글로벌 대화협의체 (Global Dialogue on AI Governance)’를 공식 출범했습니다. 언젠가부터 뭔가 비슷한 조직과 행사가 반복되어 나타나는 것 같기도 하지만, 우리나라가 이와 같은 국제 외교 무대에서 AI 거버넌스를 주도하고자 한다면 흔히 AI 3강이라고 부르는 미국, 중국이 아닌 다른 나라들의 목소리 역시 주의깊게 들어야 하지 않을까요?

3. 안 짚고 넘어가기엔 서운할 소식 몇가지

• 지난 8월 넷플릭스에서 파트너(주로 콘텐츠 공급사) 대상의 생성형 AI 가이드라인을 발표했습니다. 짧게 요약하자면, 아이디어를 구상하는 단계를 제외하고는 생성형 AI 도구를 쓰는 것이 저작권 침해 소지가 있을 수 있으니 넷플릭스와의 서면 승인 절차가 필요하다는 것인데요. 자세한 내용은 아래 표를 참고하시길 바랍니다.

• 작년 헬스케어/브레인/휴머노이드 AI를 주제로 진행된 기술영향평가 결과의 책자가 발간되었습니다. 기술영향평가란 쉽게 말해 전문가와 시민이 머리를 맞대고 신기술이 어떤 사회적 영향을 가져올지 고민하는 과정인데, 우리나라에서는 한국과학기술기획평가원(KISTEP)에서 매년 진행하고 있죠. 2025년의 대상 기술은 다름 아닌 AI 에이전트라니, 역시 AI 강국(?) 답네요.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.