시스템이 이미 형성되고 움직이기 시작하고 나서 윤리학을 추가로 덧붙일 수는 없다. 기업 관행에서는 ‘윤리’를 그런 식으로 다루는 불행한 경향이 있다. 그것은 아무도 소송 대상이 되지 않도록 법적 필요조건을 어떻게 만족시킬지에만 주안점을 두는 경우가 너무나 많다. 이와 달리 효율적인 윤리적 개입은 시스템 자체의 작용에 고유한 개입이어야 한다.

— 캐서린 헤일스 (송은주 역), <비사고, 인지적 비의식의 힘>

지금, 여기 다시 AI 하이프

by 🤖아침

AI 강국만이 살길이다, 초지능 앞에서 대부분의 인간은 쓸모가 없어질 것이다, 10년 내에 대부분의 대화는 인간이 아닌 인공지능과 하게 될 것이다, 나를 대체하게 되는 것은 AI가 아니라 AI를 빨리 습득한 내 경쟁자다... 잠잠해질 줄 모르는 AI 하이프의 여러 얼굴입니다. 『참여사회』 2025년 9-10월호(통권 326호)에 이같은 AI 하이프를 재검토하고 다같이 잠시 진정할 것을 제안하는 글을 세 편 실었습니다.

「AI가 모든 걸 집어삼킬 거라는 예언에 저항하기」는 초지능의 도래에 대한 공포와 경외, 그리고 만능 자동화 기술에 대한 무한한 믿음이라는 AI 하이프의 양면을 살펴봅니다. AI 하이프는 기술을 개발하며 이익을 얻는 기업의 사회적 책임으로부터 관심을 분산시키고, 실제 AI의 문제들을 제대로 보지 못하게 하는 일종의 허상이지만, 동시에 사회적 가치 판단에 영향을 미치는 '지독한 현실'이기도 합니다.

「AI HYPE Checklist ✅ : AI 하이프에 편승한 언론」은 AI 하이프를 확대재생산하는, 때로 무책임하고 불성실하기까지 한 언론 보도를 문제시합니다. AI 성능을 과장하고 기업인들을 무작정 영웅시하는 AI 하이프 뉴스를 비판적으로 읽기 위해, 2023년 처음 소개한 ʻAI 하이프 뉴스 체크리스트’를 2025년 현황에 맞게 업데이트합니다.

「적정 AI 기술은 적정 AI 작명부터」는 AI에 관한 논의가 기술의 문제만큼이나 AI를 둘러싼 상상력의 문제이기도 하다는 점을 지적하고, AI라는 용어 자체를 재점검하기 위한 세 가지 전략을 제안합니다.

AI 에이전트 시대에 요구되는 사회기술시스템 관점의 AI 안전과 윤리

by 🤔어쪈

AI 윤리 레터를 꾸준히 읽으셨다면 이번 FAIR AI 기고문의 내용이 꽤나 익숙하게 들릴 수도 있습니다. AI 에이전트와 사회기술시스템 관점 모두 제가 지난 1년여간 레터를 통해 주목해온 키워드였기 때문이죠. 레터를 통해 남겨온 제 생각의 발자취를 모아서 정리를 해보고 싶었는데 마침 NC문화재단으로부터 집필 요청을 받아 한편의 글로 엮어낼 수 있었습니다.

AI 업계에 있다보면 유행에 민감해질 수밖에 없습니다. 일하며 자주 보인다 싶은 용어가 곧장 회사 안팎에서 상사의 보고 지시와 고객의 기능 요구로 이어지기 때문이죠. 인공지능과 크게 다르지 않은 의미로 예전부터 쓰이던 지능형 에이전트(intelligent agent)라는 용어가 새로운 트렌드로 자리잡는 과정을 지켜보는 건 매우 흥미로우면서도 씁쓸한 일이었습니다. 시장은 생성형 AI 기술이 어떤 효용을 가지는지 계속해서 의심했고, 기업들은 더이상 AI를 도구라고 하지 않고 말그대로 행위자로 규정하며 보다 노골적으로 노동 대체를 목표로 삼는 것으로 응답했습니다.

같은 맥락에서 AI 에이전트는 일종의 소프트웨어 디자인 패턴으로 자리잡았습니다. 사람이 일하는 과정을 모사한 계획(Planning), 기억(Memory), 도구 활용(Tool use)을 AI 모델로 구현하여 특정 작업에 맞춰 최적화하면 어려운 과제에 대해서도 그럴싸한 결과물을 내놓는 AI 에이전트가 만들어집니다. AI 에이전트를 표방하는 서비스들은 겉보기엔 챗봇과 크게 다르지 않을지 몰라도 내부 설계는 앞서 언급한 기능적 구성 요소를 갖추고 있습니다.

하지만 AI 에이전트가 더 크고 넓은 자율성을 기치삼아 개발되는만큼 그동안 우리가 챗봇을 염두에 두고 논의하던 AI 안전과 윤리 논의를 넘어서는 문제를 내포할 수 밖에 없습니다. 우선 다양한 AI 에이전트가 사회 곳곳에 자리잡을수록 각각은 정상 작동했음에도 불구하고 결과적으로 피해가 발생하는 것과 같은 시스템 실패가 일어날 확률이 높아집니다. 동시에 그에 대한 책임을 누가 질 것인지 불분명해져 책무성 결여가 사회적으로 만연해질 수 있습니다.

그동안 안전 및 안보, 윤리라는 이름 아래 이뤄진 각종 AI 거버넌스 노력은 주로 모델 정렬(alignment)과 오남용 방지라는 두가지 갈래로 진행되어 왔습니다. 그러나 인간 사회의 가치를 따르도록 AI 모델을 개발하고 또 그에 맞게 사용하자는 거창한 목표는 실상 챗봇이 해도 되거나 해선 안되는 말을 정하는 일로 납작해져버리고 말았습니다.

AI 개발자 또는 사용자 윤리만으로는 AI 에이전트가 배태된(embedded) 사회, 즉 우리와 AI 기술 사이에 단순 대화형 인터페이스를 넘어 보다 다양한 접점이 만들어지는 복잡한 연결망에서 일어날 수 있는 문제들의 해결이 요원합니다. 우리에게 다른 무엇보다 사회기술시스템(sociotechnical system) 관점이 필요한 이유입니다.

제가 왜 그동안 계속해서 AI 에이전트 도입에 앞서 AI 안전과 윤리에 대한 사회기술시스템적 접근이 요구된다고 강조해왔는지 더 알고 싶지 않으신가요? 아래 원문을 통해 확인해주세요!

신뢰 가능한 AI: 기계에 대한 신뢰는 어떻게 형성되는가

by 🍊산디

FAIR AI에 소개된 다른 흥미로운 글 하나를 소개해드리려 합니다. <[AI x 윤리] 신뢰 가능한 AI: 기계에 대한 신뢰는 어떻게 형성되는가> 라는 제목의 글입니다. 위너의 문제의식에 기대어 신뢰 가능한 인공지능이란 무엇인지 살펴보고 있는 글입니다.

글은 단편소설 <원숭이 손(The Monkey's Paw)>을 소개하면서 시작합니다. 한 노부부는 인도에서 돌아온 손님으로부터 세 개의 소원을 들어주는 원숭이 손 이야기를 듣게 됩니다. 손님은 비극적인 결말을 경고하며 원숭이 손을 불태우려 하지만, 노부부는 재빨리 200파운드를 원한다는 소원을 빌었죠. 다음 날, 아들의 회사로부터 사람이 찾아와 아들이 사고로 죽었으며, 회사는 위자료라며 200파운드를 건넵니다. 슬픔에 잠긴 아내는 원숭이 손에게 아들을 다시 살려달라고 애원했고, 그날 밤 문을 두드리는 ‘무엇’이 나타납니다. 남편은 ‘무엇’이 사라지게 해달라는 마지막 소원을 빕니다.

노버트 위너는 그의 글 <신 & 골렘 주식회사>에서 <원숭이 손> 이야기를 통해 기계가 인간의 목적을 무자비하게 달성하는 위험을 지적합니다. 원숭이 손이 소원을 이루는 데에는 탁월하지만 그 과정이 인간의 원칙과 어긋나 도무지 신뢰할 수 없었던 것처럼, 기술 역시 성능만 뛰어나서는 안 됩니다. 기계의 작동이 인간을 위하여(선의), 인간이 따르는 원칙에 따라(도덕성) 이루어질 때에만 이용자는 기계를 신뢰할 수 있게 됩니다.

신뢰에 대해서는 다양한 정의들이 존재하지만 심리학은 대체로 신뢰를 “위험을 감수하고 타인을 믿는 태도”로 정의합니다. 이를 AI에도 적용할 수 있을 거예요. AI를 신뢰한다는 것은 그것의 능력뿐만 아니라 선의와 도덕성을 긍정적으로 평가한다는 뜻입니다.

문제는 AI가 불투명하다는 데 있습니다. 속을 알 수 없는 것을 어떻게 신뢰할 수 있을까요. 여기서 기업의 투명성과 책임성이 다시 한 번 더 강조됩니다. 자동차 제조사의 명성에 기대어 자동차를 구매하듯, 이용자는 기술 자체 뿐 아니라 기업의 신뢰 가능성까지 종합적으로 평가하기 때문입니다. 글은 신뢰 가능한 AI를 위해서는 투명한 정보 공개, 책임 있는 경영이 뒷받침되어야 한다고 강조합니다. 그래야 AI를 둘러싼 원숭이 손의 주술이 풀리고 진정한 신뢰가 자리 잡을 수 있을 것이라고 하면서요.

글을 읽고 나서 뚜렷하게 답하기 어려운 여러 의문들이 듭니다. 인간의 마음을 이해하는 개념 신뢰를 기계에 그대로 적용 해도 괜찮은 것일까요? 신뢰할 수 있다면 위험해도 괜찮은 것일까요? 위험하지 않은 기술은 신뢰가 필요 없는 걸까요? 글이 끝나는 지점에서 새로운 질문들이 생겨납니다. 이러한 질문들에 대해 신뢰 가능성만으로 답하기 어렵다면, 우리는 어디로 나아가야 할까요?

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.