성급한 용서는 / 이미 일어난 일을 다시 일어날 수 있는 일로 만든다 / 오래 이어질 기억투쟁 특별구간 ... 오고 있을 문장은 기도가 아니라 선언이어야 할 것
—이은규, '봄의 미안'에서 <오래 속삭여도 좋을 이야기> 수록

범람하는 AI 미신의 행간을 읽는 법

by 🥨채원

월요일 브리프에서도 공유 드렸듯이, AI한테 물어보니… 류의 기사가 범람하고 있습니다. 여기..여기..여기도.. 이런 기사들은 대체로 ‘카더라’류의 가십을 전하는 것과 다를 바 없다는 점에서 안타까움을 금할 수 없습니다. 극단적으로 비유하자면 이런 기사는 어느 유명 점집에서 물어본 이야기를 기사로 쓰는 것과 다를 바 없어 보입니다. 흥미 위주로 언어 모델에게 개인이 무엇이든 물어보는 걸 막을 사람은 없겠죠. 그러나 그것을 기사의 형태로 언론에서 전하는 것은 언론의 직업 윤리에 반하는 일입니다.

이러한 ‘카더라..’ 류의 기사 중 하나에서는 자극적인 제목 아래 본문에서 *“LLM(대형언어모델) 기반의 최근 AI는 모두 확률형 모델이므로, 수집된 데이터와 질문 구성에 따라 답변 결과는 언제든 달라질 수 있다. 따라서 본 결과는 ‘정치색과 진영 논리가 배제된 AI라면 논리적으로 어떤 판단을 내릴 수 있는지’ 참고용으로 보는 것이 옳다.”*라고 한발 물러서는 모습을 보이기도 합니다. 그러나 이것 또한 충분하지는 않습니다. 정치색과 진영논리가 배제된 AI라는 것이 가능하지도 않을 뿐만 아니라, 확률형 모델이라 답변 결과가 매번 달라진다는 것이 한계인 듯 표현하고 있기 때문입니다.

문제의 본질은 언어모델이 사실 관계나 인과 관계와 상관없이 작동하는 모델이라는 것입니다. 챗GPT 등의 챗봇에서 사용되는 기술인 대형언어모델은 사실 관계를 탐구하거나 미래를 예측하기 위해 만들어진 기술이 전혀 아닙니다. 옳은 답이 아니라 가장 그럴듯한 답을 생성하는 것을 목적으로 만들어진 기술입니다. 극단적인 예로 만약 모델을 만드는 과정에 1+1이 3이라고 하는 데이터가 압도적으로 들어있다면 1+1은 3이라고 나오는 시스템인 것입니다. 이러한 한계를 극복하기 위해 검색증강생성(Retrieval Augmented Generation, RAG)을 비롯한 여러 기술적 방안이 고안되었고, 챗GPT 등의 서비스에서도 참고 자료를 링크하는 등 개선이 일부 이루어지고 있지만 아직은 갈 길이 멉니다.

‘AI에게 물어봤더니..’ 하는 질문의 이면에는 AI기술에 대한 어떤 기대가 반영되어 있습니다. ‘그래도 인터넷에 있는 수많은 정보를 취합했다고 하는데 우리가 모르는 무언가를 AI는 알고 있지 않을까?’ 하는 어떤 신비로운 최첨단 기술에 대한 기대입니다. 많은 기업이 이러한 사람들의 기대를 이용하여 마케팅하고 있기에 정확한 이해가 어려운 것도 사실입니다. 언어모델이 만들어지는 방식을 단순화한다면 다음과 같습니다. 인터넷에 존재하는 다양한 자료들, 예컨대

‘{ } 의 판단이 { } 일 거야…’

‘헌재의 { }이 4:4 일 거야…’

‘{ }의 { }가 { }:{ } 일 거야…’

등으로 존재하는 데이터의 패턴에 기반해서 언어 모델에 입력된 질문에 따라 가장 그럴듯한 답변을 생성하는 것입니다. 이런 문장들이 수집되는 출처는 어떤 인터넷 커뮤니티의 댓글일 수도, 누군가의 블로그일 수도, 온라인 기사일 수도 있습니다. 그리고 { } 안에는 수많은 가능성이 내재해 있을 것입니다. ‘너의 판단이..’, ‘헌재의 점심 메뉴가…’, ‘오늘의 축구 결과가 5:3 일 거야..’ 등 모두 해당합니다. 그리고 이러한 수많은 패턴의 데이터 중 정확히 어떤 정보가 어떤 매커니즘으로 어떻게 학습되는지, 즉 무엇이 왜 어떻게 취합되는가 하는 원리도 아직 연구 중입니다.

미래는 여전히 알 수 없습니다. ‘인공지능이 할 수 있는 것, 할 수 없는 것, 그리고 그 차이를 구별하는 법’이라는 부제를 가진 명저 <AI Snake Oil>에서도 가장 흔한 종류의 AI로 미래를 예측하는 시스템을 꼽습니다. ‘엉터리 물건’ 혹은 ‘가짜 약’을 의미하는 책의 제목이 시사하듯, 사기꾼이 가장 많은 분야의 AI라는 것입니다.

많은 사람들이 AI를 위시한 마케팅에 현혹되지 않고, 기술의 작동 방식과 한계를 이해하실 수 있도록 저희는 꾸준히 뉴스레터를 써왔습니다. <AI Snake Oil>의 저자들의 작업을 한국어로 번안한 ‘🦜책임있는 AI를 위한 HYPE 뉴스 체크리스트’를 발행하기도 했습니다. 혹시 AI 관련해서 다뤘으면 하는 주제, 궁금한 것들이 있으시다면 언제든지 피드백으로 남겨주세요.

태풍이 지나간 자리에서

by 💂🏻죠셉

지난주 <지브리AI가 왜 모욕적인가요?>를 여러분께 보낸 이후 AI 윤리 레터가 시작된 이래 가장 많은 독자 피드백이 도착했습니다. 일주일이 지났습니다. 열광하는 사람들의 수 만큼이나 다양한 성찰의 목소리가 있었고, (모두의 예상대로) 이미 며칠 전 ‘막차 탄다’는 사람들이 보이기 시작했으며, 소셜 미디어에 새로 올라오는 지브리 이미지는 확연히 줄어든 것 같습니다.

태풍이 지나간 자리를 톺아보려면 지금이 적기입니다. 오늘 레터에서는 공유 주신 독자 피드백 일부를 중심으로, 어떤 이들은 지브리 ‘열풍’, 누군가는 ‘사태’라고 부른 이 이슈가 드러낸 몇몇 측면을 복기해보려 합니다.

왜 지브리였을까?

윤슬 님: 사진을 디즈니풍으로 바꿔주는 등의 어플, 밈 생성기는 이전에도 있었는데, 왜 유난히 이번 openai의 업데이트는 모욕적이라고 느껴지는 걸까?

22년 11월, 챗GPT 출시 이후 오픈AI는 불과 5일 만에 1백만의 가입자를 모았습니다. 당시 기준 역사상 유례가 없는 숫자였는데요. 놀랍게도 지브리 프롬프트를 앞세워 같은 성과를 달성하는 데 걸린 시간은 불과 60분이었습니다. 일주일 사이 앱 다운로드는 11%, 인앱(in-app) 구매는 6% 증가했고 총 7억 개의 이미지가 생성됐습니다. (4/2일 기준) 이 파급력 앞에서 많은 이들이 ‘왜 이제 와서 호들갑?’ 혹은 ‘지브리의 무엇이 다르길래?’류의 질문을 던졌습니다.

노스탤지어를 자아내는 지브리의 화풍 자체가 (가령 ‘드림웍스 스타일로 바꿔줘!’에 비해) 프로필 사진으로 쓰기에 더 적합했다는 분석이 보입니다. 그런가 하면 지브리, 그리고 스튜디오의 얼굴인 미야자키 하야오가 오랜 세월 공들여 지켜온 이미지가 핵심이라는 의견도 있었습니다. 거대 스케일의 창작자 집단임에도 여전히 수작업을 고집하는 등, 장인으로서의 명예를 중요시 여겨온 그간의 세월이 지브리 작품에 ‘예술’의 프리미엄을 더하고, 따라서 같은 생성형 이미지여도 더욱 가치 있게 느껴진다는 것이죠.

강호의 도리가 땅에 떨어졌다

MA님: 지브리는 독보적인 화풍을 도구로 삼아 타인에게 분명히 전달하고 싶은 이야기가 있습니다. 반전, 무자비한 자연의 훼손에 대한 경각심, 극복, 추억, 사랑, 그 모든 것을 아우르는 인간을 관찰하며 그들이 사는 삶과 환경에 대한 애정을 보여주는 것 입니다.

지브리와 미야자키 하야오가 동서양 문화권을 아울러 보편적으로 상징하는 가치는 왜 이렇게 많은 사람들이 ‘모욕감’ 혹은 ‘훼손’이라는 단어를 사용할 정도로 강하게 반응했는지를 설명해줍니다.

처음 바이럴이 시작됐을 무렵 ‘이거 당연히 지브리 허가 받은 거 아니었어?’류의 반응이 많았다는 사실은 이번 이슈의 본질에 대해 많은 걸 말해줍니다. 그만큼 도의적 측면에선 분명하나, 문제는 이미 여러 매체에서 다뤘듯, ‘화풍’이 현재 저작권 법의 보호 대상이 아니란 점이죠. 여기저기서 개인과 기업의 도덕 윤리, 즉 소위 ‘강호의 도리’에 호소할 수밖에 없는 상황에 대한 답답함을 느꼈습니다. 이 지점에서 지브리 AI는 다양한 고민거리를 남깁니다. 가령, 지난 몇 년간 생성형 AI를 둘러싼 논의는 규제를 중심으로 이뤄져 왔는데 정작 그 규제가 모호하거나 지지부진할 때 우리에게는 어떤 대안이 있을까요? 어떻게 상대적 약자를 보호하며 사회와 발맞춰가는, 균형 잡힌 기술 발전을 이뤄낼 수 있을까요?

물론 윤리에 호소하지 않는, 좀 더 실제적인 반론도 있었습니다. 애초에 지브리 AI가 흥행할 수 있었던 건 원본 고유의 특징 덕분인데, 이제 너도나도 생성한 모조품이 범람하며 그 원본의 가치가 타격을 입었고, 따라서 법적 쟁점이 될 수 있다는 것이었죠. 그런가 하면 자발적으로 내어준 개인 정보의 위험성을 지적하는 글도 보였습니다. 실제로 웹에서 긁어오는 이미지들의 경우 이런저런 규제로 인해 사용이 제한적이지만 사용자가 직접 업로드한 이미지는 약관을 자동 승낙한 것으로 간주하여 대부분의 규제를 피해갑니다. 고화질의 이미지에 잠재적으로 포함된 생체인식 정보가 잘못 사용될 수 있다는 경고도 비슷한 맥락입니다.

추출되는 세계

2ml 님: 창작자들은 모욕감을 이미 오래전부터 경험해 오고 있었습니다 … 하지만 자신의 창작물이 파편화되어 원하지 않는 용도로 점유되고 사용될 때, 개인 창작자가 정말 어떤 느낌이 드는지를 알리기가 쉽지 않았습니다. 왜 잘못되었는지, 무엇이 유린당하고 있는지 말하고 또 말해도 간단하게 사용해 버리는 사람들을 막기에는 역부족입니다. 오히려 거기서 일종의 권력 도취까지 느끼는 사람들도 봤습니다.

우리의 논의는 지브리라는 맥락 밖으로 확장되어야 합니다. 창작의 본질은 무엇인지, 무엇보다 지브리보다 작은 중소 규모 IP(지적 재산)나 개인 창작자들에게 시사하는 바가 무엇인지, 다양한 질문들이 제기되는 걸 볼 수 있었습니다.

MA 님: …훼손되었다고 느끼는 이유 중 하나는, AI 개발자들의 '지브리 당신들이 얼마나 잘났다고, 그런거 우리 AI 한테 학습시키면 1초면 만들 수 있어' 라고 말하는 것 같은. 지브리사가 전하고자 하는 메세지와 노력은 전혀 중요하지 않다고 말하는 것 같은 분위기 일 것입니다.

또한 이번 사건은 그간 혁신의 이미지에 가려져 있던 오픈AI(를 비롯한 일부 기업들)의 이면을 더 많은 사람들이 좀 더 와닿는 형태로 ‘느껴볼’ 기회였다는 점에서 의미를 가집니다. CEO가 직접 나서 아무 거리낌도 없이 지브리 스타일의 프롬프트를 홍보하고, 개발자들 잠자야 하니 제발 우리 서비스 좀 그만 쓰라며 너스레를 떠는 모습에서 우리는 케이트 크로포드가 <AI 지도책>을 통해 그려낸 ‘추출주의(Extractivism)’라는 단어를 떠올렸습니다. 몇 년 쓰고 버릴 기기를 만들어 현대 기술 시대라는 찰나를 떠받치려고 지구의 지질학적 역사를 뽑아내는 광물 추출 산업처럼, 나의 확장을 위해서라면 누군가 일궈낸 평생의 업적도 무한 생성의 대상으로 바꾸는 데 일말의 거리낌도 없는 사람들. 그 기저에서 우리는 다른 인간에 대한 존중 결여와 힘의 논리 숭배 같은 것들을 봅니다. 이들이 인류의 공유자산(커먼즈)을 모욕했기에 유죄이며, ‘공유자산은 공짜와 다르다’는 지적 또한 같은 맥락으로 볼 수 있습니다.

가치판단의 회색 지대에서

지브리 AI에 대한 비판이 공론화되는 중 우리의 격한 감정은 오픈AI에게 향하기도 했지만, 중요한 가치를 보호하기보다는 한순간의 엔터테인먼트로 소비해 버린 동료 시민들을 향해 분출, 분열되는 양상을 보이기도 했습니다. 이에 몇몇 평론가들은 자중할 것을 요청하며, ‘지브리 이미지를 만드는 인간’의 복잡한 내면을 인문학적으로 사유해 많은 공감을 얻기도 했습니다. 개인적으로는 ‘지브리 사진을 생성해 놓고 보니 이제 세상에 없는 (일본인이었던) 엄마가 생각나 좋았다’는 누군가의 글을 보며 느낀 복잡한 감정이 기억납니다. 이렇듯 인류의 공유자산을 추출, 사유화하는 기업의 이기심, 그리고 그걸 지탱하는 개인은 다양한 동기를 가지고 복잡하게 얽혀있고, 절대적 답이 없는 윤리의 회색지대는 더 많고 다양한 사람의 참여를 필요로 하고 있습니다.

급변하는 기술의 세계에서 피해자와 수혜자의 위치는 언제든 바뀔 수 있다는 점을 기억해야 합니다. 그렇기에 분명한 건 힘의 논리로 누군가를 찍어 누르고, 가차 없이 착취하는 기술이 우리의 미래의 일부여서는 안 된다는 점입니다. 이를 위해 필요한 정보를 제공하고, 감춰진 맥락을 드러내는 것이 우리가 힘을 모아야 할 일이며, 더욱 공부해야 할 이유라는 생각을 다시 한번 하게 됐습니다.

p.s 깊은 고민 나눠주신 독자 여러분 감사합니다! 앞으로는 더 자주 이런 공론의 장 역할을 할 수 있길 희망해보며, 피드백 전문은 여기서 보실 수 있습니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.