테크노사이언스는 과학지식 생산 과정을 정치적, 경제적, 사회적 요소들이 만드는 하나의 거대한 순환고리로 이해한다. 돈, 노동력, 실험기구, 실험대상, 논쟁, 국가 규제 등등이 복잡하게 얽힌 영향관계 속에서 과학지식이 생산된다. 간단히 말해 오늘날 과학은 테크노사이언스다!
- 과학기술정책 읽어주는 남자들 (박대인, 정한별), <과학기술의 일상사>

뚫으려는 자와 막으려는 자, AI 공방전과 연구윤리

by. 🤔어쪈

연말을 맞이해 AI 윤리 레터에서 기획한 <2025 AI 지옥도 월드컵> 투표에 모두들 참여하셨나요? 결과도 물론 중요하지만 어떤 생각을 갖고 선택하셨는지 과정도 궁금합니다. 저는 몇몇 대결에서 정말 한참을 고민해야 했습니다. 종종 후보로 올라온 장면 자체보다는 그 기저에 있는 원인에 더 주목하기도 하고, 당장 일어나지는 않았지만 충분히 이어서 나타날 수 있는 미래의 사건이나 사고, 현상을 떠올리기도 했죠. 월드컵이라는 형식을 제하면 16개 장면들이 서로 어디서 또 어떻게 연결되는지 그 방식과 지점을 파악해볼 수도 있습니다. 오늘은 제 관심사를 토대로 AI 지옥도 월드컵의 제각기 다른 후보들이 서로 어떻게 이어지는지를 이야기해보려고 합니다. 구독자분들께서도 이처럼 본인만의 관점으로 또다른 지옥도를 그려보시면 더 흥미롭게 읽으실 수 있을 거에요.

“긍정적인 평가만 해줘” 논문 은닉 프롬프트 추문이라는 제목의 장면에서부터 출발해볼까요. 문제가 된 논문들의 저자들은 동료평가자가 직간접적으로 AI 서비스를 이용해서 논문을 심사할 것이라고 가정했습니다. 이미 연구자들이 동료평가를 위해 AI를 활용하고 있다는 사실이 암암리에 퍼져있었거나, 아니면 저자들 본인이 그렇게 동료평가를 하고 있었기 때문에 낸 꾀였겠죠. 앞서 채원님이 지적하신 것과 같이 동료평가 시스템의 지속가능성 위기라는 맥락에서 쉽게 예상가능했던 시나리오이기도 합니다. 해당 저자들의 바람처럼 동료평가가 AI에게 위임되어 제대로 이뤄지지 않는 상황 역시 충분히 현실적이고 사실 이미 일어나고 있죠. 근본적인 원인은 학계가 다양한 연구 결과물 중 논문만을 성과로 여기는 것과 어떤 연구를 했는지보다 논문을 유수 학술지에 게재하거나 저명한 학회에 발표했는지를 더 중시하는 데에 있습니다. 연구자로서의 성공이 그저 학술지나 학회의 동료 평가를 얼마나 잘 뚫을 수 있는지에 달려있게 되어 ‘좋은 연구’라는 정공법 외로도 편법이 난무하는 게 현실이죠.

이와 같은 일종의 ‘비밀 명령문’ 말고 다른 종류의 편법도 있습니다. 바로 논문을 더 빠르게, 더 많이 써서 학술지나 학회에 제출하는 이른바 시도 횟수를 크게 늘리는 것이죠. 여기서야말로 AI의 역할이 크게 빛을 발하고 있습니다. 최근 존재하지 않는 판례를 인용하는 법률가와 마찬가지로 존재하지 않는 참고문헌을 인용하는 논문과 학술서적이 적잖이 발견되고 있는데요. 우스갯소리로 흑역사를 발굴할 때나 읽는다는 석사학위논문은 물론이고 심지어 학계 내 윤리를 전문으로 다루는 학술지에서조차 해당 사례가 나타났습니다. 모두가 알다시피 허위 인용은 AI로 문서를 작성했을 때 나타나는 대표적인 특징이죠. 새삼스럽기도 하지만 많은 연구자들이 AI를 활용하여 논문 일부 또는 전체를 쓰고 있다는 의미로 해석할 수 있습니다. 동료평가 단계에서 잘 걸러내지 못한 것을 문제삼을 수도 있겠지만, 사실 학계에서 참고문헌은 판례와 달리 경우에 따라 경중이 크게 달라지기 때문에 심사 과정에서 주요 검증 대상으로 여겨지지 않기도 합니다. 때문에 동료평가보다는 AI를 통해 논문을 작성하고도 참고문헌을 제대로 인용했는지 조차 확인하지 않은 연구자들의 문제가 크죠.

이러한 종류의 편법이 난무하는 학계는 AI 제작 전자책, 검증 없이 서울대 도서관 비치라는 제목의 올해 AI 지옥도 후보 장면에서 볼 수 있었던 상황과 크게 다르지 않습니다. ‘전자책’을 ‘논문’으로, ‘서울대 도서관’을 ‘학술지/학회’로, ‘비치’를 ‘게재/발표’로 바꾸기만 하면 됩니다. 해당 도서관을 두고 학비나 세금 낭비를 지적하는 것과 마찬가지로 비용에 대한 문제를 제기할 수도 있겠지만, 학술지나 학회의 논문에 실린 연구 결과는 해당 분야 전문가들의 동료평가 및 편집을 거쳐서 출판되었다는 이유로 종종 과학적 사실 그대로 받아들여지기도 한다는 심각한 문제 역시 안고 있습니다. 물론 학계는 논문 철회라는 자기 규율 제도를 통해 이를 보완하곤 하지만, 그 절차가 굉장히 느리다는 점에서 (앞서 언급한 논문 역시 여전히 철회되지 않았죠) 완전한 해결책이 될 수는 없습니다.

궁극적으로 이러한 현상들은 AI와 대학 집단 부정행위에서 나타난 교실의 모습과 크게 다르지 않습니다. 우리나라 교육에 대해 시험에 최적화된 학생을 기르기만 한다는 자조적인 비판을 어렵지 않게 접할 수 있죠. 다른 것은 제쳐두고라도 시험 점수만 높게 나오면 된다는 인식은 학생들로 하여금 부정행위에 유혹되기 쉽게 만듭니다. 제가 시험을 앞둔 학생이라면, 어차피 나중에 실생활에서는 AI를 쓸테고, 지금도 어른들은 전부 AI를 쓰고 있고, AI는 계속 발전할텐데 왜 못 쓰게 하는지 궁금하기도 할 것 같습니다. 일자리 걱정에 휩싸인 어른들도 뒤숭숭한 분위기 속에서 의문을 품는 학생들에게 확실한 답을 못해주고 있죠. 앞서 언급한 연구자들 역시 마찬가지입니다. 연구평가시스템의 양적 기준에 최적화된 방식으로 AI를 활용하는 것이죠. 하지만 모두가 더 빠르게 더 많이 논문을 찍어내어 적절한 동료평가 없이 검증되지 않은 지식이 학술문헌을 채우기 시작한다면, 악화가 양화를 구축하는 것은 시간 문제입니다. 이는 최적화를 달성했다는 착각 아래 실상은 AI가 만들어낸 슬롭으로 가득차버리는 슬롭-최적화(sloptimization)에 지나지 않습니다.

흥미롭게도 이러한 문제의 해결사 역할 역시 AI가 도맡고 있습니다. 대학과 학술출판사는 앞서 언급한 편법을 가려내기 위해 AI 기반의 AI 콘텐츠 탐지기 내지는 연구윤리 위반 검사 도구를 속속 도입하고 있습니다. 이러한 모습을 학계에서의 AI 군비 경쟁이라고 불러도 손색이 없겠죠. 누군가는 더 많은 논문을 향한 경쟁의 장이 되어버린 학계에서 AI를 적극적으로 활용하고 있습니다. 다른 한편에서는 애초에 이들이 쏟아붓는 논문들을 하나하나 다 읽을 생각은 포기한 채 어떻게든 유의미한 논문만 골라내어 연구자들의 공동 유산인 학술문헌을 지키기 위해 AI를 활용하죠. 하나만 더 덧붙이자면, AI 기업들은 막상 연구자들에게 적절한 보상 없이 학술출판사와 직접 거래하거나 오픈 액세스로 접근 가능한 검증된 논문들만을 AI 모델 학습에 이용하고 있고, 그렇게 개발한 AI 서비스를 다시 양쪽에 판매하고 있습니다.

최근 AI 기업들은 과학을 집중 공략 영역으로 공공연하게 이야기하고 있습니다. ‘과학을 위한 AI’라는 모토 아래 이미 노벨상 수상이라는 쾌거를 이뤄낸 구글 외로도 오픈AI, 앤스로픽 역시 집중적인 투자를 천명했습니다. 우리나라 정부 역시 이러한 동향에 화답하듯 이번주 초 발표한 <대한민국 AI행동계획(안)>의 대표 과제 중 하나로 “AI 연구동료 개발”을 내세웠습니다. 검토 배경으로 “AI가 과학적 발견을 가속화하고, 심화된 과학 지식이 다시 AI의 기술적 진보를 견인하는 강력한 선순환적 혁신 구조를 구축해야 한다”고 적고 있죠. 분명 앞으로 알파폴드와 같이 AI 기술이 학문적 연구에 큰 도움이 되는 장면들도 볼 수 있을 겁니다. 하지만 AI 윤리 레터에서 숱하게 지적해왔듯, 우리는 AI 하이프에 경도된 기업이나 정부가 그리는 희망찬 청사진 말고 지금 당장 여기서 일어나고 있는 문제들도 직시해야만 합니다. 현재 학계가 경험하는 이른바 “AI 연구동료”를 둘러싼 현상은 선순환보다 앞서 슬롭-최적화(sloptimization)라고 표현한 악순환에 가깝습니다. 시스템이 가진 모순에는 눈 감은 채 AI를 개발하고 활용하는 것만으로 문제가 해결될 것이라고 믿는 건 그저 기술해결주의(techno-solutionism)라고 불리는 일종의 종교나 다름 없습니다. 제가 그리는 2026 AI 지옥도가 현실이 되지 않기만을 바랄 뿐입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.