대학 연구의 상대적 자율성과 독립성이 강조된 이면에는, 냉전기의 군사적 필요로 인해 과학자들이 평화시임에도 계속 정부와 군대를 위해 동원되는 이른바 과학의 영구동원 현상이 있었다.
—김명진, <모두를 위한 테크노사이언스 강의>

“논문공장”과 AI의 평행이론

by 🤔어쪈

학계가 비상에 걸렸습니다. 논문공장(paper mill)이라 불리는 가짜 논문을 대량 생산해서 연구실적이 필요한 사람들에게 판매하는 조직의 활동이 갈수록 활개하고 있기 때문입니다. 사실 논문 출판을 두고 이뤄지는 일종의 암시장 거래는 항상 있어왔기에 완전히 새로운 현상만은 아니지만, 그 규모가 눈에 띌만큼 커져 학문 분야나 학술지를 막론하고 이를 타개하기 위한 방안을 찾고 있는 게 현실입니다.

과거의 논문공장은 기존에 출판된 논문의 내용이나 그림을 짜깁기하는 방식과 같이 특정 패턴을 보이곤 했습니다. 그에 맞춰 개발한 검사 도구를 통해 대응이 가능한 수준이었죠. 하지만 그 수법이 갈수록 교묘해져만 가고, 여기에 더해 이른바 물량공세가 펼쳐지는 바람에 연구자들은 좀처럼 해결방안을 찾지 못하고 있습니다. 이와 같은 최근의 경향성은 어디서 기인하는 걸까요? 사실 이젠 누구나 어렵지 않게 생성형 AI를 무기로 장착한 논문공장의 모습을 떠올릴 수 있을 겁니다. 생성형 AI를 이용하면 말 그대로 논문을 작성하는 것뿐만 아니라, 마치 연구를 실제로 수행한 것처럼 원데이터와 분석 코드, 연구기기 및 장비를 통해 얻은 그래프나 사진을 만들어낼 수 있는 시대니까요. 기술이 계속해서 ‘진짜’와 더 비슷하도록 발전하는만큼, 논문공장의 시스템 해킹은 보다 쉬워지는 반면 그로부터의 방어는 더더욱 어려워질 공산이 큽니다.

이러한 추세라면 제가 작년 말 <2025 AI 지옥도 월드컵>에 뽑힌 여러 장면들을 이어붙여 그렸던 저만의 “2026 AI 지옥도”의 모습이 머지않은 듯 합니다. 당시 다음과 같은 4가지 사례를 들어 학계의 이른바 AI 슬롭-최적화(sloptimization) 조짐을 우려했는데, 어쩌면 이미 현실로 다가왔을지도 모르겠네요:

• 가짜 참고문헌으로 대표되는 AI로 빠르고 대량으로 찍어낸 논문
• 동료평가자가 AI로 논문을 심사할 것을 역이용한 은닉 프롬프트 삽입 꼼수
• 적절한 동료평가 절차 없이 출판된 AI 결과물로 인해 오염된 학술 문헌
• 연구성과평가의 양적 기준만을 맞추기 위한 집단 부정행위

하지만 이를 그저 ‘생성형 AI 기술이 야기한 연구윤리 문제’라고 요약하기엔 학계가 작금의 위기에 다다르게 된 과정의 면면은 우리 사회 어느 곳에서나 관찰할 수 있는 모습과 크게 다르지 않습니다.

결과 만능주의와 군비 경쟁

논문공장은 여러모로 LLM으로 대표되는 생성형 AI 기술이 작동하는 방식과 비슷한 지점이 많습니다. 그 중 가장 명백한 공통점은 바로 과정을 생략하는 경향성입니다. 생성형 AI는 본질적으로 인간의 결과물을 모방하는 기계로, 내부에서 어떤 연산 과정이 일어나는지와는 무관하게 겉보기에 인간이 한 것과 유사한 결과를 생성하는 데에 초점이 맞춰져 있습니다. 이는 논문공장의 행태와 매우 비슷하죠. 논문공장 역시 연구의 내부 과정이나 진실성(integrity)에는 전혀 관심이 없으며, 오직 SCI 등재 학술지에 실린 그럴듯한 결과물로서의 논문을 생산하는 데에만 몰두합니다.

이러한 결과 지향적 태도는 끝없는 군비 경쟁을 유발합니다. AI가 이전 모델의 약점을 파악하여 이를 새로운 학습 데이터로 삼아 발전하듯, 논문공장 역시 기존 출판 시스템의 허점을 찾아내고 한 곳이 막히면 교묘하게 다른 우회로를 개척합니다. 예를 들어, 과거 논문공장이 표절 검사 프로그램을 회피하기 위해 문맥에 맞지 않는 기괴한 동의어로 문장을 비틀어버리는 '억지 변형 어구(tortured phrases)'를 만들어낸 현상이 대표적입니다. 이제는 생성형 AI를 활용하면 이러한 패턴을 답습하지 않고도 실질적인 표절을 통해 논문을 만들어낼 수 있죠. 결국 논문공장의 패턴을 발견하고 그에 기반한 검사 도구를 개발하여 적용하더라도 이내 그것이 시스템의 새로운 기준점이 되어 계속되는 취약점 공격과 방어로 이어집니다.

외주화에 따른 책임 공백

과정은 생략한 채 결과만을 취하려는 관점에서 외주화는 너무도 합리적인 선택이 아닐 수 없습니다. 논문공장이 여타 연구윤리 위반 행위와 다른 점은 외주화를 통해 논문이 출판되기까지 필요한 모든 기만적인 작업으로부터 의뢰인인 연구자가 완벽히 분리된다는 것입니다. 그 과정에서 데이터 위조나 변조, 표절이 있었더라도 해당 연구자에게는 논문공장을 이용했다는 점에 대한 도덕적 책임만이 부과될 뿐입니다. (물론 논문 저자로서 제도적 절차에 따라 그 이상의 책임을 지는 경우도 있겠습니다만) 외주화는 그저 특정 업무를 다른 누군가에게 맡기는 게 아닙니다. 핵심은 얻고자 하는 결과에 따른 책임의 발생 지점을 이동시키거나 모호한 공백 지점을 만드는 데에 있습니다.

이 역시 ‘AI 에이전트’라는 표현으로 대표되는 우리 사회가 AI를 받아들이고 사용하는 방식과 매우 닮아있습니다. AI 서비스나 시스템이 어떻게 작동하는지, 또한 어떤 과정을 통해 결과를 도출했는지를 모르는채로 더 많은 작업과 의사결정을 위임하고 있죠. ‘블랙박스’를 굳이 열어보지 않고 계속해서 AI 도입과 적용만을 강조하는 목소리 뒤에는 외주화의 논리가 공고히 자리잡고 있습니다. 일부 영역에서 이뤄지고 있는 AI 사용 여부만으로 문제가 될만한 상황을 방지하려는 노력은 논문공장의 사례와 마찬가지로 책임 공백을 해소하기는 커녕 그대로 내버려둘 뿐입니다.

착취에 기반한 규모의 경제와 과점 시장

논문공장, 더 나아가 학술출판 시장과 AI 산업이 모두 '규모(Scale)'라는 핵심 동력을 기반으로 굴러간다는 점 역시 유사한 부분입니다. “스케일링 법칙(Scaling law)”이 AI 산업 전반을 관통하는 하나의 믿음이라는 데에 반박할 사람은 없을 겁니다. 컴퓨팅 자원의 투입 규모를 늘릴수록 AI 모델의 지능 수준이 높아진다는 가설로 제시된 이후 수차례 경험적 사례에 힘입어 반도체 산업에서의 무어의 법칙과 마찬가지로 자기실현적 예언으로 자리잡았죠. 그만큼 AI 산업에 있어 규모는 계속해서 키워야만 하는 절대적인 수단이자 목표가 되었습니다.

논문공장의 배경이 되는 학술출판 산업 역시 AI 산업과 같이 직접적이지는 않더라도 규모를 계속해서 추구해왔습니다. 더 많은 연구실적을 필요로 하는 연구자에게나, 오픈 액세스라는 비즈니스 모델 하에 출판하는 논문 수만큼 돈을 버는 출판사에게나 논문의 규모는 키워 마땅한 셈이었죠. 규모를 키우는 데에 모두의 이해관계가 맞아떨어진상황에서 논문공장이 등장한 것은 전혀 이상한 일이 아닙니다. 요컨대 두 산업 모두 거대 자본과 인프라를 바탕으로 시장을 통제하며, 더 큰 모델 또는 더 많은 논문을 목표로 하는 이른바 '규모의 경제'를 최우선 목표로 삼고 있습니다.

스케일링 법칙에 따라 AI 산업이 지금까지 구축한 이 거대한 규모가 다양한 종류의 물질적/비물질적, 물리적/정신적 착취에 기반하고 있다는 사실을 다시 언급하진 않겠습니다. 그 규모를 계속해서 키우는 과정 역시 결국 지속적인 착취라는 점은 아무리 강조해도 지나치지 않죠. 안타까운 건 학술출판 산업 역시 마찬가지라는 사실입니다. 학술 출판 생태계는 동료평가(peer review)라는 이름의 제도 아래 사실상 연구자들의 무급 노동에 철저히 의존하는 구조로 굴러갑니다. 연구자들은 막대한 시간과 노력을 들여 논문을 작성하고, 다른 연구자의 논문을 심사하며, 학술지의 편집 위원으로 활동하지만, 이 모든 과정은 학문적 기여라는 명목 하에 대부분 명확한 대가 없이 이루어집니다. 반면 이렇게 생산된 지식과 결과물로부터 창출되는 금전적인 이익은 대부분 상업 출판사들이 가져갑니다. 이러한 규모의 경제 속에서 이윤을 극대화하려는 출판사와 양적 실적에 쫓기는 연구자의 절박함이 맞물리면서 취약해진 생태계의 틈새를 파고들어 저질 논문을 쏟아내는 기생적인 존재가 바로 논문공장인 것이죠.

슬롭-최적화가 우리 사회에 던지는 경고

학계를 덮친 논문공장으로 인한 연구윤리 위기는 단지 윤리의식을 결여한 채 소비자가 된 일부 연구자의 문제만으로 해석하기 어렵습니다. 그 수요는 학계 전체에 뿌리내린 연구 내용의 질 또는 과정의 진실성보다 결과물 생산 속도와 규모, 관련 양적 지표만을 극대화하려는 제도에도 상당 부분 기반하기 때문입니다. 논문공장이 지금처럼 AI가 널리 쓰이기 이전부터 등장했다는 사실은 학계에선 이미 슬롭-최적화가 진행중이었다는 것을 보여주죠. 한편, 논문공장이 운영되는 방식과 그 배경에 자리잡은 학술출판 산업이 AI 산업의 발전 궤적과 전체 사회와 어떻게 상호작용하는지 이 기술적, 산업적 층위에서 이토록 유사한 모습을 보이며 서로 맞닿아 있다는 사실은 꼭 연구자가 아니더라도 사회의 구성원인 우리 모두에게 깊은 함의를 지닙니다.

논문공장이 학술 생태계의 신뢰를 무너뜨린 것과 마찬가지로, 결코 거스르기 쉽지 않은 슬롭-최적화의 논리가 우리 사회 전반을 지배하게 된다면 어떻게 될까요? 뉴스와 정보, 예술과 문화, 그리고 인간의 의사결정 과정마저 '질적 가치'가 아닌 '양적 생산과 모방'으로 대체된다면 과연 우리 사회는 어떤 모습을 하게 될까요? 어쩌면 학계의 논문공장 사태는 앞으로 다가올 더 큰 사회적 위기를 보여주는 예고편일 수 있습니다. 우리가 학계의 논문공장 사태를 단순히 연구자들의 문제만으로 바라보는 대신, 학계를 위기에 빠뜨린 여러 구조적인 원인들을 살펴보고 마찬가지로 사회 전반에 자리잡은 유사한 측면들을 직시함으로써 보다 근본적인 해결책을 고민해야 하는 이유입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.