 |
지난 4일부터 9일까지 중국 수저우에서 열린 최우수 국제 학술대회 ‘EMNLP 2025’에서 발표를 진행 중인 박성진 석사과정생과 박수형·김호범 학생. 사진=가톨릭대 제공 |
[대학저널 온종림 기자] 가톨릭대학교 데이터사이언스학과·인공지능학과 김강민 교수 연구팀이 자연어처리 분야 최고 권위의 국제 학술대회인 Empirical Methods in Natural Language Processing 2025(EMNLP 2025)에 대규모 언어모델(LLM)의 편향성 및 환각 문제를 완화하는 기술을 제안한 논문 2편을 게재하고 발표했다.
첫 번째 논문 ‘Measuring and Mitigating Media Outlet Name Bias in Large Language Models’는 ChatGPT 등 대규모 언어모델이 뉴스 기사를 처리할 때 언론사명만으로도 정치적 편향을 보이는 현상을 체계적으로 측정하고 이를 완화하는 기술을 제안했다.
연구팀은 동일한 기사라도 대규모 언어모델에 제공된 가상의 출처가 CNN으로 제시된 경우 더 진보적으로, Fox News로 제시된 경우 더 보수적으로 판단하는 등 언론사명에 따라 모델의 판단이 달라지는 ‘앵커링 효과(anchoring effect)'가 존재함을 실험을 통해 확인했다. 이러한 편향을 정량적으로 평가하기 위해 ‘SIPS (Source-Induced Prediction Shift)’라는 새로운 지표를 제안했으며, 절대 민감도·일치성·일관성을 결합해 모델의 편향 정도를 0~1 사이의 값으로 표현할 수 있도록 설계했다.
실험 결과 주요 언어모델 모두 언론사명 기반 편향을 내재하고 있음이 드러났다. 특히 모델 크기가 클수록, 그리고 정렬 튜닝을 거친 모델일수록 편향이 더 강하게 나타나는 경향을 보였다.
두 번째 논문 ‘Leveraging Knowledge Graph-Enhanced LLMs for Context-Aware Medical Consultation’은 의료 분야에서 대규모 언어모델이 겪는 환각(hallucination) 문제를 완화하고, 보다 정확한 의료 상담을 제공하기 위한 ‘ILlama (Informatics Llama)’ 프레임워크를 제안했다.
데이터사이언스학과·인공지능학과 김강민 교수는 “이번 연구는 대규모 언어모델의 편향성과 환각 문제라는 두 가지 핵심 과제를 해결하는 실질적인 방법을 제시했다”며 “언론사명 편향 완화 기술은 AI 기반 뉴스 서비스의 공정성을 높이고, 의료 상담 시스템은 환자 안전성을 확보하는 데 기여할 것”이라고 말했다.
이번 연구는 가톨릭대 데이터사이언스학과·인공지능학과 김강민 교수와 박성진 석사과정생, 박수형·김호범 학생으로 구성된 연구팀이 한국연구재단 우수신진연구자지원사업과 정보통신기획평가원(IITP) 지원사업의 연구비를 받아 수행했다.
[ⓒ 대학저널. 무단전재-재배포 금지]
