 |
서울사이버대 김환 교수. |
특히 ‘Systems’는 영향력지수(IF) 3.8로 JCR 사회과학 학제 분야 상위 25%(Q1)에 해당하는 권위있는 학술지다.
‘합성 페르소나’란 대규모 언어모델(LLM)에 나이, 성별, 지역 등 인구통계학적 정보를 설정해 만든 AI 가상 응답자를 의미한다. 최근 생성형 AI가 인간과 유사한 답변을 생성함에 따라, 이를 설문 패널이나 전문가 자문 대신 활용하려는 시도가 늘고 있다. 김환 교수는 이번 연구를 통해 AI의 응답을 실제 자료와 대조하며 그 신뢰성과 한계를 정밀하게 검증했다.
Systems 논문은 구글 Gemini, 오픈AI GPT, 앤트로픽 Claude, LG AI연구원 EXAONE, 네이버 HyperCLOVA X 등 6종의 LLM을 ‘가상 전문가’로 설정하고, 계층분석과정(AHP) 출판 연구 27편의 전문가 판단을 재현하게 했다. 실험 결과 논문에 적힌 순서대로 중요도를 매기는 단순 규칙이 6개 모델을 모두 앞섰고, 기존 평가 방식으로는 모델의 판단과 제시 순서의 영향을 구분할 수 없다는 점이 드러났다.
IEEE Access 논문은 엔비디아(NVIDIA)가 공식 통계를 바탕으로 공개한 한국인 합성 페르소나 데이터셋 ‘Nemotron-Personas-Korea’를 활용했다. 김환 교수는 이 페르소나를 Gemini와 EXAONE에 입혀 모델별 약 8,000명의 AI 가상 패널을 생성하고, 정보통신정책연구원(KISDI)의 ‘한국미디어패널조사’를 재현했다. 분석 결과 응답은 실제 조사와 평균 14~19%포인트 유의미한 차이가 났고, 실제 자료 일부로 보정해도 그 자료만으로 직접 추정한 값보다 정확하지 않았다.
김환 교수는 “AI가 생성한 응답이 겉보기에 정교하더라도, 실제 사람의 답변을 완전히 대체하기에는 여전히 한계가 있다”며 “학생들이 LLM의 결과를 검증하는 역량을 갖출 수 있도록 이번 연구 성과를 대학원 AI융합기술학과와 AI융합대학 수업에 적극 반영할 계획”이라고 말했다.
[ⓒ 대학저널. 무단전재-재배포 금지]
