최근 발표된 두 연구는 챗GPT의 정확도가 떨어지고 있다고 지적합니다. 답변은 사람처럼 정교해지고 있지만 사실관계가 틀리는 경우가 많아지고 있습니다. 과학자들은 이런 응답 품질 저하의 원인을 파악하지 못했습니다.

스탠퍼드 대학교와 UC 버클리 연구진은 18일(현지시간) 챗GPT 응답이 시간에 따라 어떻게 변화했을까?(How is ChatGPT's behavior changing over time?)라는 논문을 발표했습니다. 그들은 긍정적으로 개선되지 않았다고 밝혔습니다. 

연구는 챗GPT에서 드리프트(Drift)가 발생했는지 분석했습니다. 특정 요인에 의해 모델이 점차 열화되는 현상을 의미합니다. 대중에 공개된 챗GPT 3.5와 GPT 4를 실험 표본으로 삼았습니다. 다양한 과제를 입력해 주어진 명령에 따라 정확히 답변하는지 확인했습니다. 요청한 작업으로는 수학 문제 풀기, 민감한 소재와 관련된 질문, 명령어로 시각적인 추론하기, 코드 생성하기 등이 있었습니다.

연구진은 대형 언어 모델(Large Language Models, 이하 LLM)이 단기간에 크게 변화할 수 있다고 주장합니다. 상시 LLM 품질을 검토할 필요가 있다고 강조했습니다. 예를 들어 2023년 3월 챗GPT4는 소수를 식별해달라는 요청에 98% 가까이 성공했습니다. 그러나 6월에 진행한 동일한 업무는 정확도가 3% 미만이었습니다. 반면 GPT 3.5는 3월과 6월을 비교할 때 소수를 구분하는 역량이 향상되었습니다. 컴퓨터 코드 생성은 3월과 6월 사이 둘 다 실력이 늘었습니다.

인공지능의 변동성은 실질적인 영향을 미칠 수 있습니다. 이달 초 뉴욕대학교 연구진은 JMIR 의학 교육(JMIR Medical Education) 저널에 챗GPT 답변이 인간 전문가와 구분할 수 없는 수준이라는 논문을 공개했습니다. 연구에서 참가자 392명는 환자의 질문과 전문가 답변 10개를 받았습니다. 내용 절반은 인간 의료진이, 나머지는 오픈AI가 제작한 AI 답변이었습니다. 참가자들은 인간과 챗봇의 답변을 잘 구분해내지 못했습니다. 실험은 부정확한 정보를 사실로 받아들일 가능성을 보여주었습니다.

학계 밖에서도 챗GPT의 변화를 알아차렸습니다. 비즈니스 인사이더는 19일 오픈AI 개발자 포럼에서 LLM에 대한 불평을 보고했습니다. 유료 고객이라고 밝힌 한 사용자는 챗GPT가 훌륭한 보조 셰프에서 식기세척기로 전락했다고 표현했습니다.

챗GPT 품질 검증 논문에 저자로 참여한 마테이 자하리아 버클리대학교 연구원은 19일 트위터에 "왜 이런 일이 벌어지는지 알기 정말 어렵다"고 게시글을 올렸습니다. 그는 사람이 지속해서 검토하는 강화학습 방법이 벽에 부딪힌 것일 수 있다고 추측하면서도 단순한 오류일 가능성도 인정했습니다. 

※이 기사는 popsci.com 원문을 바탕으로 작성됐으며, 번역은 파퓰러사이언스코리아 소속 기자가 도왔습니다.

/ 글 Andrew Paul 기자 & 육지훈 기자