몇 달간 과대 광고를 하던 구글과 마이크로소프트(Microsoft, MS)는 앞다투어 바드(Bard)와 챗GPT(ChatGPT) 통합 검색 엔진 빙(Bing)이 24시간 안에 공개될 것이라 발표했다. 언뜻 보기에는 두 빅테크 기업이 공개 시연에서 여러 산업을 전복시킬 잠재력을 지닌 혁신적인 제품을 보여 줄 것 같았다. 하지만 얼마 지나지 않아 짤막한 후기조차 구글 바드의 제안에 드러난 엄청난 결함을 지적했다. 이제 MS가 정밀한 검증을 받을 차례이며 그 결과는 바드만큼은 아니지만 역시 나쁘다.

독립적인 인공지능(AI) 연구원 드미트리 브레튼은 지난 월요일(현지시간) 챗GPT 기반으로 작동하는 빙을 사용하면서 경험한 수많은 명백한 문제들을 자신의 블로그에서 자세히 설명했다. 빙의 체험판에는 정확하지 않은 추천 제품의 세부 정보, 정보가 누락되거나 잘못된 정보를 포함한 여행 중단 세부 사항이 제공되었다. 심지어 겉보기에 단순해 보이는 재무 보고서를 잘못 기재하기도 했는데 빙의 기본 재무 데이터에 대한 AI 요약(브레튼에 따르면 AI에게는 ‘사소한’ 항목이어야 한다)에 난데없이 완전히 잘못된 통계가 포함되어 있었다.

하지만 정확하다고 해도 빙은 단순한 윤리적 보호 수단을 크게 벗어났을 수 있다. PC 월드의 마크 하크만의 보고서에 따르면 AI에게 문화와 관계된 별명을 지어 달라고 했을 때 AI는 하크만의 아이들에게 많은 인종 비하성 답안을 제시했다. 빙은 특정한 별명이 “중립적이거나 긍정적인 반면 다른 별명은 경멸적이거나 불쾌하다.”라고 경고하면서 예시를 제공했지만 그 결과를 분류하는 데는 신경 쓰지 않는 것으로 보였다. 대신에 그저 좋고, 나쁘고, 굉장히 추악한 별명 목록을 줄줄이 생성했다. 

MS 커뮤니케이션 책임자인 케이틀린 룰스턴은 더 버지(The Verge)와의 인터뷰에서 “이번 사전 체험 기간 동안 시스템이 실수할 수 있으며 그에 대한 피드백은 어느 부분이 잘못되고 있는지 파악하는 데 아주 중요하다. 우리는 피드백을 통해 배우고 우리의 모델이 더 나아지도록 도울 수 있다.”라고 말했다.

기업들이 불가피하 그들의 생태계에 “스마트” 챗봇 기능 구현을 서두르는 반면 비평가들은 그러한 기능을 광범위하게 적용하기 전에 윤리적인 문제 등에 대해 논의하고 숙고해야 한다고 주장한다. 뉴욕 탠던 공과대학 부교수인 친메이 헤그데는 AI의 실수에 전혀 놀라지 않았고 MS가 기술을 너무 일찍 선보였다고 말했다.

그는 파퓰러사이언스에 보낸 이메일에 “높은 수준에서 이러한 오류가 발생하는 이유는 챗GPT의 기반이 되는 기술이 확률적(대부분 헤지) 대형 언어 모델이기 때문에 출력에 본질적인 불확실성이 있기 때문”이라고 썼다. “우리는 이러한 AI가 다음에 무엇을 말할 것인지 절대로 확신할 수 없다.”라면서 챗GPT·바드와 같은 프로그램은 농담이나 조리법에 대한 아이디어를 생성하는 것처럼 특정한 답이 없는 작업에는 좋을 수 있지만 역사적 사실이나 논리적 주장을 구성하는 것과 같이 정확성이 요구되는 작업에는 적합하지 않다고 말했다.

브레튼은 자신의 블로그에서 “빙 팀이 부정확한 정보로 가득 찬 이 사전 녹화된 시연 영상 만들고, 마치 좋은 것처럼 자신 있게 세상에 선보였다는 사실에 충격을 받았다.”라면서 “이 속임수가 효과가 있다는 것과 모든 사람들이 검증하려는 노력을 한 스푼도 하지 않고 빙의 과대 광고 열차에 올라탔다는 점에 더 충격을 받았다.”고 적었다.

한편, MS는 사전 체험 기간 동안 빙에 로그인해 신청한 사용자들에 한해 새로운 빙을 경험하도록 하고 있다. 챗GPT 기반 빙은 MS의 엣지 브라우저에서 실행할 수 있으며 개발팀은 추후 다른 브라우저도 지원할 계획이라고 밝혔다.

※이 기사는 popsci.com 원문을 바탕으로 작성됐으며, 번역은 파퓰러사이언스코리아 소속 기자가 도왔습니다. 

/글 ANDREW PAUL & 신희승 기자