[인공지능은 인류를 멸망시킬 수 있을 것인가?에서  계속]

거대한 야망의 사나이

유드코우스키를 만난 지 9년이 지난 어느 날, 탈린은 캠브리지 대학 지저스 칼리지의 식당에서 필자와 식사를 했다. 교회 같은 분위기의 이 식당은 스테인드 글라스 창문, 금색 몰딩, 가발 쓴 사람들을 그린 유화 등으로 장식되어 있었다. 탈린은 묵직한 마호가니 식탁 앞에 앉아 있었다. 그의 복장은 실리콘 밸리에서 일하는 사람들의 전형이었다. 검은색 청바지, T셔츠, 캔버스제 스니커즈화였다. 아치형 원목제 천정이 세어지기 시작하는 그의 금발머리 위로 높이 솟아 있었다.

현재 46세인 탈린은 여러 모로 전형적인 기술 사업가이다. 그는 과학의 발전 덕택에 자신이 앞으로 매우 장수할 거라고 믿고 있다. 물론, 인공 지능이 인류를 멸망시키지 않는다는 전제다. 그의 친구들도 초 인공지능에 대해 그와 같은 걱정을 하고 있다. 페이팔의 공동창업자인 피터 시엘이 세운 재단은 MIRI에 160만 달러를 기부했다. 그리고 2015년 테슬라의 창립자 엘론 머스크는 미래의 생명 연구소에 1000만 달러를 기부했다. 미래의 생명 연구소는 메사추세츠 주 캠브리지에 소재한 기술 안전 단체다.

탈린이 이런 기술 상류 사회로 진입하게 된 계기는 철의 장막이 아직 건재하던 1980년대다. 당시 탈린의 같은 반 친구의 아버지는 정부의 요청으로 소수의 영재들에게 메인프레임 컴퓨터를 조작할 기회를 주고 있었다. 소련이 붕괴하고 에스토니아가 독립하게 되자 그는 비디오 게임 회사를 차렸다. 현재 그는 에스토니아의 수도 탈린에 아내와 여섯 아이 중 막내를 데리고 거주 중이다. 연구자들을 만나야 할 때면, 연구자들을 비행기에 태워 탈린으로 데려오기도 한다.

그의 기부 전략은 그가 하는 다른 일들과 마찬가지로 조직적이다. 그는 인공지능 안전에 대해 나름대로의 방식으로 접근하는 11개 조직에 골고루 기부하고 있다. 그 중 하나라도 제대로 된 해결책을 찾아내기를 바라는 마음에서다. 2012년 그는 초기 지출 약 20만 달러를 투자해 캠브리지 존재적 위험 연구 본부(Cambridge Centre for the Study of Existential Risk, CSER)를 공동 설립했다.

존재적 위험(탈린은 이를 X위험이라고도 부른다)은 인류의 생존을 위협하는 위험이다. CSER의 연구자 20여 명은 인공 지능 외에도 기후 변화, 핵전쟁, 생물학 병기 등을 존재적 위험으로 간주하여 연구하고 있다.

그러나 탈린은 폭주하는 인공 지능의 위험성은 다른 분야와는 비교가 되지 않을 정도로 크다고 말한다. 기후 변화처럼 널리 알려진 위험은 그만큼 많은 사람들이 막을 방법을 연구하고 있다. 그는 사람들이 세계를 정복할 초 인공지능의 위험성도 알아주기를 바란다. 그가 지금 여기 온 것도 학계가 인공 지능 안전 문제를 진지하게 받아들이게 하고자 어느 학회에 출석하기 위함이었다.

우리와 함께 저녁을 먹던 사람들도 그 학회에 출석하는 사람들이었다. 그 중에는 홍콩에서 로봇 공학을 연구하는 여자도 있었고, 1960년대 캠브리지 대학을 졸업한 영국 남자도 있었다. 그 영국 남자는 식탁의 모든 이에게 출신 대학을 물었다. 탈린은 에스토니아 타르투 대학을 졸업했다고 대답했는데, 그 영국 남자는 그 학교 이름을 듣자 이렇다 할 반응을 보이지 않았다. 그리고 그 남자는 뉴스 이야기로 화제를 돌리려고 했다. 탈린은 그를 단호한 눈으로 바라보며 이렇게 말했다. “가까운 미래의 위험에는 관심 없습니다.”

탈린은 화제를 초 인공지능의 위험 쪽으로 끌고 갔다. 얘기하는 상대가 프로그래머가 아닐 때면, 그는 기본적으로 비유를 즐겨 사용한다. 이 경우도 마찬가지였다. 첨단 인공 지능은 마치 인간이 나무를 잘라 버리듯 인간을 처분할 수 있다. 그리고 초 인공지능은 마치 인간이 고릴라를 대하듯 인간을 대할 것이다. 그의 머리 에는 성경의 시편 133편의 다음과 같은 구절이 라틴어로 새겨져 있었다. “보라 형제가 연합하여 동거함이 어찌 그리 선하고 아름다운고.” 그러나 탈린은 미래의 인류가 악당 초 인공지능과 연합해야 한다는 생각은 전혀 하고 있지 않았다.

캠브리지 출신 영국인은 인공 지능이 세계를 지배하려면 몸이 필요하다고 말했다. 물리적인 실체가 없는데 어떻게 물리적 지배력을 갖출 수 있는가? 탈린은 기다렸다는 듯이 또 다른 비유를 풀어냈다. “저는 지하실에 갇혔다고 해도, 인터넷 연결이 되는 컴퓨터만 있다면 엄청난 범죄를 저지를 수 있습니다.”

룸바(로봇 청소기)나 지구를 정복할 초 인공지능이나 모든 인공 지능은 목표를 따라 움직인다. 프로그래머가 인공 지능에 목표를 부여하고, 그 목표를 이루는 동안 준수해야 할 규칙들을 부여한다. 그러나 첨단 인공 지능은 지구를 정복하라는 목표를 부여받지 않고도, 실수로 그 목표를 달성할 수 있다. 그리고 컴퓨터 프로그래밍의 역사를 보면 작은 오류가 엄청난 비극을 초래한 사례가 얼마든지 있다. 한 예로 지난 2010년에는 개방형 투자신탁 기업인 <워델 앤 리드>사의 어느 트레이더가 향후 계약 수천 건을 팔아버린 사례가 있었다. 이 회사의 소프트웨어가 거래 실행 알고이즘에서 핵심 변수를 빼 버린 것이다. 그 결과 무려 1조 달러 규모의 미국 금융상품 급락이 일어났다.

탈린이 지원하는 연구자들은 초인적인 인공 지능의 보상 구조가 올바르게 프로그래밍 되어 있지 않다면, 무해한 목표를 부여하더라도 비극적인 결과가 초래될 수 있다고 보고 있다. 옥스퍼드 대학의 철학자 닉 보스트롬의 책 <슈퍼인텔리전스>에 나온 예시가 그 좋은 사례다. 가급적 많은 종이 클립을 만들라는 가상의 인공 지능은, 인체의 원자들을 끌어 써서 종이 클립 생산의 재료로 사용하는 것이 좋다는 결론을 내린다는 것이다.

이러한 탈린의 관점은 많은 비난을 받고 있다. 심지어 인공 지능의 안전성을 우려하는 사람들 중 일부도 그 비난에 동참하고 있다. 인간이 제대로 이해할 수 없는 초 인공지능을 벌써부터 상정하고 걱정하는 것은 시기상조라는 반론도 있다. 또한 일각에서는 이건 진짜 시급한 문제로부터 시선을 돌리기 위한 악당 기술자들의 음모라고 주장하기도 한다. 알고리즘 중 대부분이 백인의 손으로 만들어져, 백인들의 편견이 개입되는 등의 문제를 해결하는 것이 더욱 시급하다는 것이다. 인공 지능 안전 및 기타 여러 문제에 대한 다중 투자 조직인 <파트너십 온 AI>(이 곳의 회원 연구소 다수는 탈린의 지원을 받고 있다)의 대표인 테라 라이언스는 이렇게 말한다. “가까운 시일 내에 해결할 수 없는 문제들이 가득한 살기 싫은 세상을 구축하는 것이야말로 위험한 일이다.” 그러나 그녀는 이렇게 덧붙인다. “알고리즘 속 편견 등 오늘날 연구자들이 직면하고 있는 문제야말로 초 인공지능 문제의 전조일 수 있다.”

탈린은 그렇게 생각하지 않는다. 그는 초 인공지능의 위험은 매우 독창적일 거라고 반박한다. 그는 인공지능 연구 학계가 1940년대 반핵 운동의 전례를 따르기를 바란다. 히로시마와 나가사키에 원자폭탄이 투하되는 와중에, 과학자들은 추가 핵실험을 제한하고자 연대했다. “맨하탄 프로젝트에 참가한 과학자들은 이렇게 말했을 것이다. ‘우리는 엄청난 혁신 기술을 만들어냈다. 혁신 기술은 언제나 옳다. 그러니 더욱 더 강하게 진행시켜야 한다.’ 그러나 그들은 자신들이 만든 혁신 기술에 매우 큰 책임을 져야 했다.”

중요한 불확실성

우리는 과연 인공 지능을 통제할 수 있을까? 휴 프라이스, 탈린, 마틴 리스는 CSER을 창설해 그 가능성을 알아보고자 했다.

탈린은 인공 지능 안전 문제에 제대로 답을 내기가 어렵다고 경고한다. 인공 지능이 일정 수준 이상일 경우, 그 제작자들이 설정한 제한도 잘 알아챌 것이기 때문이다. 그는 이렇게 말한다. “인간이 초 인공지능을 아무리 억제하려고 해도 5살짜리 맹인 아이들이 설계한 감옥에 정상인 성인을 가두려는 짓이나 별반 차이가 없을 수 있다.”

이론가인 유드코우스키는 지난 2002년부터 이러한 지적의 타당성을 입증하는 증거를 찾고 있다. 같은 해 그는 채팅 세션을 진행했다. 여기서 그는 상자에 갇힌 인공 지능의 역할을 연기했다. 그리고 다른 사람들은 돌아가면서 이 인공 지능을 가두는 간수 역할을 맡았다. 평범한 인간인 유드코우스키는 이들 간수에 맞서 5번 탈출을 시도해서 3번 성공했다고 한다. 그러나 이 실험을 본 연구자들은 기죽지 않고 더 나은 상자를 설계했다.

탈린이 지원하는 연구자들은 다양한 전략을 연구 중이다. 그 중에는 지극히 현실적인 것도 있고, 너무 멀리 나간 것도 있다. 그 중에는 인공 지능을 가두자는 이론이 있다. 가두는 방식은 물리적인 구조물을 만들어 그 밖으로 나가지 못하게 하는 물리적 방식도 있고, 프로그래밍을 통해 제한을 걸어버리는 전자적 방식도 있다. 또는 인공 지능에 인간의 가치관을 교육시키자는 주장도 있다. 최후의 순간을 위한 정지 스위치를 만들어 넣자는 의견도 있다. 옥스퍼드 대학의 인류 미래 연구소(이하 FHI) 소속 수학자 겸 철학자인 스튜어트 암스트롱은 이 3가지 방식을 모두 탐구하는 연구자다. 탈린은 그 연구소를 가리켜 우주에서 제일 흥미로운 장소라고 한다. 그는 그 연구소에 31만 달러 이상을 투자했다. 암스트롱은 풀타임 전일제로 인공 지능 안전을 연구하는 전 세계적으로도 매우 드문 연구자 중 하나다.

옥스퍼드의 어느 카페에서 그를 만나 커피를 마셨다. 칼라 단추를 잠그지 않은 럭비 셔츠를 입고, 엉클어진 모래색 머리카락 아래 창백한 얼굴을 한 그의 모습은 평생을 스크린만 바라보며 살아온 사람의 모습이었다. 그는 대중문화와 수학을 현란하게 섞어가며 설명을 했다. 인공 지능 안전을 달성할 수 있을 것인가를 묻자 그는 이렇게 말했다. “레고 무비를 본 적이 있는가? 모든 부분이 다 멋지다.”

암스트롱의 연구 중에는 일명 <오라클(신탁)> 인공 지능을 가두려는 시도에 관한 것도 있었다. 그는 FHI의 공동설립자인 닉 보스트롬과 지난 2012년 공저한 논문에서, 초 인공지능을 물리적인 구조물 속에 감금할 뿐 아니라, 묻는 말에만 답할 수 있게 하는 무형의 제약도 걸어야 한다고 주장했다. 마치 매우 똑똑한 위자 보드처럼 다루어야 한다는 것이다. 그러나 이러한 제약을 걸어놓아도 매우 강력한 인공 지능이라면 그 질문자들을 은밀히 조종하여 인류의 운명을 바꿀 수 있다. 그럴 가능성을 막기 위해 암스트롱은 대화 자체에 제한을 두자고 제안했다. 현재의 세계 질서를 뒤집을 수 있는 질문을 금지하자는 것이다. 그는 또한 인공 지능에 다우존스 산업 평균이나 도쿄 건널목을 건너는 사람들의 수 등 인류 생존에 관련된 대리 측정값을 꾸준히 제시할 것도 제안했다.

그리고 궁극적으로는 <크고 붉은 강제 종료 스위치>(그의 논문에 나오는 표현이다)를 만들어야 할 것이라고 암스트롱은 내다보았다. 그것은 물리적인 스위치가 될 수도 있고, 인공 지능의 반란 등 유사 시 자동적으로 작동되게 만들어진 프로그래밍이 될 수도 있다. 그러나 그런 스위치를 설계하는 것은 결코 쉽지 않다.

자기 보호 본능을 지닌 첨단 인공 지능이라면 그런 버튼이 작동되는 것을 막으려 할 것이다. 게다가 인간들이 왜 그런 것을 만들었는지, 그것을 작동시키면 어떻게 될지 모르지만 결국은 그 스위치를 무력화하려 할 수도 있다. 지난 2013년 프로그래머 톰 머피 7세는 NES(Nintendo Entertainment System, 닌텐도 엔터테인먼트 시스템) 전자 오락기용 게임을 독학할 수 있는 인공 지능을 만들었다. <테트리스>에서 지지 않으려 한 그 인공 지능은 일시 정지 버튼을 눌러 게임을 중단시키는 길을 선택했다. 머피는 그 인공 지능에 관한 논문을 쓰면서 이런 말을 넣었다. “솔직히 말해, 지지 않는 유일한 길은 게임을 하지 않는 것뿐이었다.”

따라서 우리의 전략이 성공하려면, 인공 지능은 강제 종료 버튼에 관심이 없어야 한다. 탈린의 표현을 빌면 “인공 지능은 자신이 존재하는 세계와 존재하지 않는 세계를 동일하게 여겨야 한다”는 것이다. 그러나 여기까지 연구자들이 해결했다 하더라도 또 다른 문제가 남는다. 인공 지능이 인터넷 상에서 스스로를 수천 번이나 자기 복제한다면 어떡할 것인가?

연구자들이 가장 관심을 갖는 해결법은 인공 지능이 인간의 가치관을 지키도록 하는 것이다. 단, 인간의 가치관은 프로그래밍 시켜서는 안 되며, 인공 지능이 스스로 학습하게끔 해야 한다. 정당 정치가 지배하는 사회에서 사람들은 여러 가치관이 충돌하는 상황을 마주하는 경우가 많다. 그러나 탈린은 사람들이 공유하는 가치관이 있다고 지적한다. “거의 모든 사람들은 오른쪽 다리를 중요하게 여긴다. 우리가 미처 생각지 못한 부분이다.” 이런 불변의 규칙을 알아내도록 인공 지능을 교육시키는 데 희망이 있다.

그 과정에서 인공 지능은 인간의 비합리적인 부분을 배우고 인정해야 한다. 예를 들면 때에 따라 말이 달라지는 점이나, 타인과의 취향 충돌, 술에 취했을 때 믿을 수 없어지는 부분 등이 그것이다. 인간들이 앱과 소셜 미디어에 남긴 데이터들이 그런 부분에 지침이 되어줄지도 모른다. 탈린은 어떤 문제가 있더라도 우리는 인공 지능을 길들여야 한다고 생각한다. 그러지 않을 경우 너무 위험이 크기 때문이다. “몇 수 앞을 내다봐야 한다. 인류와 같은 관심사를 갖지 않는 인공 지능을 만드는 것은 끔찍한 실수다.”

탈린이 캠브리지에서 보낸 마지막 밤에, 나는 영국식 스테이크 하우스에서 그와 다른 두 연구자와 함께 저녁을 먹었다. 웨이터는 우리 일행을 동굴처럼 만들어진 벽이 새하얀 자리로 안내했다. 그가 우리에게 보여준 1페이지 메뉴판에는 세 종류의 으깬 감자가 나와 있었다. 우리 옆 테이블에는 커플이 앉아 있었는데, 잠시 후 여자가 다른 곳으로 옮겨 달라고 웨이터에게 부탁했다. “밀실 공포증이 올 것 같아요.” 지하실에 갇혀 있어도 인터넷에만 연결되어 있으면 세상에 피해를 입힐 수 있다던 탈린의 말이 생각났다. 우리도 지금 상자 안에 갇혀 있다. 사람들은 약속이라도 한 듯이 나갈 길을 두리번거리며 찾기 시작했다.

“인간 지능을 능가하는 일반 인공 지능이 나올 경우를 대비하는 것이야말로 인류가 가장 우선적으로 해결해야 할 숙제이다.”

-얀 탈린

탈린이 데려온 손님 중에는 유전학 연구자 출신으로 현재 CSER의 소장을 맡고 있는 션 오 하이지아타이가 있었다. 그리고 코펜하겐 대학의 인공 지능 정책 연구자인 마티스 마스도 있었다. 이들은 <초 인공지능 대 블록체인>이라는 제목의 우스꽝스러운 액션 영화를 만들자며, 그에 대한 의견을 교환하며 웃었다. 그리고 보스트롬의 책에서 시나리오를 따 온 온라인 게임 <유니버설 페이퍼클립>에 대해서도 이야기를 나누었다. 이 게임은 마우스 클릭을 반복적으로 해야 종이 클립을 생산하게 된다. 겉모습이 번지르르한 게임은 절대 아니지만, 이걸 하다보면 인공 지능이 더욱 효율적인 종이 클립 생산 방식을 찾는 이유를 알 수 있다.

결국 화제는 더 큰 것으로 옮겨졌다. 탈린이 있는 자리에서는 흔한 일이었다. 캠브리지 대학의 철학자이자 CSER의 공동 창립자인 휴 프라이스가 말한 바와 같이, 인공 지능 안전 연구의 최종 목적은 초인적인 도덕률과 인지력을 지닌 인공 지능을 만들어내는 것이다. 물론 이런 질문을 던지는 사람들도 있다. 인공 지능이 인류를 지배하는 것이 싫다면, 인류가 인공 지능을 지배하는 것은 괜찮은가? 바꿔 말하면 인공 지능에도 인권이 있지 않은가? 하는 의문이다. 탈린은 그런 것이 쓸데없는 의인화라고 말한다. 그것은 지능을 의식과 동일시하는 것으로, 많은 인공 지능 연구자들을 짜증나게 하는 잘못된 개념이라는 것이다. 그날 일찍 CSER 연구자 호세 헤르난데스 오랄로는 “이 업계에서는 ‘의식’도 ‘자유 의지’도 모두 금지어다”고 농담을 했다.

탈린은 저녁식사 자리에서 의식은 중요한 게 아니라고 말했다. “온도계의 예를 들어 보자. 온도계에는 의식이 없다. 하지만 영하 30도의 방에 있다면 온도계를 보는 것 자체가 불쾌하지 않겠는가.”

오 하이지아타이도 말했다. “인공 지능의 의식을 걱정하는 것은 멋있어 보일지도 모르지만, 기술적인 안전 문제를 먼저 해결하지 못하면 그런 걱정은 사치일 뿐이다.”

탈린은 사람들이 초 인공지능의 개념 자체에 지나치게 빠져 있다고 지적한다. 초 인공지능은 어떤 형태가 될 것인가? 하나의 인공 지능, 또는 다수의 인공 지능이 인류를 정복하는 사태 중 어떤 것에 대비해야 하는가? 그는 “우리는 인공 지능의 형식보다는 능력을 중요시해야 한다고 생각한다.”고 강조한다. 그리고 적어도 지금으로서는 주도권은 인간에게 있다고 그는 믿는다.