[서울경제 파퓰러사이언스 정승호 기자]

언론의 선정적인 보도에도 불구하고, 객관적인 데이터를 보면 오늘날 전 세계 인류는 과거보다 더 긴 평균수명을 살아가면서 질병에 덜 걸리고 더 많은 식량을 먹고 있으며 더 긴 시간동안 교육을 받고 있다. 또한 문화생활을 즐길 기회도 늘어났으며 전쟁, 살인, 사고로 죽을 확률도 줄어들었다.

그런데도 절망하는 사람들은 늘 있다. 비관론자들은 더 많은 사람들이 더욱 나은 삶을 누리고 있음을 인정하면서도 언제나 반박을 준비하고 있다. 우리는 파멸을 향해 달려가고 있다는 것이 그들의 주장이다. 마치 고층건물 옥상에서 몸을 날린 사나이가 지면을 향해 곤두박질치면서 “아직까지는 기분 좋군”하는 것과 다를 바가 없다는 것이다. 어떤 이는 러시안 룰렛에 비교하기도 한다.

죽을 확률이 갈수록 높아지고 있다는 것이다. 또 어떤 이는 인류가 검은 백조의 공격을 받을 거라고 말한다. 검은 백조란 위험의 통계적 분포 끝에 나타나는 4시그마 사건을 지칭하는 말로 확률은 매우 낮지만 일어날 경우 엄청난 타격을 입힌다.

지난 50년 동안 현대 사회를 위협하는 <요한계시록의 4기사>로 거론되어 온 것은 인구 과잉, 자원 부족, 오염, 핵전쟁이었다. 얼마 전에는 여기에 새로운 멤버들이 다수 추가됐다. 인류를 집어삼킬 나노봇, 인류를 노예화시킬 로봇, 인류를 자원으로 변화시킬 인공지능, 집에서 대량학살 바이러스를 개발하거나 인터넷을 붕괴시킬 수 있는 불가리아 청소년들이 그들이다.

과거에는 낭만주의자들과 러다이트 운동가들이 기술로 인한 인류 멸망의 위험성을 경고했다. 그러나 오늘날의 첨단 기술의 위험성을 경고하는 이들 중에는 과학자들과 기술자들이 많다. 이들은 인류가 곧 종말을 맞게 될 방법을 예견하는 데 비상한 재주가 있다.

지난 2003년 천체물리학자 마틴 리스는 <인간생존확률 50:50(원제 Our Final Hour)>이라는 책을 냈다. 그는 이 책에서 “인류는 자멸할 가능성이 있다”고 경고했다. 그리고 장래 인류가 우주의 미래를 위태롭게 할 시나리오 10여 가지를 제시했다. 예를 들어 입자가속기 실험은 지구를 먹어치울 블랙홀을 생성할 수 있다. 또는 압축된 쿼크로 이루어진 기묘체를 만들지도 모른다. 이 기묘체는 우주의 모든 물질을 먹어치운 다음에 사라질 것이다.

리스는 그 외에도 여러 가지 격변론을 제시했다. 이 책의 아마존 페이지에는 이런 글이 적혀 있다. “이 책을 보신 소비자들은 <Global Catastrophic Risks Our Final Invention(지구 대격변 위험)> <Our Final Invention: Artificial Intelligence and the End of the Human Era(인류 최후의 발명: 인공 지능과 인류 시대 종말)> <The End: What Science and Religion Tell Us About the Apocalypse(종말: 과학과 종교는 종말에 대해 무엇을 말하는가)> <세계대전 Z> 등도 보셨습니다” 기술 독지가들은 기존의 위협을 발견하고, 지구를 구할 방법을 알아내는 데 특화된 연구소에 자금을 지원하고 있다. 그런 연구소들 중에는 <인류 미래 연구소> <미래 생활 연구소> <현존 위험 연구 센터> <세계 대격변 위험 연구소> 등이 있다.

인류의 진보 뒤에 숨은 위험을 어떻게 생각해야 할까? 누구도 대격변은 절대 없다고 말할 수 없다. 그것은 이 글 역시 마찬가지다. 기후 변화와 핵전쟁 위험은 중요한 세계적 문제다. 물론 아직 해결되지 않았지만 해결은 가능하다. 탈탄소화와 탈핵을 위한 장기 로드맵이 준비되어 있고 또 현재 실행 중이다. 현재 세계의 GDP 1달러당 이산화탄소 배출량은 과거보다 적어졌다. 전세계의 핵무기 보유량도 85%나 줄어들었다. 물론 파국을 확실히 피하려면 이산화탄소도 핵무기도 모두 제거해야 할 것이다.

그러나 이러한 실질적인 문제 위에는 좀 덜 구체적인 시나리오들도 있다. 여러 기술 평론가들은 인류가 자의로건 타의로건 인공지능(AI)의 노예가 될 위험이 있다고 말한다. 영화 <터미네이터> 등에서 묘사된 이러한 재난을 로보포칼립스라고 부른다. 똑똑한 사람들 중에는 이 가능성을 꽤 진지하게(한편으로는 약간은 위선적으로) 받아들이는 이들이 있다. 엘론 머스크는 인공지능 자율주행자동차를 만드는데도 인공지능이 핵보다 더 무섭다고 말했다. 스티븐 호킹은 인공지능이 인류를 멸망시킬 수 있다고 인공지능 신디사이저를 사용해 말했다. 그러나 인공지능 분야 및 인간 지능 분야의 전문가들 대부분은 인공지능을 전혀 두려워하지 않는다.

사람들이 로보포칼립스를 믿는 것은 지능에 대한 개념을 어설프게 알고 있기 때문이다. 즉, 현대 과학에 대한 이해보다 존재의 거대한 고리, 니체식의 권력에 대한 의지를 우선시하여 지능을 바라보았기 때문이다. 이런 시각으로 본 지능은 소원을 들어주는 강력한 마법의 약이다. 이 약은 개체마다 가지고 있는 양이 다르다. 사람은 동물보다 더 많이 가지고 있고, 미래의 인공지능 컴퓨터나 로봇은 사람보다 더 많이 가지게 될 것이다.

인간은 덜 축화된 동물을 축화시키거나 멸종시켜 버렸다. 그리고 기술 수준이 높은 인간 사회는 기술 수준이 낮은 사회를 노예로 삼거나 절멸시켜 버렸다. 때문에 인간보다 지능이 높은 인공 지능 역시 인간에게 똑같은 짓을 한다는 것이다. 인공지능은 인간보다 생각의 속도가 수백만 배는 빠르고, 일단 전원을 켜면 초지능을 사용해 자신의 초지능을 재귀적으로 향상시킬 수 있을 것이다. 때문에 일단 인공지능이 작동하기 시작하면 인간이 멈출 수 없다는 것이다. 인공지능으로 인한 이러한 인류 멸망 시나리오를, 만화책의 의성어를 따서 품(foom)이라고 부른다.

그러나 잘 생각해 보면, 이 시나리오는 “제트 비행기는 독수리보다 비행속도가 빠르기 때문에 언젠가는 모든 새들을 먹어치우고 결국에는 지상의 동물들까지 잡아갈 것”이라는 식의 주장과 크게 다를 바가 없다. 첫 번째 오류는 지능과 동기를, 그리고 신념과 욕망을, 추론과 목표를, 사고와 소망을 혼동한 것이다. 설령 초인적인 지능을 갖춘 로봇을 만들었다고 해도, 그 로봇이 왜 인류를 노예로 만들거나 지구를 정복하고픈 욕구를 느껴야 하는가? 지능은 목표에 도달하기 위해 새로운 수단을 사용하는 능력이다.

그러나 목표는 지능과 직접 관련이 없다. 지능은 욕구와 다르다. 인간이 지능과 욕구를 동시에 가지게 된 것은 인간이 다윈식 자연 선택, 즉 경쟁을 통해 진화해 온 생물이기 때문이다. 인간의 두뇌에서는 추론이 목표(경쟁자를 제압하거나 자원을 독차지하는 등)와 결합되어 있다. 그 결합 정도는 개체에 따라 다르지만 말이다. 그러나 특정 영장류의 변연 뇌 속 회로를 지능의 본질과 헛갈려서는 안 된다. 인공지능 체계는 진화한 것이 아니라 알 캡의 만화 <릴 애브너>에 나오는 통통한 이타주의자 캐릭터인 슈무스처럼 생각하게끔 설계된 것이다. 슈무스는 자신의 살을 구워 인간들에게 먹으라고 내어 준다. 지능을 지닌 개체가 반드시 무자비한 정복자가 된다는 복잡계 법칙은 없다.

두 번째 오류는 인공지능을 어떤 문제나 풀 수 있고 어떤 목표에도 도달할 수 있는 무한한 힘의 연속체이자 기적의 만병통치약으로 본 것이다. 이러한 오류 때문에 “만약 인공지능이 인간을 능가하면 어쩌나” 식의 타당하지 않은 질문이 나왔고, 신과 같이 전지전능한 인공 일반 지능(Artificial General Intelligence, AGI)을 상상하게 된 것이다. 지능은 도구들로 이루어진 기계장치다. 다양한 영역의 다양한 목표를 달성하기 위해 지식을 획득하도록 프로그래밍된 소프트웨어 모듈인 것이다. 인간은 음식을 찾고, 친구를 얻고, 다른 사람들에게 영향력을 행사하고, 배우자가 될 수 있는 사람을 유혹하고, 아이를 낳아 기르고, 세계 곳곳을 돌아다니고, 타인의 취향과 집착을 추종하도록 프로그래밍되어 있다. 컴퓨터는 이러한 인간의 목표 중 일부는 맡아 하지만(타인의 얼굴 인식 등), 일부는 건드리지 않고(배우자가 될 수 있는 사람을 유혹) 인간이 도저히 풀 수 없는 문제(기후 시뮬레이션이나 수백만 건에 이르는 회계 기록 정리)를 도맡을 것이다.

해결해야 하는 여러 문제들은 서로 다르고 해결하는 데 필요한 지식도 다르다. 라플라스의 악마는 우주 속 모든 입자의 위치와 운동량을 알고 있어 이를 물리학 법칙에 대입, 그 미래 상태를 계산해낼 수 있는 신화 속 존재다. 그러나 현실 속의 지성체는 라플라스의 악마처럼 움직일 수 없다. 한 번에 한 영역씩 부딪치면서 여러 개체와 인간으로 이루어진 혼란스러운 세계에 대한 정보를 얻어야 한다. 이해는 무어의 법칙을 따르지 않는다. 지식이란 설명을 구성하고 그 설명을 현실에 적용시킴으로서 얻는 것이지, 알고리즘을 빠르게 실행시킨다고 얻는 것이 아니다. 인터넷에 있는 모든 지식을 다 확보한다고 해서 모든 것을 다 알게 되는 것은 결코 아니다. 빅 데이터도 결국 한계는 있는 반면에 지식의 세계는 무한하기 때문이다.

이런 이유들 때문에, 많은 인공지능 연구자들은 인공지능이 인류를 멸망시킬 수 있다는 식의 주장에 짜증부터 내는 것이다. 그런 주장을 하는 사람들은 인공 일반 지능이 곧 완성될 거라고 믿고 있다. 그러나 필자가 알기로는, 인공 일반 지능을 만들려는 프로젝트는 아직 없다. 일단 상업적 이익이 확실히 담보되지 않는데다가, 그 개념 자체가 매우 비논리적이기 때문이다. 분명 2010년대에는 자동차를 운전하고, 사진에 설명을 달고, 사람 말을 알아듣고, 바둑과 아타리 컴퓨터 게임에서 인간을 이기는 인공 지능 시스템이 나왔다. 그러나 이러한 발전은 지능의 작용을 더 잘 이해해서 얻은 것이 아니라, 더욱 강력한 칩과 더 많은 데이터를 확보해 프로그램에 수백만 건의 사례를 학습시켜 이와 유사한 실제 상황을 쉽게 일반화할 수 있었기에 가능했던 것이다. 각 시스템은 멍청한 하인이다. 즉, 해결할 준비가 되지 않은 문제는 해결하지 못한다. 문제에 대한 숙련도가 얼핏 높아 보이지만, 알고 보면 어설프다. 사진에 해설을 다는 프로그램은 추락하기 직전의 항공기를 찍은 사진을 보고 “항공기가 활주로 위에 주기되어 있다”는 해설을 달았다. 게임 진행 프로그램은 채점 규칙을 약간만 바꾸어도 당황한다. 물론 프로그램은 앞으로도 계속 발전하겠지만, 이래 가지고서는 <품>을 일으킬 징후가 안 보인다. 그리고 하다못해 현재까지 자신이 개발된 연구소를 정복한다거나, 그 프로그래머들을 노예로 만들려고 시도라도 해 본 인공지능은 없다.

설령 AGI가 의지를 행사하기 위해 움직인다고 해도, 인간의 도움 없이는 그냥 전자 두뇌에 불과하다. 컴퓨터공학자 라메즈 남은 다음 글에서 품, 기술적 특이점, 기하급수적인 자체 발전에 대한 허상을 파괴한다.

당신이 일종의 마이크로프로세서(아마 수백만 개가 필요할 것이다)를 실행하는 초지능 인공지능이라고 가정하자. 어느 순간 더욱 빠르고 강력한 마이크로프로세서를 설계할 수도 있을 것이다. 그러나 문제가 생긴다. 그 마이크로프로세서는 당신이 직접 생산해야 한다. 그리고 그 생산 공장을 돌리려면 엄청난 에너지가 필요하다. 또한 생산에 필요한 재료도 세계 각지에서 수입해 와야 한다. 또한 공장 내부 환경은 에어록, 필터, 기타 특수 장비를 이용해 고도로 통제해야 한다. 획득, 이동, 통합, 공장 건설, 발전소 건설, 시험, 생산 등 모든 과정에 시간과 에너지가 필요하다. 현실 세계가 뒷받침해주지 않으면 인공 지능의 자가 초월도 불가능한 것이다.

현실 세계는 여러 디지털 아포칼립스를 막아 준다. HAL이 건방져지면 데이브가 스크류드라이버로 저지할 수 있다. 그러면 HAL은 <두 사람을 위한 자전거(A Bicycle Built for Two)>를 혼자서 애절하게 부를 수밖에 없다. 물론 누구나 악의와 엄청난 힘을 가지고, 언제나 전원이 들어와 있으며 누구의 방해도 받지 않는 인류 종말 컴퓨터를 상상할 수는 있다. 하지만 그런 컴퓨터를 막는 방법은 너무나 간단하다. 그런 컴퓨터를 만들지 않으면 된다.

이로서 악당 로봇들의 등장 가능성은 진지하게 받아들이기에는 너무 시시해졌다. 그러나 실존주의자들은 새로운 디지털 아포칼립스의 가능성을 찾아냈다. 여기서 주인공은 프랑켄슈타인이나 골렘 같은 것이 아니라 3가지 소원을 들어주는 지니다. 이 3가지 소원 중 3번째 소원은 첫 번째와 두 번째 소원을 무효화시키는 것이다.

또는 음식과 가족들까지 금덩어리로 만들어버린 자신의 능력을 무효화하려는 마이다스 왕이 주인공이 될 수도 있다. 이러한 위험을 가치 정렬 문제라고 부른다. 인간이 인공지능에게 목표를 부여하고 방임할 경우, 인공지능이 그 목표를 문자 그대로 해석하고 그 외의 다른 모든 것을 무시하면서 무자비하게 실행한 결과 인간에게 해악을 끼칠 수 있다는 것이다.

예를 들어 인공지능에게 수위를 댐의 높이보다 언제나 낮게 유지하라는 목표를 제시했다고 치자. 그 경우 인공지능은 이 목표를 달성하기 위해 댐의 수문을 열어 물을 방류하고, 그 결과 마을이 물에 잠기고 사람들이 익사해도 신경 쓰지 않을 수 있다는 것이다. 또 다른 예를 들어보자. 인공지능에게 서류 클립을 만들라는 목표를 제시할 경우, 그 인공지능은 구할 수 있는 모든 재료를 가지고 서류 클립을 만들 것이며, 이 재료에는 인간의 재산과 신체까지도 갈려 들어갈 수 있다는 것이다.

인공지능에게 인간 행복을 극대화하라는 목표를 제시할 경우, 그 인공지능은 모든 인간의 정맥에 도파민 주입기를 이식하거나, 인간들의 뇌를 개조해 냄비 위에 앉으면 최고의 행복감을 느낄 수 있게 할지도 모른다. 이 인공지능에게 미소짓는 얼굴 사진으로 행복이라는 개념을 가르쳤다면, 그 인공지능은 온 우주를 무수한 미소짓는 얼굴의 나노 사진으로 도배하려 할지도 모른다는 것이다.

물론 이런 시나리오는 필자가 지어낸 것이 아니다. 이것들은 진보된 인공 지능이 인류에게 가할 수 있는 실존적 위험을 묘사한다는 것들이다. 그러나 다행히도 이들은 자체 반박이 가능하다. 이 시나리오들이 성립하려면 두 가지 전제가 필요하다.

(1) 인간은 전지전능한 인공지능을 만들 재주는 있지만, 작동 실험도 한 번 안 해 보고 그 인공지능에게 온 우주를 마음대로 주무를 권한을 줄 만큼 멍청하다.

(2) 이 인공지능은 원자를 마음대로 가공하는 것은 물론 인간 뇌도 개조할 수 있을 만큼 성능이 뛰어나지만, 아주 근본적인 실수인 오해를 막지 못해 파국을 초래할 만큼 멍청하다.

지능이 뭔가? 상충하는 여러 목표들을 가장 잘 만족시키는 선택지를 찾아내는 능력 그 자체다. 엔지니어들이 인공 지능을 만들다가 쉽게 잊을 만한 첨가물이 아니란 말이다. 따라서 지능은 언어 사용자가 문맥에 드러낸 의도를 해석하는 능력이다. 로봇에게 “웨이터를 데려오게”라고 명령했더니 웨이터를 자기 머리 위로 번쩍 들어다가 데려오고, “조명을 끄게”라고 명령했더니 권총을 쏴서 전등을 깨 버리는 일은 <겟 스마트> 같은 TV 코미디 방송에서나 허용되는 일이다.

지식이란 설명을 구성하고 그 설명을 현실에 적용시킴으로서 얻는 것이지, 알고리즘을 빠르게 실행시킨다고 얻는 것이 아니다.

품, 디지털 과대망상증, 즉각 전지성, 우주의 모든 분자에 대한 완벽한 제어 등을 배제한다면, 인공지능은 다른 기술과 다를 바가 없다. 점진적으로 발전되면서 한 번에 다양한 조건을 만족시킬 수 있게 설계되었고 실사용 전에 시험을 거치고 효과와 안전성을 높이기 위해 끊임없이 개선된다. 인공지능 전문가 스튜어트 러셀은 이런 말을 했다. “토목 분야의 어느 누구도 ‘절대 무너지지 않는 다리를 만들겠어’ 같은 말을 하지 않는다. 그저 ‘다리를 만들겠어’라고만 할 뿐이다.” 이와 마찬가지로 인공지능 역시 위험보다 혜택이 더 많은 기술일 뿐이다.

확실히 말하건대, 인공지능은 자동화를 통해 직업을 잃을 사람들에게는 더욱 일상에 다가오는 문제를 일으킬 것이다. 그러나 인공지능으로 인한 직업의 소멸은 그리 빨리 일어나지 않을 것이다. 1965년에 나온 NASA 보고서의 다음 구절은 아직도 유효하다. “인간은 비용이 제일 저렴하면서 중량이 68kg 정도 나가는 비선형 다용도 컴퓨터 시스템이다. 또한 비숙련공에 의해 대량 생산될 수 있다.” 자동차 운전은 식기세척기를 비우거나, 심부름을 하거나, 기저귀를 가는 일에 비하면 훨씬 풀기 쉬운 공학적 문제다. 그런데도 이 글이 작성되는 시점에 아직 인류는 도로에 자율주행 자동차를 다니게 할 준비를 못 하고 있다. 로봇이 개발도상국에서도 아이들에게 예방접종을 해주고, 학교를 짓고, 인프라를 구축하고, 노인들을 보살피게 될 때까지는 해야 할 일이 엄청나게 많을 것이다. 소프트웨어와 로봇의 설계에 쓰인 재능은 그런 일들에 유휴 노동력을 투입하는 정부 설계와 민간 부문 정책에도 쓰일 수 있을 것이다.