“우리는 과학이라는 도구를 옳게 쓰고 있는가”
연구와 논문, 저널을 둘러싼 나쁜 과학의 현주소를 고발하다

2018년, 프랜시스 아널드 캘리포니아공대 교수는 생명체의 화학 반응에서 촉매 역할이 되는 효소 단백질의 인공 개량법을 개발한 공로로 노벨화학상을 받았다. 2년 뒤 그는 세계적인 과학 전문 학술지 〈사이언스〉에 실린 자신의 효소 관련 논문을 철회한다고 발표했다. 〈사이언스〉는 아널드 교수의 연구 결과가 재현되지 않을 뿐만 아니라 논문의 제1저자가 연구 노트의 일부를 누락했다는 것을 이유로 들었다. 다행스럽게도 그는 자신의 논문 철회를 인정하며 공개적으로 사과하는 메시지를 전달했다.

2012년 〈플로스 원(PLOS ONE)〉에 발표된 자료에 따르면, 1928년부터 2011년 사이에 철회된 논문이 4,449개에 이른다고 한다. 간단히 살펴보면 그중 의심스러운 데이터/해석이 42퍼센트, 데이터 조작 같은 연구 부정 행위에 따른 철회 비율이 20퍼센트에 달한다. 문제는 시간이 갈수록 각종 저널에 발표된 논문 중 철회되는 논문의 수가 증가하고 있다는 점이다.

이러한 추세를 반영하듯 논문 철회와 관련된 정보를 공개하고 각 과학자들의 논문 철회 횟수를 기준으로 순위를 발표하는 ‘리트랙션 워치(retraction watch)’라는 웹사이트도 등장해 과학계에 대한 자성의 목소리를 높이고 있다. 해당 사이트에서는 일종의 역 노벨상 후보를 발표하듯 논문 철회 횟수를 기준으로 순위를 발표한다. 놀랍게도 모든 철회 논문 중 25퍼센트가 단지 2퍼센트의 과학자들이 발표한 논문이라고 한다.
물론 ‘모든 숫자에는 노이즈가 포함돼 있다’는 자연의 법칙처럼 어떤 연구자든 논문이든 오류를 피할 수는 없다. 프라이밍 현상에 대한 실험(대니얼 카너먼), 파워 포즈 이론(에이미 커디), 스탠퍼드 감옥 실험(필립 짐바르도), 권위에 대한 복종 실험(스탠리 밀그램), 인공 기관지 이식에 관한 연구와 수술(파올로 마키아리니), 인간 배아 복제 실험(황우석), 만능줄기세포(오보카타 하루코) 등이 대표적이다.

대중 과학을 비롯해 최신 연구에 관심 있는 사람이라면 누구라도 알 만한 과학자들이 발표한 논문 중에도 실수나 과장된 자료들이 포함돼 학계를 혼란스럽게 만든 사례는 이제 너무나 흔한 일이다. 문제는 이러한 과학계의 현실을 어떻게 받아들이고 과학 연구를 검증하는 시스템이 지닌 단점을 어떻게 보완해나갈 것인가 하는 점이다. 바로 그런 질문과 함께 과학계의 현주소를 《사이언스 픽션》에서 만날 수 있다.

과학자에게 너무 당연해서 잊힌 명제
“재현되지 않으면 과학이 아니다!”

과학자는 세상 모든 현상에 대한 체계적 지식을 위해 연구한다. 그들은 자신의 연구에 대한 신뢰도와 검정력을 확보해주는 다양한 실험과 데이터를 토대로 결과를 도출해 논문을 쓴다. 해당 연구를 논문에 발표하려면 동료 평가 과정을 거쳐야 한다. 이때 동료 평가자들은 논문에 조작·편향·부주의한 실수·과장은 없는지, 연구에 등장하는 실험이 재현 가능한지(replicability) 등을 검증한다.

“우리 자신이 관찰한 것조차도 반복 관찰되거나 엄격한 테스트를 통과하기 전까지는 새로운 발견이라거나 과학적 관찰이라고 받아들여서는 안 된다.”

이렇게 과학철학자 칼 포퍼가 말했듯, 반복 재현되지 않는 실험 연구는 진정한 과학이라 할 수 없기 때문이다.

논문이 동료 평가를 통과하면 과학 전문 학술지 〈사이언스〉와 〈네이처〉를 비롯해 전 세계 수많은 학회에서 발행하는 저널의 편집자들이 저널에 논문을 실어 발표한다. 이후 논문은 또 다른 과학자들이 인용하는 횟수를 통해 다시 한번 과학적 지식으로서의 가치를 인정받는다. 대표적으로 구글 학술검색에서 과학자들의 논문을 검색해보면 h-지수(n번 인용된 적이 있는 논문을 n편 보유)로 해당 과학자의 연구 성과를 간접적으로 확인할 수 있다. 여기까지가 논문 한 편이 발표돼 과학적 지식으로 거듭나는 과정이다.

“수단이 목표가 되면 길을 잃고 만다”
살라미 슬라이싱, 미끼 저널, 자기 인용, 자기 표절이 만든 논문 대량 생산 시대

스튜어트 리치는 이러한 논문 발표 시스템이 곧 ‘과학이 사회적 구조물’이라는 특성을 드러낸다고 말한다. 과학자, 동료 평가자, 편집자, 그리고 조금 더 확장해 논문을 인용하려는 또 다른 과학자까지, 논문 한 편에 연결된 사람들에 의해 해당 논문은 신뢰할 만한 과학적 지식이라는 타이틀을 얻는다. 동시에 리치는 사회적 구조물이라는 특성이 단점으로 작용할 수도 있다고 지적한다.

논문 발표 횟수로 인센티브를 제공하는 학계의 관행과 과학자로서의 명성을 얻기 위해 나쁜 연구자들이 주도하는 살라미 슬라이싱(salami slicing), 즉 논문 대량 생산 현상이 대표적이다. 실제로 인간의 23쌍 염색체에 대한 분석 결과를 23개의 각각의 단일 논문으로 쪼개거나 항우울제의 효과를 연구한 후 인구 집단별로 실험군과 대조군만 살짝 바꿔 논문을 쪼개 발표한 사례들이 등장한다. 한 예로, 2018년에 심리학자 로버트 스턴버그가 자신이 편집장으로 있던 〈심리과학의 전망〉 저널에서 물러나기도 했다. 자신의 논문을 인용해 저널의 사설을 씀으로써 자신의 h-지수를 올렸다는 것이 이유다. 이에 스튜어트 리치는 “지표 자체가 목표가 되면 더 이상 좋은 지표로서의 기능을 상실한다”고 한 굿하트의 법칙이 과학계에서도 증명되고 있는 셈이라고 말한다.

“연금술과 미신의 도구에서 진실을 추구하는 학문으로 거듭나기까지”
조작, 편향성, 부주의, 과장으로 훼손되기 쉬운 과학 가치 지켜야

리치는 《사이언스 픽션》에서 과학자들을 위한 도덕적 기준을 제시함과 동시에 기술적 기준도 함께 제시한다. 또한 그러한 기준을 충족시키지 못한 과학 논문과 과학자들의 사례를 책 전반에 걸쳐 소개한다. 과학자들이 갖춰야 할 기준으로서 1942년에 사회학자 로버트 머튼이 주창한 네 가지 머튼 규범(Mertonian Norms), 즉 보편주의(universalism), 사심 없음(disinterestedness), 공동체성(communality), 조직적 회의주의(organized scepticism)를 제시한다. 이를 풀어서 말하면 과학적 지식은 인종, 성별, 나이, 성적 취향, 소득, 사회적 배경, 국적 등에 따라 차별적으로 판단되거나 돈, 정치, 이념, 개인적 이해, 명성을 위해 좌우되어서는 안 되며, 과학자들은 모든 지식을 서로 공유하되 각자의 주장을 액면 그대로 받아들여서는 안 된다는 것이다.

한편 과학 연구에서 발생하는 오류, 즉 의도적 조작, 연구자의 편향, 단순한 부주의, 연구를 과장하는 심리에 의해 철회된 논문들의 사례들도 소개한다. 리치는 “왜 무(無)가 아니고 무언가가 있는 걸까?”라는 철학적 질문을 인용하며 ‘연구를 시작하면 항상 무언가를 발견해내는 현상’이 팽배한 과학계의 현실에 대해서도 문제를 제기한다. 대표적으로 가장 흔하게 사용하는 통계값 중 하나인 p-값과 ‘통계적 유의미성’이라는 표현을 예를 들며 과학 연구 과정과 결과가 연구자 개인에 의해 얼마나 좌우될 수 있는지를 설명한다.

성과를 포장해서 발표한 이 시대의 베스트셀러 목록
“과연 과학적으로 신뢰할 수 있는가?”

저자는 이 책에서 에이미 커디(《자존감은 어떻게 시작되는가》의 저자), 캐럴 드웩(《마인드셋》의 저자), 매슈 워커(《우리는 왜 잠을 자야 할까》의 저자), 존 바그(《우리가 모르는 사이에》의 저자) 등과 같은 대중 과학 베스트셀러 저자들이 실제 연구 성과를 과장해 발표하고 있는 현실을 꼬집는다. 정확성도 떨어지고 좋은 내용은 없다는 것이 그의 주장이다.

리치가 제시하는 대안 중 대표적인 몇 가지는, 연구 방법의 타당성이 보장되는 재현 연구를 전문으로 실어주는 〈플로스 원〉과 같은 ‘메가 저널’, 과학 연구 전 과정에 가능한 한 모두가 참여할 수 있는 ‘오픈 사이언스’ 연구, 연구의 가설을 미리 제출해 실험의 목적과 결과를 모두 알 수 있도록 하는 ‘연구 사전 등록 제도’ 등이다. 이러한 모든 과정의 목적은 결국 진리를 추구하는 과학이라는 도구의 가치를 되새기는 것이기도 하다.
그의 주장을 요약하면 과학 논문의 반복 재현 위기를 자초한 것은 과학자 자신들인 셈이다. 과학의 가치를 지켜야 할 사람은 다름 아닌 과학자 자신이다. 모든 연구에 오류가 있고, 모든 데이터에 노이즈가 있다고 하더라도 학자로서의 양심, 동료 평가라는 객관적 시스템을 거쳐 나쁜 과학, 나쁜 연구를 걸러낼 때 과학의 가치를 지켜낼 수 있다.

우리가 그동안 ‘사실’이라고 맹신했던 과학적 연구 결과에 대한 검증을 요구하는 이 책은 잘못된 연구와 논문에 대항할 수 있는 최소한의 무기가 되어줄 것이다.