도서요약

도서정보

■ 책 소개

가짜 실험, 데이터 누락, 통계 오류, 심리 조종, 사진 조작까지

유명 학자들의 조작, 편향성, 부주의, 과장의 실태

세상 모든 원리를 설명하는 학문이자 체계적 지식의 근간인 과학에 오류가 있다면 인류가 지금껏 이뤄낸 지식의 결과를 믿을 수 있을까. 과학계 최고 수준의 저널인 ‘네이처’ ‘사이언스’에 발표했지만 조작, 편향, 부주의, 과장을 이유로 철회되는 논문만 한 해에 수백 편에 이른다는 발표는 많은 이들에게 충격을 주었다. 심지어 가짜 논문을 가려내는 연구를 저널에 발표하는 실정이다.

대중 과학을 비롯해 최신 연구에 관심 있는 사람이라면 누구라도 알 만한 과학자들이 발표한 논문 중에도 실수나 과장된 자료들이 포함돼 학계를 혼란스럽게 만든 사례는 이제 너무나 흔한 일이다. 문제는 이러한 과학계의 현실을 어떻게 받아들이고 과학 연구를 검증하는 시스템이 지닌 단점을 어떻게 보완해나갈 것인가 하는 점이다. 바로 그런 질문과 함께 과학계의 현주소를 이 책에서 만날 수 있다.

■ 저자 스튜어트 리치

저자 스튜어트 리치는 심리학자이자 과학 커뮤니케이터, 오픈 사이언스 운동의 열혈 지지자이다. 과학의 잘못된 관행을 개혁하고, 과학자들이 연구 결과를 발표할 때 더욱 투명해지도록 돕는 도구를 개발했다. 2015년에는 심리과학협회에서 ‘라이징 스타(Rising Star) 상’을 수상했다. 영국의 킹스칼리지런던(Kings College London)의 사회, 유전 및 발달 정신과 센터에서 강의하고 있다. 에딘버러대학교에서 인간 지능에 대해 박사 후 과정을 밟았고, 인간 지능과 뇌가 어떤 관련이 있는지, 뇌가 유전의 영향을 받는지, 교육과 같은 외부 요인에 의해 뇌가 얼마나 향상될 수 있는지에 대해 연구한다. 구글 학술검색에 등록된 그의 피인용 횟수는 7,327회에 달하고 h-지수는 41, i10 -지수는 78이다.

■ 역자 김종명

역자 김종명은 서울대학교 공업화학과를 졸업했고, 미국 신시내티대학교에서 재료공학 박사 학위를 받았다. 다년간 연구소에서 근무했으며, 번역에이전시 엔터스코리아에서 번역가로 활동하고 있다.

옮긴 책으로는 ‘과학자도 모르는 위험한 과학기술’ ‘ZOOM 거의 모든 것의 속도’ ‘한 권으로 이해하는 수학의 세계’ ‘전기차 첨단기술 교과서’ ‘UX 심리학’ 등이 있다.

■ 차례

서문_과학은 사회적 활동이자 인간의 실수를 드러내는 도구

제1부_픽션을 닮은 과학

제1장_과학은 어떻게 작동하는가

논문 출판과 동료 평가의 세계

과학은 사회적 활동이다

제2장_반복 재현의 위기 - 과학의 위기를 자초한 학자들

짐바르도와 밀그램의 실험

과학의 위기

과학계를 위협하는 불확실성

출판된 논문이 거짓으로 판명되다

제2부_실수와 오류를 은폐하는 학자들의 속마음

제3장_조작 - 논문 사기가 만들어낸 새로운 진실

최악의 과학 사기 사건 - 파올로 마키아리니의 인공 기관지 이식

놀랍도록 간단한 과학 사기 - 조작

얼마나 많은 논문이 철회되는가

측정 오차와 샘플링 오류

과학 사기가 어려울까, 진짜 연구가 어려울까

과학계에서 얼마나 많은 조작이 이뤄지는가

과학 사기꾼들의 프로필

무엇이 조작을 하게 만드는가

논문 조작의 파급 효과

과학 사기의 패착, 신뢰를 무너뜨리다

제4장_편향 - 실패한 실험 결과가 사라지다

확률과 p-값

출판 편향과 메타 분석

p-해킹

데이터 오버피팅과 결과 스위칭

이해충돌, 선한 의도 편향 - 과학의 사회정치적 성격

새뮤얼 모턴과 스티븐 제이 굴드의 반전

편향이라는 인간의 본성

제5장_부주의 - 통계에 감춰진 명백한 실수들

통계 불일치와 불가능한 계산값

모든 숫자에는 노이즈가 포함돼 있다 - 무작위화의 실패

오류를 알면서도 공유하는 환경

연구 설계의 기본 원칙 - 무작위화와 블라인딩

통계적 검정력

통계적 검정력이 후속 연구에 미치는 영향

낮은 통계적 검정력의 위험성 - 후보 유전자의 사례

과학의 역할에 관한 고찰

제6장_과장 - 그들의 언어를 알면 진실이 보인다

과장 보도 자료

대중 과학 서적의 함정

과장으로 넘치는 과학 저널

마이크로바이옴의 속사정

우리가 먹는 모든 것이 암과 관련이 있는가 - 영양학의 진실

예상치 못한 결과를 처리하는 방식

제3부_잃어버린 과학의 정신을 되찾는 길

제7장_비뚤어진 인센티브 - 논문 대량 생산의 시대

출판물과 연구 지원금과 고용 기준

살라미 슬라이싱 현상과 미끼 저널

h-지수와 자기 인용, 자기 표절

수단이 목표가 되면 길을 잃고 만다 - 굿하트의 법칙

나쁜 과학의 자연 선택

‘발표하지 않으면 사라진다’는 논문 발표 시스템

제8장_과학을 고치기 위한 시작

모든 연구에는 오류가 있다

재현 연구의 투고 - 통계적 유의성에 대해 편견 없이 판단하기

p-값을 없애면 모든 문제가 사라질까

다중 우주 분석의 보완 - 연구 사전 등록 제도

모두가 자유롭게 참여하는 과학 - 오픈 사이언스

저널 출판 시스템의 변화 - 사전 인쇄

건강한 과학 커뮤니티를 만드는 데 필요한 연구 성과 평가 제도

유레카에 대한 환상 - 학문은 원래 지루한 법이다

과학의 진짜 위기는 따로 있다 - 과학자와 회의주의자

에필로그_우리에게 필요한 것은 진리다

감사의 글

부록_학술 논문 읽는 법

주

도서요약

사이언스 픽션

실수와 오류를 은폐하는 학자들의 속마음
조작 - 논문 사기가 만들어낸 새로운 진실
놀랍도록 간단한 과학 사기 - 조작

20세기 들어 가장 유명하면서도 터무니없었던 과학 사기 사건 중 하나도 역시 이식과 관련된 것이었다. 이번에는 피부 이식 사례였다. 마치 마키아리니 사건을 예언하는 것처럼, 1974년 뉴욕의 저명한 슬론-케터링(Sloan Kettering) 암 연구소에서 일하던 피부과 의사 윌리엄 서머린(William Summerlin)은 자신이 아주 간단한 기술을 통해 피부 이식 거부 문제를 해결했다고 주장했다.

그는 수술 전에 이식할 피부를 특별한 영양소 속에 담가 놓아 배양함으로써 검은 쥐의 피부 일부를 면역 거부 반응 없이 흰 쥐에 성공적으로 이식했다고 발표했다. 실제로 그런 일이 일어나지 않았다는 것만 빼면 모든 것이 그럴싸해 보였다. 실제로는 흥미로운 새로운 발견을 연구소장에게 보여주러 가기 전에 그가 흰 쥐의 털에 검정 펠트펜으로 색칠을 한 것이었다. 이런 사실은 나중에 실험실의 연구 보조원에 의해 드러났다. 연구 보조원이 쥐한테서 이상한 냄새가 나는 것을 알아차리고 알코올을 사용해 쥐의 털을 문질러봤던 것이다. 정작 쥐를 대상으로 한 성공적인 이식 수술은 없었다. 서머린은 즉시 해고됐다.

여러분은 아주 게으른 과학 사기꾼들만이 누구나 쉽게 알아볼 수 있는 복제된 이미지를 논문에 사용할 것이고, 우리는 그들의 속임수를 쉽게 찾아내리라 생각할지도 모르겠다. 그러나 복제 이미지 사용은 근절되지 않고 지금까지도 끊임없이 반복되고 있는 골칫거리다. 최근 수십 년 사이에 일어났던 가장 두드러진 사기 사건의 경우도 이미지 복제가 핵심적인 내용이었다.

2004년 한국의 생물학자 황우석 교수는 인간 배아를 성공적으로 복제했다는 논문을 ‘사이언스’에 발표했다. 다음 해 같은 저널에서 그는 해당 배아들로부터 최초의 인간 복제 줄기세포 라인을 만들어냈다고 보고했다. 줄기세포의 잠재성은 무한히 증식할 수 있다는 사실 이외에도 어떤 세포로도 변할 수 있는 능력을 가진 ‘만능(pluripotent)’세포라는 점에 있다.

줄기세포는 뉴런, 간세포, 혈액세포와 같은 다른 종류의 조직으로 자유롭게 바뀔 수 있다. 흡사 스위스-아미 나이프와 같은 세포다. 황 교수가 논문을 위해 만들었던 11개의 복제 줄기세포 라인은 사람들의 손상된 조직을 고치고, 다치거나 병든 장기를 재생하는 개인 맞춤 줄기세포 치료의 가능성을 의미하는 획기적인 사건이었다. 같은 해 발표된 또 다른 연구에서 서울대 황 교수팀은 세계 최초로 스너피(Snuppy)라는 이름의 아프가니스탄 사냥개의 복제견을 탄생시켰다고 주장했다.

여러분들은 다음에 어떤 일이 일어났는지 예상할 수 있을 것이다. ‘사이언스’에 실린 논문을 면밀히 조사한 결과, 각기 다른 환자에서 채취한 개별 세포 라인이라던 두 장의 사진이 사실은 같은 사진이라는 것이 밝혀졌다. 분명히 밝혀두지만 이런 종류의 사진이 우연의 일치로 같게 나올 확률은 제로에 가깝다. 그뿐만 아니라 완전히 다른 것이라고 제출했던 두 개 이상의 사진에서도 겹치는 부분이 나왔다. 같은 사진의 일부를 잘라서 사용했기 때문이다.

만약 이런 문제들만 있었다면, 누군가 실수로 사진을 혼동하거나 표시를 잘못했다고 생각할 수도 있을 것이다. 하지만 실제로 벌어진 일은 이와는 거리가 멀었다. 황 교수 연구소의 내부 고발자들은 실제로 만들어진 세포 라인은 11개가 아닌 2개였으며, 그나마도 복제 배아에서 나온 것이 아니었다는 사실을 폭로했다. 나머지 세포 사진들도 황 교수의 지시로 조작되거나 고의로 레이블을 다르게 붙인 것이었다. 연구 프로젝트 전체가 속임수였던 것이다.

측정 오차와 샘플링 오류

지금까지 우리는 주로 이미지 기반의 속임수에 초점을 맞춰왔다. 하지만, 사기가 발생하는 대상은 더 세밀한 곳까지 파고든다. 과학적 사기를 저지르고 숨기기에 더 효과적인 장소는 숫자다. 연구 데이터 세트를 구성하는 것은 숫자의 행과 열이기 때문이다. 디데릭 스타펠 사건을 보면 그는 자신이 원하는 결과를 스프레드시트에 직접 입력한 후 그것들을 진짜 데이터인 것처럼 건넸다. 이러한 종류의 데이터 사기는 과학 연구에서 얼마나 자주 발생할까? 그리고 우리는 얼마나 쉽게 이것을 찾아낼 수 있을까?

다행히도 렘브란트나 베르메르의 작품을 위조하고 웨스턴 블로트 이미지를 그럴싸하게 만들어내는 것이 극도로 어려운 작업인 만큼 데이터 세트를 그럴듯하게 위조하는 것도 전혀 쉬운 일이 아니다. 허공에서 지어낸 데이터는 현실 세계에서 발생한 데이터가 가지고 있을 것으로 예상되는 특징들을 가지고 있지 못하기 때문이다.

한 치의 오차도 없는 정확한 과학은 존재하지 않는다. 과학적 숫자에는 많은 오차가 포함되기 때문이다. 어떤 값이든 측정하려고 할 때 참값에서 약간은 벗어날 수밖에 없다. 한 나라의 경제적 성과, 세계에 남아 있는 희귀한 오랑우탄의 수, 아원자 입자의 속도, 혹은 심지어 누군가의 키를 재는 것만큼 단순한 일에 이르기까지 측정하고자 하는 세상 모든 값에는 항상 오차가 포함되게 마련이다. 키를 잴 때 약간 구부정하게 서 있어서 오차가 생길 수도 있고, 줄자가 약간 미끄러지거나 단순히 실수로 틀린 숫자를 적을 수도 있다. 이것을 측정 오차라고 한다. 측정 오차를 줄이는 방법은 있어도 완전히 피해가는 방법은 없다.

측정 오차와 사촌 관계처럼 비슷하게 우리에게 똑같이 골치 아픈 현상이 샘플링 오류다. 과학자들이 모든 연구 대상을 일일이 완벽하게 전수 조사하지는 못한다. 세포의 집합이든 외부 행성, 외과 수술, 혹은 재정적 거래 관계든 모두 마찬가지다. 대신 우리는 전체를 대표하리라 생각되는 표본을 샘플링해 연구하고, 그것으로부터 나온 결과를 집단 전체로 확대해 일반화하려고 노력한다.

통계학자들은 사람들의 집합이 아닐지라도 데이터 집단 전체를 ‘인구(population)’라고 부른다. 문제는 여러분이 채취한 표본의 특성이 여러분이 정말로 알고 싶어 하는 것, 예를 들면 전 국민의 평균 키와 결코 정확하게 일치할 수 없다는 데 있다. 어떤 사람들이 무작위로 표본에 포함됐는지에 따라 표본의 평균이 약간씩 달라지기 때문이다. 그리고 이렇게 고른 일부 표본의 경우 우연히 전체 집합의 실제 평균과는 크게 다를 수도 있다.

측정 오차와 샘플링 오류는 모두 예측 불가능하다는 특징을 가지고 있다. 하지만 이런 현상이 발생할 것이라는 사실 자체는 예측 가능하다. 표본, 측정법 또는 그룹이 달라지면 데이터의 특성도 달라진다. 이에 따라 평균, 최댓값, 최솟값을 비롯해 데이터의 거의 모든 특징이 달라진다.

측정 오차와 샘플링 오류는 일반적으로는 바람직하지 않은 현상으로 여겨지지만, 조작된 데이터를 탐지하는 수단으로는 매우 유용하게 사용될 수 있다. 서로 다른 그룹을 대상으로 얻은 데이터 세트가 너무 깔끔하게 서로 비슷해 보인다면 뭔가 수상한 일이 일어나고 있는 것이라고 짐작할 수 있기 때문이다. 유전학자 J. B. S. 할단(Haldane)은 “인간은 매우 질서 있는 동물이다. 따라서 자연의 무질서를 흉내 내는 것을 매우 어려워한다”라고 말했다. 이것은 사기꾼들도 마찬가지다.

편향 - 실패한 실험 결과가 사라지다
확률과 p-값

과학 문헌에 얼마나 긍정적인 결과들이 많이 실리는지에 대해 정량적으로 연구한 논문이 있다. 메타 과학자 다니엘 파넬리(Daniele Fanelli)는 2010년 실시된 연구에서 모든 과학 분야에 걸쳐 2,500편에 달하는 논문을 조사했다. 그리고 얼마나 많은 과학자들이 자신들이 세운 첫 번째 가설에 대해 긍정적 결과를 얻었는지를 합산했다.

물론 과학 분야마다 긍정적 결과를 얻는 확률은 달랐다. 그 비율이 가장 낮았던 것은 우주 과학이었다. 하지만 수치상으로 볼 때 여전히 높은 비율인 70.2퍼센트를 보여줬다. 심리학/정신과 분야가 가장 높은 비율을 보인 것은 그리 놀라운 일은 아니다. 이 분야에서는 긍정적 결과의 논문이 91.5퍼센트를 차지했다. 심리학 분야에서 이토록 놀라운 연구 성공률을 보이고 있는 데 반해 실제로 심리학 연구 논문들의 반복 재현성이 가장 낮다는 사실 사이에 존재하는 격차를 서로 조화시키기는 매우 어렵다.

우리가 과학 연구에 이토록 높은 성공률을 기대해서는 안 된다는 주장에 대해 여러분은 이해가 안 될지도 모르겠다. 과학자들은 자신들의 연구 분야에 대해 충분한 배경지식을 가지고 있는 사람들이고, 가설이란 것이 보통은 합리적 추론이지 어두운 곳에서 아무렇게나 찔러보는 행위는 아니기 때문이다. 하지만 그렇더라도 과학자들이 초능력자가 아닌 다음에야 파넬리가 보고한 정도의 높은 긍정적 결과를 얻기는 어렵다.

보통 연구 중에는 막다른 골목에 부딪히게 되고, 떠오른 멋진 아이디어를 테스트했을 때 예상했던 대로 결과가 나오지 않는 상황들이 비일비재하다. 하지만 이런 상황들이 존재한다는 증거는 과학 문헌에는 전혀 등장하지 않는다. 이런 모든 시행착오들은 다 어디로 갔을까? 과학자들의 가설이 실제로는 옳았는데도 단지 운이 나빴기 때문에 예상했던 결과를 얻지 못하는 ‘거짓 음성(false negative)’ 결과들은 모두 어디에 있는가? 이런 점들을 고려할 때, 현재 과학 문헌상에서 나타나는 긍정적 결과가 차지하는 비율은 단순히 높은 정도가 아니다. 비현실적으로 높다.

항상 이렇게 긍정적 결과가 높게 나오는 데는 매우 간단하고도 참담한 이유가 있다. 어떤 결과를 얻었는지를 보고 과학자들이 논문 발표 여부를 결정하기 때문이다. 우리가 추구하는 이상적 과학 세계에서는 연구 결과와는 무관하게 연구의 방법론이 가장 중요하다고 여겨진다. 비록 연구 결과가 좋지 않더라도 잘 설계된 연구 계획에서 출발해 새로운 가설을 시험한 좋은 연구였다는 점에 사람들이 동의하면 그 결과는 출판될 수 있어야만 한다.

이럴 경우 머튼이 주창했던 ‘사심 없음’이라는 규범이 실제로 지켜지게 되는 것이다. 과학자들이 각자 선호하는 이론을 가지게 되는 것은 사심 없음이라는 규범을 위반하는 행위다. 이상적 세계에서 과학자들은 연구 결과가 어떻게 나올 것인지에 신경 쓰기보다는 연구 과정이 엄격한지에 대해 더 많은 관심을 가져야 한다.

이런 상황을 지칭해 ‘출판 편향(publication bias)’이라고 부른다. 또 다른 말로는 다소 요즘 시대에는 어울리지 않는 표현이긴 하지만 ‘책상 서랍 문제’로 부르기도 한다. 과학자들이 실패한 연구 결과를 세상에 알리지 않고 책상 서랍에 숨긴다는 뜻이다. 어떻게 보면 ‘역사는 승자에 의해 작성된다’라는 말과도 맥이 닿는 이야기다. 과학적 연구 결과에 대해 이것을 적용해 본다면 ‘발표할 긍정적인 결과가 없다면, 아무것도 발표하지 말라’라는 말로도 표현할 수 있겠다.

이해충돌, 선한 의도 편향 - 과학의 사회정치적 성격

모든 사람의 주의를 끄는 명확하고 통계적으로 유의미한 결과를 발표하려는 욕망은 과학계에 만연된 편향의 가장 중요한 이유 중 하나다. 그러나 결과를 왜곡시키는 데는 그 외에 다른 힘도 작용한다. 가장 먼저 떠오르는 것은 돈이다.

관련 통계를 쉽게 구할 수 있는 미국의 경우 최근 몇 년 동안 등록된 의료 시험 중 3분의 1 이상이 제약 업계의 자금 지원을 받은 연구였다. 제약 업계는 연구 결과가 효과 있는 것으로 나올 경우 당연히 의약품을 홍보할 의도를 가지고 있다. 이런 회사의 자금 지원을 받아서 연구할 경우 연구 결과에는 어느 정도의 영향을 미칠까?

임상 시험에 대한 메타 연구 결과에 따르면 관련된 업체에서 자금을 지원하는 의약품 실험의 경우 긍정적 효과를 보고할 가능성이 그렇지 않은 경우에 비해 더 높은 것으로 나타났다. 최근의 리뷰 연구에서는 정부나 비영리 단체가 자금을 지원하는 연구에 비해 제약회사들의 자금 지원을 받은 연구에서 긍정적 효과를 보고하는 비율이 1.27배나 더 높았다. 심지어 연구 설계 단계에서부터 이러한 편향이 나타날 수 있다.

제약 업체가 지원하는 신약 연구에서는 약효 면에서 가장 우수한 대체 의약품을 비교 대상으로 삼는 것이 아니라 위약과 단순 비교함으로써 계획적으로 신약의 효과를 돋보이게 한다는 증거들이 발견됐다. 하지만 긍정 효과를 보고하는 비율이 더 높은 가장 큰 이유는 아마도 다른 요인 때문일 것이다. 즉, 업계에서 지원하는 임상 시험에서는 무효인 연구 결과가 다른 기관에서 연구 자금을 지원했던 경우보다 더 자주 책상 서랍 속으로 들어가기 때문이다.

여기에 추가적으로 자신의 명성에 대한 우려가 결부될 때 상황은 더욱 악화된다. 투명성을 위해서는 미래에 이런 일이 일어날 가능성이 있는 모든 과학자가 자신들이 수행하는 모든 연구 결과의 끝부분에 이해 충돌 가능성이 있음을 언급해야 한다는 주장이 가능하다.

그러나 재정적 이해관계나 명성과 관련된 이해 충돌과 비교할 때 거의 드러나지 않는 또 다른 편향이 있다. 그것은 과학자 스스로가 가진 편향이다. 자신의 연구 결과가 질병, 사회적 혹은 환경적 문제를 비롯한 다른 중요한 문제를 퇴치하는 데 중요한 의미가 있는 경우 과학자들은 자신의 연구 결과가 강력한 영향력을 발휘하길 진심으로 원할 것이다.

이런 경우는 단지 연구 결과를 저널에 발표하려는 목적으로 유의미한 결과를 찾는 것이 아니다. 몰론 이것도 중요한 압박으로 작용하기는 한다. 하지만 이 사례는 선한 의도를 가지고 있는 과학자가 자신들의 연구가 사회에 유익하게 사용되기를 원하는 경우다. 이런 상황을 ‘선한 의도 편향(meaning well bias)’이라고 부른다.

결과의 진실과 거짓에 대해 연구자들이 이념적이거나 정치적인 이해관계를 가지고 있는 경우는 어떨까? 내가 논문에서 봤던 이해 충돌 섹션 중 가장 눈에 띄었던 것 중 하나는 이른바 ‘글래스고 효과’에 관한 공중 보건 논문에 실렸던 것이다. 이 논문의 결론은 글래스고 지역, 넓게는 스코틀랜드 사람들이 빈곤과 결핍에 시달린다는 요인을 감안하더라도 비슷한 도시 혹은 국가의 사람들보다 평균적으로 더 젊은 나이에 사망한다는 것이었다.

이 논문에서는 이런 현상이 일어나고 있다는 증거들을 나열한 후, 그 근본 원인이 1980년대 마거릿 대처 총리 아래 보수당 정부가 스코틀랜드에 대해 탈산업화 정책과 노동 조직 탄압 같은 정책을 폄으로써 ‘정치적 공격’을 했던 것에 있다고 결론을 내렸다. 논문의 이해 충돌 섹션에는 재정적인 이해관계에 대한 내용은 없었다. 대신, 제1저자인 게리 매카트니(Gerry McCartney)는 자신이 ‘스코틀랜드 사회당 당원’임을 밝히고 있었다. 그가 보여준 정직함은 보기 드물지만 바람직한 것이라고 생각된다.

내가 속해 있는 심리학 분야에는 자신을 좌파라고 주장하는 과학자들이 매우 많다. 심리학 분야에서 정치적 성향의 기울어짐은 실제로도 매우 심하다. 미국의 어떤 조사에서 심리학 분야는 진보주의자와 보수주의자의 비율이 약 10:1인 것으로 나타났다. 이것은 공학, 경영학, 컴퓨터과학과 같은 다른 학문 분야에서는 찾아볼 수 없는 비율이다.

심리학을 제외한 다른 분야에서는 미국 전체 인구의 정치적 성향 비율과 유사하게 나타난다. 인간과 그들의 행동에 대한 학문인 심리학의 경우 이론 물리학이나 유기 화학보다는 정치적 이해관계가 훨씬 더 복잡하게 얽혀 있다. 2015년 호세 두아르테(Jose Duarte)와 몇몇 저명한 심리학자들은 심리학이 정치적 편향에 쉽게 노출될 수 있다고 주장했다.

우리가 방금 접했던 편향의 집단화 사례와 마찬가지로 커뮤니티 구성원의 대부분이 동일한 정치적 관점을 가지면 가장 높은 강도의 정밀 검토를 거치기 위해 존재하는 동료 평가 과정도 특정 종류의 주장에 대해서는 상당히 약화되는 결과를 낳기 때문이다. 그뿐만 아니라, 먼저 어떤 것을 연구해야 할지에 대한 우선순위도 왜곡될 수 있다. 연구자들이 정치적으로 선호하는 몇몇 주제에 대해서는 뒷받침하는 증거가 비교적 약하더라도 조금 더 너그럽게 주의를 기울일 수 있다는 것이다. 반면 확실한 자료에 근거하는 것이라 하더라도 자신들의 정치적 믿음과 역행하는 주제들은 피하려고 할 것이다.

잃어버린 과학의 정신을 되찾는 길
비뚤어진 인센티브 - 논문 대량 생산의 시대
출판물과 연구 지원금과 고용 기준

연구 자금을 구하기 위해 끝도 없이 노력해야 하는 것은 단지 시간 낭비만의 문제가 아니다. 이 과정에서 엄청난 실패와 실망이 싹트게 된다. 그리고 이 문제는 소위 ‘마태복음 효과’에 의해 더 복잡해진다. 현재 과학적 연구 보조금이 할당되는 시스템하에서는 이미 부유한 사람들이 더 부유해지는 구조다.

마태복음 25:29절에 ‘무릇 있는 자는 받아 넉넉하게 되되, 없는 자는 그 있는 것도 빼앗기리라.’라는 구절이 있는데 실제로 이런 일이 일어나고 있다는 것을 보여주는 좋은 사례가 있다. 한 대규모 조사에서 밝혀진 바에 의하면 첫 연구 지원금 신청 절차에서 자금 지원의 임의적 기준치를 약간 상회하는 점수를 받은 과학자들은 임의적 기준치 바로 아래에 있었던 과학자들보다 그다음 8년 동안 두 배 이상의 연구 지원금을 받았다. 첫 연구 지원금 신청서의 수준이란 것이 과학자들마다 그렇게 큰 차이가 날 수 없었음에도 실제로 현실에서 일어나는 일들이다.

이런 분위기에서 많은 과학자들은 좌절감 때문에 과학자라는 직업을 그만두게 된다. 그나마 떠나지 않고 남은 사람들은 이미 풍부한 연구 자금을 확보한 연구자들과 경쟁하기 위해 어떻게든 연구 자금 신청서를 과장해서 작성하지 않으면 안 되는 상황에 놓이게 된다. 매우 건강하지 않은 환경인 것이다. 이런 환경에서 왜 과학적 정확성 자체가 뒷전으로 밀려나게 됐는지를 상상하는 것은 어렵지 않다.

어쨌든 과학자들에게 더 많은 논문을 발표하도록 장려하는 이런 정책은 소기의 목적을 달성한 것처럼 보인다. 논문 발표율이 크게 상승했을 뿐만 아니라 논문 생산성이 높은 과학자들이 살아남는 경향이 점점 더 강해지고 있기 때문이다. 프랑스의 한 연구에서는 2013년에 고용된 젊은 진화 생물학자들의 경우 2005년에 고용된 사람들보다 거의 두 배나 많은 논문을 발표했다고 밝혔다. 이는 과학자들을 고용할 때 기준이 되는 논문 출판 건수가 매년 조금씩 상승해왔음을 암시한다.

생산성을 근거로 인센티브를 주는 방식은 완벽하게 작동하는 세상에서는 적합할 것이다. 저널들은 논문의 품질을 일정 수준으로 관리할 수 있는 능력을 갖추고, 과학자들은 발표 논문의 수가 증가해도 결코 논문의 품질을 저하시키지 않는 타고난 과학적 진정성을 가진 세상이라면 가능할 것이다. 하지만 현실에서는 그렇지 못하다. 실제로는 어느 하나를 포기해야 한다.

빛이 깜박일 때 가능한 한 빨리 버튼을 누르도록 고안한 인지심리학 실험에서는 ‘속도-정확성 충돌’ 문제가 발생한다. 피실험자들이 빨리 버튼을 누르는 것에만 초점을 맞추면 정확도가 저하되고, 정확도를 높이려면 속도를 늦춰야 한다. 그런데, 이러한 속도-정확성 충돌 문제는 실제로 모든 유사한 종류의 실험에서 완벽하게 나타난다. 과학 출판 분야에서도 동일한 현상이 일어나고 있다.

h-지수와 자기 인용, 자기 표절

살라미 슬라이싱, 미끼 저널, 동료 평가자 사기와 같은 사례들은 과학자들을 총 발표 논문의 수로만 평가해서는 안 된다는 점을 분명히 반증하고 있다. 발표 논문의 수는 너무 쉽게 조작할 수 있기 때문이다. 이에 대한 한 가지 대안으로 제시된 것은 논문이 인용되는 횟수에 따라 과학자들을 평가하자는 제안이다. 이러한 대안에 따르면 발표된 논문이 과학 자체나 과학계에 실제로 얼마나 공헌하고 있는지를 더 잘 보여줄 수 있을 것이다.

하지만 극단적인 경우 다른 논문에 수천 번 인용된 아주 훌륭한 논문 한 편을 쓴 후, 후속 연구로는 아무도 읽지 않는 수십 편의 쓸모없는 논문들을 발표할 수도 있을 것이다. 그런 상황에서는 총 피인용 횟수가 과학에 대한 광범위한 공헌도를 잘 나타내지는 못하게 된다.

2005년 물리학자 호르헤 허쉬(Jorge Hirsch)는 이 문제를 해결하기 위해 한 가지 방법을 생각해냈다. 그는 이것을 h- 지수라고 불렀다. 어떤 과학자의 h-지수 값이 n이라면 그는 적어도 n번 인용된 적이 있는 논문을 n편 보유하고 있다는 뜻이다. 예를 들면 이 책을 쓰고 있을 때 나의 h-지수는 33이었다. 이는 h-지수의 정의상 33편의 논문이 각각 최소 33번씩 다른 논문에 인용됐다는 것을 뜻한다. h-지수의 영리한 점은 더 높은 점수로 올라가기가 점점 더 어려워진다는 것이다.

나의 h-지수를 33 에서 34로 늘리기 위해서는 34번 인용된 논문을 추가로 발표하기도 해야 하지만, 동시에 기존에 있던 다른 논문들의 최소 인용 횟수도 모두 34번으로 늘어나야 하기 때문이다. 몇몇 저명한 과학자들처럼 수백에 달하는 h-지수를 보유하기 위해서는 스스로의 많은 노력은 물론이고 다른 연구자들의 관심도 반드시 필요하다.

구글에서 제공하고 있는 전문 학술 검색 엔진인 구글 학술검색(Google Scholar)에서는 자동으로 과학자들의 h-지수를 계산하고 있다. 이 때문에 나 자신을 포함한 많은 과학자의 경우 자신의 논문이 새롭게 다른 논문에 인용될 때마다 주기적으로 구글 학술검색에 접속해 업데이트를 확인하고 있다. 동시에 이런 사실에 대해 다들 약간씩은 계면쩍어하고 있다. 내 경험에 의하면, 이런 식의 연구자 평가 지표를 못마땅해하는 과학자라 하더라도 자신의 h-지수를 확인하는 데 전혀 관심이 없다고 말하는 것은 거짓말을 하고 있거나 구글 학술검색에 대해 들어본 적이 없거나 둘 중 하나일 것이다.

하지만 논문 인용 횟수를 증가시키는 훨씬 더 효과적인 방법은 놀랄 만큼 단순하다. 바로 자신의 논문을 스스로 인용하는 것이다. 한 분석 결과에 따르면 논문이 발표된 후 처음 3년 동안은 자기 인용이 전체 인용 횟수의 3분의 1을 차지한다고 한다. 자기 인용 관행은 불법과 합법의 중간 정도에 걸쳐 있다. 과학은 점진적으로 발전하는 속성을 가지고 있다.

보통 연구자들은 특정 주제를 몇 년에 걸쳐 연구하게 된다. 따라서 연구 프로그램이 다음 단계로 진행할 때 이전 연구 결과의 인용을 막는 것은 옳지 않다. 하지만 어떤 사람들은 이런 점을 지나치게 이용하고 있다. 허용 가능한 자기 인용과 문제 있는 자기 인용 사이의 경계가 흐릿한 경우는 종종 있지만 일부 사례들에서는 이런 문제점이 명백하게 드러난다.

인문교양