'상위 1% 연구자' 논란의 이면 '오픈 액세스' 운동

A. '임팩트 팩터'와 '상위 1% 연구자'란 무엇인가

임팩트 팩터(IFㆍImpact Factor)는 최근 2년간 출판된 논문이 인용된 평균 횟수를 수치화한 것이다. 인용된 횟수가 많을수록 IF 수치가 올라가게 된다. 유진 가필드 박사가 1955년에 창안한 것으로 톰슨 로이터(구 톰슨 사이언티픽, 그 이전엔 ISI)의 인용문헌 데이터베이스 Web of Science에 수록되는 데이터를 기반으로 산출된다. 톰슨 로이터는 해당 사업분야를 사모펀드에 매각하였으며 사모펀드는 이를 기반으로 현재의 클래리베이트 애널리틱스(Clarivate Analytics)를 설립했다. 

2016~2017년 저널 A에 실린 논문의 총수를 'PQ'라 하고 2016~2017년 2년간의 논문들이 2018년인용된 총 수를 'CQ'라고 할 경우 저널 A의 2018년 임팩트팩터는 아래와 같은 도식으로 설명된다.

IF of 저널 A = CQ/PQ 

예를 들면 '저널 A'에 2016년 1000편, 2017년 2000편 논문이 실렸고 (PQ=3000), 이 저널의 2016년 논문들이 2018년 한 해 동안 2000번 다른 논문에 인용됐고, 2017년 논문들이 2018년 한 해동안 4000번 인용되었다면 (CQ=6000) 2018년 저널 A의 IF는 2가 된다.
IF는 JCR(Journal Citation Report) 데이터의 하나로 수록된다.

IF of 저널 A = (2000+4000)/(1000+2000) = 2

결국 IF 2는 해당 저널이 논문 한 편을 출판하면 평균적으로 2번은 인용된다는 뜻이다. 물론 현실에서는 많이 인용되는 논문과 적게 인용되는 논문이 있지만 평균을 내면 2에 수렴한다는 의미다. 일반적으로 IF가 높을수록 훌륭하고 권위있는 저널이라는 의미로 통용된다. 그러나 수학이나 물리학 등 분야에서의 명성은 얼마나 어려운 문제를 풀었느냐에 달려있다. 보편성을 추구하는 응용과학에서는 IF가 매우 중요하게 받아들여지지만 기초과학에서는 상대적으로 IF의 중요성이 떨어진다. 

과학자들이라면 꼭 한 번은 본인의 논문이 등재되기를 원하는 <네이처>지의 2017년 IF(2-Year Impact Factor)는 약 41.6 이다. <네이처>에 실린 논문 한 편은 한 해 평균적으로 41.6회 인용 된다는 것인데 이것은 인용수의 분포가 정규분포하는 경우에만 유효한 것으로 현실은 그렇지 않다. 

<네이처>인용 횟수의 90%는 상위 25%의 논문에서 발생한다. <네이처>에 논문이 실렸지만 상위 25% 안에 들지 않으면 인용횟수는 20회 미만일 수도 있는 것이다. SCI급 저널의 약 50% 정도가 IF가 1이 안되는 것으로 알려져있다. 어떤 논문은 단 한번도 인용되지 않을 수도 있다.

클래리베이트가 선정한 SCI 저널은 13일 현재 3,736개다. 저널에 투고를 원하는 연구원 입장에서, 한 해 구독료만 기백만원이 넘는 저널 구독을 고민해야 하는 학교 입장에서, 유능한 연구원을 선별하여 차등적인 지원 정책을 마련하고자 하는 정부 입장에서 IF는 저널 선별 및 '선택과 집중'을 위한 하나의 기준이 될 수 있다. 하지만 이를 맹신하거나 절대적인 지표로 판단해서는 안된다.

유진 가필드 박사는 IF를 원자력에 비유하곤 했는데 잘쓰면 전기를 얻지만 잘못 쓰면 대량살상용 무기가 될 수 있는 '양면성'을 강조하기 위해서였다. 한 해 약 300만개의 논문이 저널에 게재되고 있다. 모든 논문들을 동일한 기준으로 판단하는 것은 불가능하거니와 실효성도 없다. IF보다 저널의 질이 더 중요할 때가 있다. 가필드 박사 역시 IF가 해당 저널에 실리는 논문과 연구자의 수준을 판별하는 기준으로 오용되고 있는 것을 걱정하고 있었다. 

한국에서 보통 'SCI급 저널'이라는 용어를 자주 사용하는데 SCI란 정확히 무슨 의미일까. 한국어로는 '과학기술논문색인지수(SCIㆍScience Citation Index)'라고 쓰인다. 클래리베이트 애널리틱스가 구축한 국제학술논문 데이터베이스에 있는 저널 중 학술적 기여도가 높은 저널만을 추린 것이다. 

SCI급을 결정하는데는 여러 기준이 있으나 저널에 실리는 논문들의 피인용수가 중요한 판단 기준으로 작용한다. 참고로 한국 교육과학기술부에서는 SCI급 저널을 SCI, SCIE(SCI 온라인 확장판), SSCI(사회과학 논문 인용색인), A&HCI(예술 및 인문과학 논문 인용색인), SCOPUS(엘스비어 출판사에서 제공하는 전세계 우수 학술논문 인용지수) 5가지로 보고 있다. 

클래리베이트 애널리틱스가 해마다 발표하는 HCR(Highly Cited Researcher)은 한국어로 '상위 1% 연구자'로 쓰인다. 보통 상위 1% 피인용 논문인 HCP(Highly Cited Paper)의 저자를 뜻하며 클래리베이트에서 자체 기준에 따라 선정한다. 논문 피인용율이 높으면 그만큼 영향력 있는 연구자라는 클래리베이트의 기본 철학이 담겨 있다. 그런데 인용이 많이 되면 상위 1% 논문이 되는 단순한 메커니즘이 학계에 알려지면서 이를 악용해 질 낮은 저널(일부는 이를 약탈적 저널이라고 부른다)에 논문을 게재하고 상호인용해 피인용율을 높이는 관행이 드러나면서 문제가 발생하기 시작했다. 

B. 최고로 많이 인용된 논문은 '최고의 논문'인가 

2014년 10월 29일 <네이처>에 흥미로운 뉴스가 올라왔다. 과학인용지수(SCI) 출범 50주년을 기념하여 세계에서 가장 많이 인용된 논문을 1위부터 100위까지 발표한 것이다. 그런데 일반적인 예상을 빗나간 결과가 나왔다. 1951년 <생물화학저널>에 실린 올리버 로리가 개발한 단백질 분석법인 ‘로리방법(Lowry method)’이 30만회 이상 인용되면서 1위를 차지하였고 2위와 3위 역시 단백질 분석법이 차지하였다.

아인슈타인의 상대성이론이나 왓슨과 크릭의 DNA 이중나선 논문처럼 현대 과학사에 기념비적인 논문이 당연히 상위권을 차지할 것이라는 예상과는 달랐던 것이다. 게다가 4위에서 10위까지 모두 분석방법이나 추출방법에 관한 논문이었다. 인류의 새로운 지평을 열거나 과학사의 큰 물줄기를 바꾸어 놓는 논문들이 아니라 다른 실험이나 연구의 도구가 되는 분석법에 관한 논문들이 주로 많이 인용되는 논문으로 상단을 차지하고 있다. 참고로 아인슈타인의 논문은 100위안에 들지 못했다. 

“인용횟수가 많은 논문을 쓰고 싶으면 실험해야 하는 사람들이 필요로 하는 쉬운 방법을 개발하면 된다. 그러면 우주의 비밀을 발견했을 때보다도 몇 배는 더 많이 인용될 것이다.” 

예일대 화학자인 피터 무어의 말이다. 논문의 인용정도가 반드시 학문적 성취도와 일치하지 않는다는 것을 강조한 발언이다. 실험방법에 대한 논문들을 폄하하는 것이 아니라 논문인용횟수를 지나치게 강조하는 학계의 관행에 문제제기를 한 것이다. 참고로 네이처는 2018년 5월 위키피디아에 가장 많이 인용된 학술논문을 분석했는데 유전자 수집과 천문학 논문이 가장 많이 사용된 것으로 나타났다. 

또 당장은 인용수가 낮지만 해당 논문의 가치가 뒤늦게 인정받아 인용이 늘어나는 경우도 있다. 필자가 쓴  '크리스퍼 유전자 가위 관련 역사' 기사를 보면 당시에는 주류학계나 유명 저널에서 받아들여지지 않았던 비인기 주제의 논문이 나중에 관련 연구들이 확대되고 인기를 끌면서 재조명되는 사례가 나온다. 당장 지금 인용수가 낮다고 그 논문의 가치나 연구자의 수준을 재단해서는 안된다. 

C. '오픈 액세스'와 '약탈적 저널'은 무엇인가

감동근 교수는 '상위 1% 과학자' 선정의 문제를 제기하면서 '약탈적 저널'이란 표현을 자주 사용했다. 약탈적 저널(predatory journal)이라는 말은 2010년 미국의 도서관 사서인 제프리 빌(Jeffrey Beall)이 최소한의 내부 검증과정이나 피어리뷰(Peer Review) 없이 논문의 게재를 보장하는 오픈 액세스(Open AccessㆍOA) 출판사와 저널들의 리스트를 공개하면서 학계를 발칵 뒤집어 놓았던 것에서 출발한다. 빌은 'predatory open acess publishing'이라는 단어를 사용했다. 

'오픈 액세스'란 비용이나 학위 제약없이 연구성과물을 공유하는 것을 말한다. 여기에는 논문에 대한 (무료)접근권 뿐 아니라 자유로운 논문 출간도 포함된다. 일반적으로 저널 회원이 아닌 사람, 혹은 학교에 소속되어 있지 않은 사람은 저널 한편을 보는데도 몇달러에서 수십달러까지 지불해야 한다. 논문 한편을 쓰려면 수천달러가 필요하게 된다. 아예 저널 논문을 해킹해 별도의 사이트에 구축한 사이허브(Sci-hub)가 등장할 정도다. 반면 오픈 액세스 저널은 저널 홈페이지에 모든 연구자료를 무료로 공개한다. 제3세계 학생, 돈이 없는 연구자, 자유롭게 연구논문을 보고 싶어하는 일반인들이 연구논문을 자유롭게 이용할 수 있도록 하자는 취지다.  신생저널중에는 오픈 액세스를 기반으로 하는 저널들이 많다. 자본력이 없는 신생 저널 출판사 입장에서는 쉽게 관련 출판시장에 접근 할 수 있기 때문이다.
2013년 10월 사이언스지는 오픈 액세스에 대해 자세히 다뤘다. '오픈 액세스'의 역사와 발전과정에 대해서는 2회차 기사에서 다시 설명할 예정이다.

문제는 자비로 논문을 출간하면서 발생했다. 일부 저널들이 피어리뷰 등 엄격한 저널 게재 과정을 생략하고 상호인용을 하면서 약탈적 저널 논란이 발생한 것이다. 빌이 공개한 약탈적 저널 리스트는 'Beall 's List' 라고 불렸다. 해당 리스트에 올라간 출판사가 소송을 걸면서 빌은 업데이트를 중지하고 삭제(원본 아카이브)했지만 여전히 다른 사람들에 의해 독립적으로 갱신되고 있다. 처음으로 '약탈적 저널'을 공론화해 학계에서 관행적으로 이뤄지는 상호인용과 검증없는 논문 게재의 문제점을 지적한 공은 분명 인정받아야 한다. 다만 일종의 학계 블랙리스트인 '빌의 리스트'가 객관적으로 작성됐는지, 그 판단 기준이 모두가 수긍할 정도로 명확한 것인지에 대해서는 논란이 있다. 워낙 다양한 분야의 전문적 내용이 실린 저널을 분석한 것이기에 구체적인 내용분석이 필수적인데 그 부분이 미흡했다는 지적도 있다. 

논란은 있지만 SCI급 저널 판별은 클래리베이트 애널리틱스가 하고 있다. 그런데 약탈적 저널여부는 누가 판별하는 것인지 의문이 제기될 수 있다. 개인이 평가하기엔 너무나 방대한 양이고 객관적 기준이 부재하다는 문제점이 있다. 그래서 기득권을 가진 지배적 저널(predominant journal)이 신생 저널을 배척하기 위해 만들어낸 개념이라는 주장도 제기된다. 지배적 저널의 폐쇄성을 극복하기 위해 개방형 저널 출판 운동인 오픈 액세스가 시작됐는데 오픈 액세스의 문제점이 불거지게 된 상황이다. 

제프리 빌은 오픈 액세스 운동에 비판적 견해를 가지고 있었고 기본적으로 오픈 액세스 기반 저널들을 약탈적 저널로 규정하고 있다. 특히 논문을 작성한 연구원이 직접 논문의 게재비를 내는 오픈 액세스 출판의 비즈니스 모델(Gold Model이라 불린다)이 악용될 가능성을 주장했다. 반면 '빌 리스트의 상당 부분은 정확한 근거없이 OA출판 저널을 공격하고 있는 것'이라고 문제를 제기한 필 데이비스(Phil Davis, Leading Science Communicator) 같은 유명 학자들의 반론 역시 존재하고 있다. 필 데이비스는 오픈 액세스 운동 지지자다.

이러한 논쟁의 기저에는 전통적인 저널 출판계와 온라인 기반 개방형 출판인 오픈 액세스 출판계의 경쟁상황이 깔려있다. 주류 출판계 입장에서는 전통적인 저널 출판 관련 비지니스 모델을 근본적으로 와해시킬 수 있는 것이 오픈 액세스 저널이기 때문이다. 단순히 약탈적 저널 리스트에 어떤 것이 들어있는지에만 관심을 가져선 안되는 이유다. 최근 학계의 고민은 아래와 같다. 저널 출판과 배포에 일종의 P2P방식을 도입한 오픈 액세스는 거대한 디지털 트렌드인가, 아니면 쉽게 논문을 출판한 뒤 인용수를 올리려는 출판사의 꼼수인가. 저개발도상국이나 비주류 학계 연구자들의 훌륭한 논문들이 주류 저널에 쉽게 접근할 수 있는가. 

참고로 최초 약탈적 저널 리스트에는 아가왈이 설립해 편집장을 지낸 문제의 FPTA(Fixed Point Theory and Application)는 들어가지 않았다(FPTA는 2014년에 SCI에서 삭제됐으나 SCOPUS는 현재까지 유지 상태). 반면 아가왈이 명예회장(Honorary Chairman)으로 있는 JNSA(Journal of Nonlinear Science and Applications)는 명기되어 있다. JNSA의 과학회장(Scientific Chairman)은 아가왈의 오랜 동료인 도널 오레건(Donal O’regan)이 맡고 있으며 경상대 조열제 교수는 에디터를 담당하며 투고된 논문의 심사를 맡은 바 있다.

D. 수학자 멈포드가 고민한 '본질적인 문제' 

감동근 교수가 약탈적 저널 문제를 제기하면서 인용한 것 중 하나가 수학자 데이비드 멈포드의 블로그 글이다. 멈포드는 수학계 노벨상으로 불리는 필즈상 수상자로 수학계의 석학으로 알려져 있다. 감동근 교수가 인용한 글은 멈포드 본인이 직접 쓴 게 아니라 수학자인 리차드 팔라이스(Richard Palaist 혹은 Dick Palais) 교수가 동료 및 수학계 저명 학자들과 의견을 나눈 메일 쓰레드(mail threads)를 링크로 공개한 것이다. (아래는 멈포드 블로그 하단 내용이며 문맥으로 봐서는 큰 따옴표 안의 'I'는 리차드 팔라이스다)

멈포드는 2015년 4월 1일 Wake up!이란 글을 블로그에 올렸다. 멈포드는 블로그에서 아가왈(Ravi Agarwal)의 약탈적 저널 문제점을 중요한 사례로 지적하고 있지만 전체적인 글의 취지는 더 본질적인 고민을 담고 있다. 기존 보수적인 저널 출판계와 이를 극복하고자 대두되는 개방형 저널 출판운동의 관계 설정, 오픈 액세스로 인해 발생되고 있는 쓰레기 저널(junk journal) 혹은 약탈적 저널에 대한 우려, 그리고 보수적인 수학계가 오픈 액세스 저널을 어떻게 수용해야할지를 고민하는 내용이다. 댓글을 읽어보면 오픈 액세스에 대한 주류학계의 다양한 논쟁을 엿볼 수 있다.

'Publish or Perish’라는 말이 있다. 논문을 출판하지 못하면 사라지는 것이나 다름없다는 의미다. 논문 출판의 어려움과 부담이 큰 것을 나타낸 일종의 언어유희다. 특히 임팩트 팩트가 높은 저널에 논문을 싣는 것은 보통 어려운 일이 아니다. 그래서 연구논문을 실어주는 저널의 힘은 막강하다. 유명 대학의 저명한 학자가 쓴 논문이 승인되기는 상대적으로 쉽지만 비슷한 퀄리티라 하더라도 개발도상국 '듣보잡' 연구원이 쓴 논문은 통과되기 어려운 것이 현실이다. 논문 출판은 일종의 권력이다. 그 독점적 권력을 깨기 위해 오픈 액세스 운동이 시작된 것이다. 

이 상황은 수학계만의 문제가 아니다. 지배적 출판계의 폐쇄성이라는 한계를 극복하고자 오픈 액세스가 등장했다. 이로 인해 발생하는 부작용인 인용수 조작과 약탈적 저널의 등장을 어떻게 관리해야 하는지는 모든 학계가 스스로 고민해야 하는 문제다. 

2회차 기사에서는 사이언스지에 개제되었던 "누가 피어 리뷰를 두려워 하는가"를 중심으로 실제 약탈적 저널 판별 실험을 소개한다. 또 오픈 액세스와 전통적 저널 출판계 사이의 경쟁과 문제점으로 한 발 더 들어가 보고자 한다.