Media Lab

데이터를 보여달라!

과학자라면 누구나 데이터의 Integrity 및 취득과정에서의 투명성은 과학의 필수적인 요소라는 것을 알고 있을 것이다. Thomson Scientific에 의해서 집계되고 판매되는 임팩트 팩터 (Impact Factor) 데이터는 과학계에 큰 영향력을 미친다. 가령 어떤 저널에 논문을 투고할지, 누구를 채용하거나 승진시킬지, 연구비 신청시에, 심지어는 월급, 보너스액수까지 임팩트 팩터가 영향을 미친다는 이야기가 있다. 그러나 대부분의 과학자들은 이렇게 중요시되는 임팩트 팩터가 어떻게 결정되는지에 대해서 잘 이해하지 못하고 있는 것 같고, 우리가 아는 한, 누구도 임팩트 팩터 데이터를 검증하기 위해서 데이터를 조사해 본 경우는 없는 듯하다. 

임팩트 팩터는 제대로 계산되고 있는가?

해당 년도의 특정 저널에 대한 임팩트 팩터는 지난 2년간 해당 저널에 출판된 논문이 해당 해에 평균적으로 몇 번 인용되었는지로 정의된다. 예를 들어 2006년도 임팩트 팩터는 2004년, 2005년에 출판된 논문이 2006년에 인용된 평균 횟수를 의미한다. 그러나 임팩트 팩터 계산에는 다른 곳에서도 지적되었듯  몇 가지 문제가 있다. 여기서 이러한 문제들을 다시 지적하고자 한다.

1. 임팩트 계산에서의 '분자' (numerator) 는 해당 저널에 출판된 2년간의 내용물 - 종류에 상관없이 - 들의 인용횟수가 된다. 예를 들어서 2006년의 임팩트 팩터 계산의 분자는 2004,2005년에 해당 저널에 출판된 모든 내용물들의 인용횟수의 총 합이다. 그러나 임팩트 팩터 계산의 '분모' (denominator) 는 Thomson Scientific 사에서 연구논문 (Primary research articles) 이나 리뷰논문 (Review articles) 으로 지정한 논문에 한한다. 저널의 "Front matter", 즉 네이처의 "News and Views" 에 실린 뉴스기사 등은 포함되지 않는다. 따라서 임팩트 팩터 계산에는 분모로 포함되지 않는 "Front matter" 류의 뉴스기사등의 인용도 들어간다는 문제가 생긴다.

2,  논문의 내용물이 연구논문인지, 리뷰인지, 아니면 "Front Matter" 인지는 Thomson Scientific 직원에 의해서 키워드나 인용문헌 갯수 등의 여러가지 기준에 의해서 수작업으로 결정된다.

3, 특정 출판사들은 Thomson Scientific 과 협상을 해서 자신들에 유리하도록 논문의 분류를 바꾼다. 이러한 구체적인 협상 내역은 대중에게는 공개되지 않는다. 그러나 특정 저널의 임팩트 팩터가 갑자기 증가한다면 무슨 일이 일어났는지 궁금해 하지 않을 수 없다. 예를 들어서 Current Biology 의 impact factor 는 2002년에 7.00 에서 2003년에는 11.91 로 급격히 증가하였다. impact factor 계산의 '분모' (역주 : 연구논문 및 리뷰로 분류된 논문갯수) 는 2002년의 1032 에서 2003년에는 634로 감소되었는데, 논문에 실린 전체 기사수는 오히려 증가하였다.

4. 철회된 논문에 대한 인용도 임팩트 팩터 계산에 사용된다. 가장 최악의 예를 들자면, 황우석의 2004년, 2005년 사이언스 줄기세포 논문은 모두 이후에 철회되었으나 2007년 11월 20일 현재 모두 419 번 인용되었다. 이 논문의 인용수를 하나라도 더 늘리는 것을 방지하기 위해서 우리는 여기서 해당 논문에 대한 인용은 생락한다.

5. 임팩트 팩터 계산은 평균치이기 때문에 "킹왕짱인용많이되는" 논문에 의해서 왜곡될 수 있다. 예를 들어 네이처에 게제된 최초의 휴먼 지놈 관련 논문은 2007년 11월 20일 현재 무려 5,904번이나 인용되었다. 네이처의 2005년 임팩트 팩터 자체분석에 따르면 네이처 인용의 89% 가 전체의 25% 논문에 의해 발생되었다고 한다.

Thomson Scientific 에 "임팩트 팩터 계산시에 평균값과 동시에 중간값도 같이 제공할 수 없느냐라고 문의해 본 결과 이런 답변이 왔다. "흥미있는 제안이다...중간값은 대개 평균값보다 훨씬 낮은 값이다. 논문 인용빈도 분포가 편중되어 있다는 것을 설명할 수 있는 통계치가 여러가지 있겠지만 아마 중간값은 최적의 선택은 아닐 것이다" 아마 그럴지도 모른다. 그러나 평균과 더불어 중간값을 제공해도 독자들에게 해가 될 것은 없을 거이며, 이러한 언급은 임팩트 팩터값이 (킹왕짱 인용많이되는 일부 논문을 제외한) 대부분의 논문의 평균값과는 거리가 있다는 것을 자인하는 셈이다. 

이외에도 "임팩트 팩터값 가지고 장난칠 수 있는 꽁수가 몇 가지 있는데 이들은 모든 저널 에디터라면 익히 잘 알고 있는 것들이다 (일부에서는 실제로 하는 일이다). 예를 들어서 리뷰 논문은 일반적으로 연구논문에 비해 인용이 많이 되며, 또한 지놈관련 논문등 데이터가 많은 논문들 역시 인용이 많이 된다. (역주 : 리뷰의 비중을 늘리면 임팩트 팩터 늘리는 것은 쉽다. 사실 논문 쓸때 오리지널 페이퍼 일일히 찾아서 사이테이션 하는 것보다 리뷰논문 하나 사이테이션하는 게 더 쉽다. ㅠ) 우리는  Thomson Scientific 사에 리뷰논문을 제외한 연구논문만에 대한 임팩트 팩터를 제공할 의향이 없느냐고 문의하였으나 무응답.

그럼 논문 인용 데이터 자체는 제대로인가?

저널 에디터에게 데이터의 integrity란 대중에게 제시된 데이터가 실제로 관찰된 데이터를 얼마나 정확히 반영하는가를 의미한다. 이를 확인하기 위해서 Rockefeller University Press (역주 : JCB의 출판사) 는 개제승인된 논문의 이미지 데이터를 철저히 분석하는 방침을 세웠다. 물론 이미지 데이터 이외에도 다른 종류의 데이터가 논문에 실리긴 하지만, 일단 이미지 데이터는 데이터의 정직성을 쉽게 검사할 수 있는 데이터이다. 만약 논문 데이터에 문제가 제기될 경우 저자에게 원본 데이터를 제출할 것을 요구한다. 우리는 이렇게 우리 저널에 출판되는 데이터를 보호하는 것이 우리의 의무라고 간주한다. 

Thomson Scientific 은 저널에 인용빈도 데이터를 판매한다. 어떤 주제가 많이 인용되며, 어떤 주제가 그렇지 않은지를 분석할 목적으로 우리는 3개 저널 (Journal of Experimental Medicine, Journal of Cell Biology, Journal of General Physiology) 에 대한 데이터와 몇몇 경쟁저널에 대한 데이터를 구매하였다. 우리의 본래 의도는 데이터가 제대로 되어 있는지를 검증할 목적은 아니었다. 

그러나 Thomson Scientific 의 데이터를 살펴보니 두 가지 사실이 명백해졌다. 첫번째는 기사 종류의 분류에서 수많은 오류가 발견되었다. 우리가 "front matter" 로 간주하는 기사들의 상당수가 임팩트 팩터 계산에 사용되는 "분모"로 분류된 것이 발견되었다. 이러한 오류는 우리가 조사한든 저널에서 공통적으로 발견되었다. 두번째는 숫자 계산이 맞지 않았다. 즉 각각의 논문의 전체 인용숫자는 Thomson Scientific 의 JCR 웹사이트에 나와있는 숫자에 비해서 매우 적었다. 이러한 인용빈도 숫자의 차이는 특정 저널에 따라서 19% 나 되었으며, 우리가 조사한 저널들에서 톰슨사에서 구매한 데이터를 이용해서 직접 계산하였을때 임팩트 팩터 순위가 바뀌는 일도 있었다.

데이터베이스에도 니껏 네껏이 있냐?

이러한 문제점을 우리는 Thomson 에 문의해 봤더니 하는 말 "2개의 데이터베이스가 존재한다. 니네가 구입한 것은 'Research Group' 용이고 임팩트 팩터 계산에 이용된 데이터베이스는 따로 있다." 왜 이게 두 개가 있냐 하면 논문 Citation 시에 저자 이름이나 저널 번호를 제대로 맞추지 않은 잘못된 Citation 을 해놓은 논문이 엄청 많고, 'Research Group' 용의 데이터베이스는 이런 잘못된 사이테이션은 다 제거된 것이고, 임팩트 팩터 계산에는 저널 이름만 맞으면 카운트되도록 해 놓은 데이터베이스를 쓴다고 했다. 그래서 잘못된 사이테이션을 가진 데이터, 즉 임팩트 팩터 계산에 사용된 데이터베이스를 내놔보라고 했다. 그렇게 받은 데이터베이스로 계산을 해봐도 역시 발표된 임팩트 팩터 숫자하고는 틀리게 나왔다.  이 데이터베이스는 기존에 나온 임팩트 팩터값을 그대로 나오게 하도록 임시로 짜맞추어진 것처럼 보였다. 그런데도 틀린 값이 나온다.

투명한 데이터

이로써 Thomson Scientific 은 자신들이 임팩트 팩터를 계산할 때 사용한 데이터를 우리에게 줄 능력이 없다(혹은 줄 생각이 없거나) 라는 것이 명백해졌다. 만약 우리 저널에 논문을 제출한 저자가 의심가는 데이터를 입증할 수 있는 오리지널 데이터를 내놓지 못한다면 우리는 게제승인된 논문이라도 걍 가차없이 취소시켜 버린다. 동일한 기준을 임팩트 팩터에 적용해 보자. 과연 제대로 된 근거 자료를 제공하지 못하는 임팩트 팩터를 특정한 저널 혹은 논문의 질을 설명하는 지표로 인정할 수 있겠는가? 

  과학자들이 실험데이터를 보지 않고서 과학논문의 연구결과를 인정하지 않듯이, 제대로 공개되지 않은 데이터에 근거한 Thomson 사의 임팩트 팩터를 가지고 저널 및 논문의 퀄리티를 판단해서는 안된다. PubMed나 PubMed Central, Google Scholar 와 같은 대중에게 공개된 서비스를 통해서 논문 및 인용 데이터가 공개되고 있는 상황에서 이제 누군가가 임팩트 팩터처럼 문제가 많고 비과학적인 수치보다는 제대로 된 논문의 퀄리티를 측정하는 수치를 만들기를 기대한다. 

---------------------------------------

참고로 여기에 대한 톰슨사의 반박은 여기서 읽어보시길. (더이상의 번역은 생략한다. ㅠㅠ)

끝으로 역자의 1줄 주장  : IF보다는 논문을 '실제로 읽고' 논문이든 저널이든 평가하자.