2007년 01월 02일
소프트웨어 버그로 5개 페이퍼 철회
Science 최신호에 실린 기사 (원문을 보기 위해서는 Science 를 개인적으로 구독하거나, 구독하는 기관 - 학교 등- 에 소속되어 있어야 합니다)
흔히 일반인들은 Science니, Nature니, Cell 이니 하는 '세계적인 저널' 에 나오는 논문들은 완전무결한 '진실' 이라고 생각하는 경향이 있지만, 실제로는 반드시 그렇지는 않다.
물론 누구누구처럼 실제로 하지도 않은 실험을 포샵 조작으로 만들어서 '세계적 사기꾼' 의 반열에 오르는 코메디는 아니더라도 다른 사람이 실험을 해보니 아무리 해도 재현이 되지 않더라 등등의 문제로 애써 낸 논문을 철회하는 일은 일년에도 종종 있는 일. 사소한 데이터 오류 등으로 추후에 정정기사가 나오는 것은 일 정도는 부지기수.
실험은 제대로 되었지만 데이터 분석 프로그램의 버그로 인해서 잘못된 결과가 도출되었을 경우에는 어떨까? 이 역시 마찬가지. Scripps Institue 에 있는 어떤 단백질 결정학자의 경우에는 데이터 분석에 사용되던 프로그램의 버그로 무려 5건의 페이퍼 (그 중 3건은 Science에 게제된 논문) 에 잘못된 구조를 실었다는 것을 확인하고, 위 논문 5건을 모두 스스로 철회하였다.

이런 것이 밝혀지게 된 연유는 다음과 같다.
다른 사람들이 이 단백질과 비슷한 구조를 가질 것이라고 예상한 단백질의 구조를 밝혀 보니 예상과는 엉뚱하게 다르고 (위 그림 왼쪽. 보라색은 문제가 있는 구조, 녹색은 구조가 유사하리라고 생각되는 새로운 구조) 오른쪽 그림과 같이 원래 단백질 구조를 뒤집어 놓으니 새롭게 밝혀진 단백질 구조와 비슷하다는 것이 밝혀졌다. 이거 뭔가 이상한데..
원래의 논문 저자가 허겁지겁 원인을 파악해 보니 실험 데이터를 프로세싱하여 단백질 구조를 유추해 내는 프로그램에 아주 사소한 버그가 있어서 이런 결과가 나왔다라는 것이 증명되었고, 동일한 프로그램을 사용하여 구조를 풀어낸 다른 페이퍼 5건에도 비슷한 문제가 있다는 것이 확인되었고, 이런 경우에 최선의 방법은 스스로 문제를 인정하고, 이미 발표된 페이퍼를 철회하는 것이 상식. (그렇게 하지 않으면 영원히 이 바닥에서 장사 못하는 것은 불문율.)
그나마 이 건은 실험은 다 제대로 되었지만 마지막 해석 과정의 실수로 뒤집힌 구조를 만들어 낸 것 뿐이지만, (만약 프로그램에 버그만 없었다면 아무런 문제가 없었을 것이다), 하지도 않은 실험을 했다고 조작한 것과는 차원이 틀린 문제인 것이다.
흔히 일반인들은 Science니, Nature니, Cell 이니 하는 '세계적인 저널' 에 나오는 논문들은 완전무결한 '진실' 이라고 생각하는 경향이 있지만, 실제로는 반드시 그렇지는 않다.
물론 누구누구처럼 실제로 하지도 않은 실험을 포샵 조작으로 만들어서 '세계적 사기꾼' 의 반열에 오르는 코메디는 아니더라도 다른 사람이 실험을 해보니 아무리 해도 재현이 되지 않더라 등등의 문제로 애써 낸 논문을 철회하는 일은 일년에도 종종 있는 일. 사소한 데이터 오류 등으로 추후에 정정기사가 나오는 것은 일 정도는 부지기수.
실험은 제대로 되었지만 데이터 분석 프로그램의 버그로 인해서 잘못된 결과가 도출되었을 경우에는 어떨까? 이 역시 마찬가지. Scripps Institue 에 있는 어떤 단백질 결정학자의 경우에는 데이터 분석에 사용되던 프로그램의 버그로 무려 5건의 페이퍼 (그 중 3건은 Science에 게제된 논문) 에 잘못된 구조를 실었다는 것을 확인하고, 위 논문 5건을 모두 스스로 철회하였다.

이런 것이 밝혀지게 된 연유는 다음과 같다.
다른 사람들이 이 단백질과 비슷한 구조를 가질 것이라고 예상한 단백질의 구조를 밝혀 보니 예상과는 엉뚱하게 다르고 (위 그림 왼쪽. 보라색은 문제가 있는 구조, 녹색은 구조가 유사하리라고 생각되는 새로운 구조) 오른쪽 그림과 같이 원래 단백질 구조를 뒤집어 놓으니 새롭게 밝혀진 단백질 구조와 비슷하다는 것이 밝혀졌다. 이거 뭔가 이상한데..
원래의 논문 저자가 허겁지겁 원인을 파악해 보니 실험 데이터를 프로세싱하여 단백질 구조를 유추해 내는 프로그램에 아주 사소한 버그가 있어서 이런 결과가 나왔다라는 것이 증명되었고, 동일한 프로그램을 사용하여 구조를 풀어낸 다른 페이퍼 5건에도 비슷한 문제가 있다는 것이 확인되었고, 이런 경우에 최선의 방법은 스스로 문제를 인정하고, 이미 발표된 페이퍼를 철회하는 것이 상식. (그렇게 하지 않으면 영원히 이 바닥에서 장사 못하는 것은 불문율.)
그나마 이 건은 실험은 다 제대로 되었지만 마지막 해석 과정의 실수로 뒤집힌 구조를 만들어 낸 것 뿐이지만, (만약 프로그램에 버그만 없었다면 아무런 문제가 없었을 것이다), 하지도 않은 실험을 했다고 조작한 것과는 차원이 틀린 문제인 것이다.
# by | 2007/01/02 10:13 | Science | 트랙백 | 덧글(2)




☞ 내 이글루에 이 글과 관련된 글 쓰기 (트랙백 보내기) [도움말]
과연 사용하는 프로그램의 Module이 올바른 방법대로 적용하고 있는 것인지 헤깔려 할때가 있는데, 조심해야 겠네요.
(통계적인 지식이 중요하다는 생각이 들기도 하고...)
마지막으로
Newbie님 새해 복 많이 받으세요.^^
(데이터의 컬럼이 뒤바뀌는 수준의...)
사실 이쪽 관련 프로그램들의 문제보다는 대개 데이터 자체의 불완전함에서 생기는 문제가 많긴 하지만, 꽤나 이런 문제가 많은 것 같습니다. 경험해 본 적도 있고..
그래서 이쪽 분야에서는 그냥 오랫동안 검증되어 왔고 사람들이 많이 쓰는 프로그램을 안전하게 쓰는 것이 낫다는 생각도 듭니다.
그리고..
terra19 님도 새해 복많이 받으십시오.