더 적은 수의 고품질 논문을 발표하기 위한 연구자의 고민!
현대 사회에서 우리 모두, 특히 학술 연구자들은 과중한 업무에 시달리고 있다고 해도 과언이 아닐 것입니다. 작성해야 할 논문, 제출해야 할 연구비 신청서, 제출해야 할 행정 보고서, 활동해야 할 위원회, 참석해야 할 컨퍼런스, 수행해야 할 논문 원고(및 연구 제안서) 검토는 항상 더 많습니다. 특히 학술 논문의 경우, 동료 심사 연구 출판물의 수가 매년 약 8~9%씩 빠르게 증가하고 있습니다. 특히, 가장 빠르게 성장하는 연구 분야 중 하나인 재생 에너지 연구는 에너지 연구 저널의 수 뿐만 아니라 출판물 수도 크게 증가하고 있습니다. 우리는 점점 더 빨라지는 영원한 러닝머신 위에 있는 것 같고, 더 나쁜 것은 코스를 바꿀 힘이 없는 것 같습니다. 모두가 연구 노력으로 영향력을 발휘하기 위해 점점 더 열심히 일하고 있는 것은 분명하지만, 우리가 더 많은 진전을 이루고 있거나 더 나아지고 있는지는 분명하지 않습니다. 이러한 현상은 고전적인 경제학 이론인 '혁명'에 잘 들어맞는 것 같습니다.
따라서 저는 학계 연구 커뮤니티에 다음과 같은 질문을 던지고 싶습니다! 우리 모두 논문을 더 적게 발표해야 할까요? 이 명제를 통해 저는 우리 모두가 "느슨하게" 일하자는 것이 아니라, 일상적이거나 점진적인 연구를 많이 발표하는 대신 새롭고 중요한 과학적 통찰을 담은 더 적은 수의 고품질 논문을 발표하기 위해 더 열심히 노력해야 한다고 주장합니다. '살라미' 논문 문제는 오래전부터 제기되어 왔고, '샌드위치 논문'에 대한 저의 사설도 많은 독자의 공감을 얻은 바 있습니다. 하지만 ChatGPT와 같이 새롭게 등장한 생성형 및 대규모 언어 모델 인공지능 도구는 이 문제를 더욱 심각하게 만들고 있습니다. 이러한 AI 도구의 도움으로 겉보기에 합리적인 연구 논문(원본 연구 논문과 리뷰 모두)을 매우 빠르게 작성할 수 있게 되었으며, 이에 대한 가이드라인도 개발되고 있습니다. 놀랍게도 일부 연구 원고는 이미 이러한 AI 도구를 사용하여 검토된 적이 있을 것입니다. 그렇다면 우리 중 일부는 더 많은 논문을 더 빨리 읽을 수 있도록 연구 논문을 요약하는 데 AI에 의존하고 있을 것입니다. 이런 상황에서 우리 지구의 인간들이 AI 기계와 경쟁하며 더 많은 연구 논문을 작성하기 위해 노력하는 것은 무의미합니다. 대신, 우리는 AI 도구가 잘 할 수 없는 일, 즉 과학적 질문에 실제로 답하고 이전에는 해결할 수 없었던 문제를 해결하는 창의적이고 독창적이며 중요한 새로운 연구 작업에 집중해야 합니다. 제가 알기로는 아직까지 언어 AI 도구는 이러한 과제를 해결하는 데 그다지 능숙하지 않습니다.
매주 새로운 학술 연구 저널이 계속 생겨나는 이유도 궁금합니다. 저도 저널 편집자로서 새로운 학술지 발표의 어지러운 속도를 따라잡을 수 없었고, 이 모든 것을 이해할 수 없었습니다. 물론 일부 연구 분야가 급성장하고 있고 실제로 연구 논문의 폭발적인 증가를 수용하기 위해 전통적인 학문 분야와는 다른 새로운 출판 공간이 필요하다는 사실에 이의를 제기하는 것은 아니지만, 수많은 신생 학술지의 이름과 범위를 살펴보면 꼭 그렇지만은 않습니다. 특히 대부분의 신생 저널이 온라인 전용인 지금, 고도로 전문적이고 특정한 주제에 관한 소규모 저널을 한 곳에 모아 보관하는 대신(일부는 1년에 수십 편의 논문만 게재할 수도 있습니다) 점점 더 많은 저널을 설립하는 것의 차이점과 이점은 무엇일까요? 학술 출판물의 증가 속도가 학술지의 증가 속도보다 훨씬 더 느리다면, 출판된 논문은 점점 더 여러 학술지 웹 사이트에 파편화된 형태로 보관될 것입니다. 약탈적인 오픈 액세스 저널과 출판사의 범람으로 인해 학술 사기가 발생하고 수많은 논문이 철회되는 것은 말할 것도 없습니다.
새로운 저널이 확산됨에 따라 원고가 점점 더 많은 저널을 옮겨 다니며 반복적으로 재투고될 수 있으며, 이는 더 많은 편집자와 심사자가 동일한 연구 작업을 자발적인 봉사 차원에서 반복적으로 평가해야 한다는 것을 의미합니다. 이는 의심할 여지없이 모든 학술 연구자의 업무량 증가에 기여하지만 커뮤니티 전체에 실질적인 혜택은 거의 없는 결과를 초래합니다. 작성된 모든 논문은 결국 어느 학술지에 게재되기 때문에 투고 횟수가 적을수록 전체 커뮤니티의 업무량은 줄어듭니다. 저널 확산 문제는 논문 수 증가 문제와도 관련이 있습니다. 논문의 의미와 가치에 관계없이 출판물의 수가 계속 빠르게 증가하면 출판사는 더 많은 콘텐츠를 확보할 수 있고 더 많은 저널을 만들 동기를 부여받게 됩니다. 간단히 말해, 수요가 많으면 공급도 늘어날 것입니다. 원고 심사 요청을 거절하기는 쉽지만, 특히 초대를 받는다면 또 다른 새로운 저널에 게재하고 싶은 유혹을 뿌리칠 수 있을까요? 아마도 연구 커뮤니티(우리 실무 과학자)는 이 문제에 어떻게 접근할 것인지에 대해 솔직하고 건전한 대화를 나눌 필요가 있을 것입니다.
우리 모두는 이성적인 과학자이기 때문에 왜 이런 비생산적인 사이클에서 벗어날 수 없는지 물어볼 필요가 있습니다. 결론은 우리 모두가 평가와 인센티브 시스템에 의해 동기를 부여받고 있다는 것입니다. 연구 성과와 연구자의 생산성 및 영향력을 평가할 때 몇 가지 정량적 지표, 즉 논문 게재 수, 연구물이 게재된 학술지의 영향력 지수, 인용 횟수 등을 사용하는 것이 언제나 더 간단하고 쉽습니다. 평가 프로세스가 존재하는 한, 어떤 형태의 '빈 카운팅'을 완전히 피하는 것은 불가능할 것입니다. 따라서 더 적은 수의 (그리고 더 신중하고 영향력 있는) 논문을 출판하는 데 더 많은 인센티브를 제공하기 위해 "콩을 세는" 방식을 개선할 수 있을 것입니다. 허쉬 지수(h-인자)는 결함이 있기는 하지만, 개별 연구자의 과학적 성과를 평가하는 데 가장 일반적으로 사용되는 지표 중 하나가 되었습니다. 여기서 저는 특정 연구자의 총 출판물 수에 대한 H-인덱스의 비율은 연구 논문 중 몇 퍼센트의 논문이 실제로 (적어도 피인용 측면에서) 영향력을 발휘했는지에 대한 더 많은 정보를 알려준다고 주장합니다. 이 비율을 원래 h-지수의 가중치로 사용하여 "가중 h-지수"를 계산할 수 있는데, 이는 매우 많은 수의 출판물을 보유하고 그 중 일부가 영향력이 큰 사람과 출판물 수는 적지만 그 중 일부가 영향력이 큰 사람 사이의 차이를 반영하여 후자의 경우에 인센티브를 줄 수 있습니다. 물론 h/총 발행물 수의 비율에 제곱근이나 다른 연산을 사용하여 이 비율의 가중치를 얼마나 다르게 할 것인지에 대해 더 논의하거나 세분화할 수 있습니다.
저는 비교적 '생산적'이라고 여겨지는 과학자로서 제 자신도 꽤 많은 논문을 발표해 왔으며, 여기서도 문제의 일부가 될 수 있음을 인정해야 합니다. 제출된 원고의 절반이 특정 저널에 게재된다고 가정하면, 게재된 원고마다 일반적으로 최소 4번의 동료 검토가 진행됩니다. 제가 투고한 논문 수에 상응하는 동료 심사를 충분히 했는지 잘 모르겠습니다. '죄책감'을 느끼면서 점점 더 스스로에게 묻고 있습니다. '내가 정말 그 논문을 써야 할까? 내 논문이 어떤 차이를 만들 수 있을까? 내 논문이 어떤 과학적(또는 공학적) 문제를 해결하는 데 도움이 될까, 내 논문이 어떤 새로운 질문에 답할 수 있을까? 흥미롭고, 의미 있고, 중요한 진전인가? 하고 싶은 말이 없고 비슷한 주제에 대한 리뷰가 이미 존재하는데 굳이 리뷰 원고를 써야 하나요? 물론 이러한 질문들, 특히 특정 연구 논문의 중요성과 잠재적 영향력에 대한 모든 질문에 선험적으로 완전히 답할 수는 없지만 적어도 내부적으로 이에 대한 토론에 참여할 필요가 있습니다. 또한, 같은 실험 결과를 가지고도 더 간결하고 효율적이면서도 명확하고 정확하게 요약하여 더 적은 분량의 논문으로 출판할 수 있다면 미래의 독자들이 제 논문을 읽는 데 드는 시간과 노력을 더 가치 있게 사용할 수 있을까요(AI 도구를 사용하여 논문을 처리하도록 유도하는 대신)? 위의 목표를 달성하는 데 진전이 있는지 확실하지 않지만, 대안이 좋지 않기 때문에 노력해야 합니다. 이 사설에서 제가 유용한 지적을 하고 있는지는 잘 모르겠지만, 그렇지 않으면 지속 불가능한 길을 가고 있다고 확신하기 때문에 논문을 더 적게 발표하려는 노력에 여러분도 동참해 주셨으면 좋겠습니다.
마지막으로, 다시 ACS 에너지 레터스의 편집자 입장에서 생각해 보면, 모두가 논문을 적게 쓰려고 노력한다면 ACS 에너지 레터스에 제출되는 원고의 수가 줄어들지 않을까요? 제가 수정 구슬을 갖고 있지는 않습니다. 그럴 수도 있겠지만, 결국에는 원고 채택률이 높아져 비슷한(또는 더 높은) 수의 고품질 논문이 출판될 수도 있습니다(대부분의 학술지는 원고 채택률을 공개하지 않음에 유의하세요). 우리 저널의 저널 영향력 지수(JIF)가 더 낮을 수도 있고, 많은 동료 저널도 마찬가지겠지만, 저자가 더 적은 논문을 쓰고 편집자와 리뷰어가 더 적은 원고를 평가해야 한다는 의미라면, 그래서 우리 모두의 업무량이 더 가벼워진다면, 이는 우리 모두가 기꺼이 받아들여야 할 거래가 아닐까요?
이 사설을 읽고 이러한 문제에 대해 생각해 주셔서 감사드리며, 어떤 토론과 논의도 환영합니다. ACS 에너지 레터스는 여러분의 다음 흥미로운 재생 에너지 연구 결과를 기다리겠습니다!
*자료: ACS Energy Lett. 9, 4196–4198 (2024).
*본 글은 원병묵 님(성균관대 신소재공학부)이 페이스북에 공유한 글로 동의를 받고 숲사이에 소개합니다.
#과학자되기
더 적은 수의 고품질 논문을 발표하기 위한 연구자의 고민!
현대 사회에서 우리 모두, 특히 학술 연구자들은 과중한 업무에 시달리고 있다고 해도 과언이 아닐 것입니다. 작성해야 할 논문, 제출해야 할 연구비 신청서, 제출해야 할 행정 보고서, 활동해야 할 위원회, 참석해야 할 컨퍼런스, 수행해야 할 논문 원고(및 연구 제안서) 검토는 항상 더 많습니다. 특히 학술 논문의 경우, 동료 심사 연구 출판물의 수가 매년 약 8~9%씩 빠르게 증가하고 있습니다. 특히, 가장 빠르게 성장하는 연구 분야 중 하나인 재생 에너지 연구는 에너지 연구 저널의 수 뿐만 아니라 출판물 수도 크게 증가하고 있습니다. 우리는 점점 더 빨라지는 영원한 러닝머신 위에 있는 것 같고, 더 나쁜 것은 코스를 바꿀 힘이 없는 것 같습니다. 모두가 연구 노력으로 영향력을 발휘하기 위해 점점 더 열심히 일하고 있는 것은 분명하지만, 우리가 더 많은 진전을 이루고 있거나 더 나아지고 있는지는 분명하지 않습니다. 이러한 현상은 고전적인 경제학 이론인 '혁명'에 잘 들어맞는 것 같습니다.
따라서 저는 학계 연구 커뮤니티에 다음과 같은 질문을 던지고 싶습니다! 우리 모두 논문을 더 적게 발표해야 할까요? 이 명제를 통해 저는 우리 모두가 "느슨하게" 일하자는 것이 아니라, 일상적이거나 점진적인 연구를 많이 발표하는 대신 새롭고 중요한 과학적 통찰을 담은 더 적은 수의 고품질 논문을 발표하기 위해 더 열심히 노력해야 한다고 주장합니다. '살라미' 논문 문제는 오래전부터 제기되어 왔고, '샌드위치 논문'에 대한 저의 사설도 많은 독자의 공감을 얻은 바 있습니다. 하지만 ChatGPT와 같이 새롭게 등장한 생성형 및 대규모 언어 모델 인공지능 도구는 이 문제를 더욱 심각하게 만들고 있습니다. 이러한 AI 도구의 도움으로 겉보기에 합리적인 연구 논문(원본 연구 논문과 리뷰 모두)을 매우 빠르게 작성할 수 있게 되었으며, 이에 대한 가이드라인도 개발되고 있습니다. 놀랍게도 일부 연구 원고는 이미 이러한 AI 도구를 사용하여 검토된 적이 있을 것입니다. 그렇다면 우리 중 일부는 더 많은 논문을 더 빨리 읽을 수 있도록 연구 논문을 요약하는 데 AI에 의존하고 있을 것입니다. 이런 상황에서 우리 지구의 인간들이 AI 기계와 경쟁하며 더 많은 연구 논문을 작성하기 위해 노력하는 것은 무의미합니다. 대신, 우리는 AI 도구가 잘 할 수 없는 일, 즉 과학적 질문에 실제로 답하고 이전에는 해결할 수 없었던 문제를 해결하는 창의적이고 독창적이며 중요한 새로운 연구 작업에 집중해야 합니다. 제가 알기로는 아직까지 언어 AI 도구는 이러한 과제를 해결하는 데 그다지 능숙하지 않습니다.
매주 새로운 학술 연구 저널이 계속 생겨나는 이유도 궁금합니다. 저도 저널 편집자로서 새로운 학술지 발표의 어지러운 속도를 따라잡을 수 없었고, 이 모든 것을 이해할 수 없었습니다. 물론 일부 연구 분야가 급성장하고 있고 실제로 연구 논문의 폭발적인 증가를 수용하기 위해 전통적인 학문 분야와는 다른 새로운 출판 공간이 필요하다는 사실에 이의를 제기하는 것은 아니지만, 수많은 신생 학술지의 이름과 범위를 살펴보면 꼭 그렇지만은 않습니다. 특히 대부분의 신생 저널이 온라인 전용인 지금, 고도로 전문적이고 특정한 주제에 관한 소규모 저널을 한 곳에 모아 보관하는 대신(일부는 1년에 수십 편의 논문만 게재할 수도 있습니다) 점점 더 많은 저널을 설립하는 것의 차이점과 이점은 무엇일까요? 학술 출판물의 증가 속도가 학술지의 증가 속도보다 훨씬 더 느리다면, 출판된 논문은 점점 더 여러 학술지 웹 사이트에 파편화된 형태로 보관될 것입니다. 약탈적인 오픈 액세스 저널과 출판사의 범람으로 인해 학술 사기가 발생하고 수많은 논문이 철회되는 것은 말할 것도 없습니다.
새로운 저널이 확산됨에 따라 원고가 점점 더 많은 저널을 옮겨 다니며 반복적으로 재투고될 수 있으며, 이는 더 많은 편집자와 심사자가 동일한 연구 작업을 자발적인 봉사 차원에서 반복적으로 평가해야 한다는 것을 의미합니다. 이는 의심할 여지없이 모든 학술 연구자의 업무량 증가에 기여하지만 커뮤니티 전체에 실질적인 혜택은 거의 없는 결과를 초래합니다. 작성된 모든 논문은 결국 어느 학술지에 게재되기 때문에 투고 횟수가 적을수록 전체 커뮤니티의 업무량은 줄어듭니다. 저널 확산 문제는 논문 수 증가 문제와도 관련이 있습니다. 논문의 의미와 가치에 관계없이 출판물의 수가 계속 빠르게 증가하면 출판사는 더 많은 콘텐츠를 확보할 수 있고 더 많은 저널을 만들 동기를 부여받게 됩니다. 간단히 말해, 수요가 많으면 공급도 늘어날 것입니다. 원고 심사 요청을 거절하기는 쉽지만, 특히 초대를 받는다면 또 다른 새로운 저널에 게재하고 싶은 유혹을 뿌리칠 수 있을까요? 아마도 연구 커뮤니티(우리 실무 과학자)는 이 문제에 어떻게 접근할 것인지에 대해 솔직하고 건전한 대화를 나눌 필요가 있을 것입니다.
우리 모두는 이성적인 과학자이기 때문에 왜 이런 비생산적인 사이클에서 벗어날 수 없는지 물어볼 필요가 있습니다. 결론은 우리 모두가 평가와 인센티브 시스템에 의해 동기를 부여받고 있다는 것입니다. 연구 성과와 연구자의 생산성 및 영향력을 평가할 때 몇 가지 정량적 지표, 즉 논문 게재 수, 연구물이 게재된 학술지의 영향력 지수, 인용 횟수 등을 사용하는 것이 언제나 더 간단하고 쉽습니다. 평가 프로세스가 존재하는 한, 어떤 형태의 '빈 카운팅'을 완전히 피하는 것은 불가능할 것입니다. 따라서 더 적은 수의 (그리고 더 신중하고 영향력 있는) 논문을 출판하는 데 더 많은 인센티브를 제공하기 위해 "콩을 세는" 방식을 개선할 수 있을 것입니다. 허쉬 지수(h-인자)는 결함이 있기는 하지만, 개별 연구자의 과학적 성과를 평가하는 데 가장 일반적으로 사용되는 지표 중 하나가 되었습니다. 여기서 저는 특정 연구자의 총 출판물 수에 대한 H-인덱스의 비율은 연구 논문 중 몇 퍼센트의 논문이 실제로 (적어도 피인용 측면에서) 영향력을 발휘했는지에 대한 더 많은 정보를 알려준다고 주장합니다. 이 비율을 원래 h-지수의 가중치로 사용하여 "가중 h-지수"를 계산할 수 있는데, 이는 매우 많은 수의 출판물을 보유하고 그 중 일부가 영향력이 큰 사람과 출판물 수는 적지만 그 중 일부가 영향력이 큰 사람 사이의 차이를 반영하여 후자의 경우에 인센티브를 줄 수 있습니다. 물론 h/총 발행물 수의 비율에 제곱근이나 다른 연산을 사용하여 이 비율의 가중치를 얼마나 다르게 할 것인지에 대해 더 논의하거나 세분화할 수 있습니다.
저는 비교적 '생산적'이라고 여겨지는 과학자로서 제 자신도 꽤 많은 논문을 발표해 왔으며, 여기서도 문제의 일부가 될 수 있음을 인정해야 합니다. 제출된 원고의 절반이 특정 저널에 게재된다고 가정하면, 게재된 원고마다 일반적으로 최소 4번의 동료 검토가 진행됩니다. 제가 투고한 논문 수에 상응하는 동료 심사를 충분히 했는지 잘 모르겠습니다. '죄책감'을 느끼면서 점점 더 스스로에게 묻고 있습니다. '내가 정말 그 논문을 써야 할까? 내 논문이 어떤 차이를 만들 수 있을까? 내 논문이 어떤 과학적(또는 공학적) 문제를 해결하는 데 도움이 될까, 내 논문이 어떤 새로운 질문에 답할 수 있을까? 흥미롭고, 의미 있고, 중요한 진전인가? 하고 싶은 말이 없고 비슷한 주제에 대한 리뷰가 이미 존재하는데 굳이 리뷰 원고를 써야 하나요? 물론 이러한 질문들, 특히 특정 연구 논문의 중요성과 잠재적 영향력에 대한 모든 질문에 선험적으로 완전히 답할 수는 없지만 적어도 내부적으로 이에 대한 토론에 참여할 필요가 있습니다. 또한, 같은 실험 결과를 가지고도 더 간결하고 효율적이면서도 명확하고 정확하게 요약하여 더 적은 분량의 논문으로 출판할 수 있다면 미래의 독자들이 제 논문을 읽는 데 드는 시간과 노력을 더 가치 있게 사용할 수 있을까요(AI 도구를 사용하여 논문을 처리하도록 유도하는 대신)? 위의 목표를 달성하는 데 진전이 있는지 확실하지 않지만, 대안이 좋지 않기 때문에 노력해야 합니다. 이 사설에서 제가 유용한 지적을 하고 있는지는 잘 모르겠지만, 그렇지 않으면 지속 불가능한 길을 가고 있다고 확신하기 때문에 논문을 더 적게 발표하려는 노력에 여러분도 동참해 주셨으면 좋겠습니다.
마지막으로, 다시 ACS 에너지 레터스의 편집자 입장에서 생각해 보면, 모두가 논문을 적게 쓰려고 노력한다면 ACS 에너지 레터스에 제출되는 원고의 수가 줄어들지 않을까요? 제가 수정 구슬을 갖고 있지는 않습니다. 그럴 수도 있겠지만, 결국에는 원고 채택률이 높아져 비슷한(또는 더 높은) 수의 고품질 논문이 출판될 수도 있습니다(대부분의 학술지는 원고 채택률을 공개하지 않음에 유의하세요). 우리 저널의 저널 영향력 지수(JIF)가 더 낮을 수도 있고, 많은 동료 저널도 마찬가지겠지만, 저자가 더 적은 논문을 쓰고 편집자와 리뷰어가 더 적은 원고를 평가해야 한다는 의미라면, 그래서 우리 모두의 업무량이 더 가벼워진다면, 이는 우리 모두가 기꺼이 받아들여야 할 거래가 아닐까요?
이 사설을 읽고 이러한 문제에 대해 생각해 주셔서 감사드리며, 어떤 토론과 논의도 환영합니다. ACS 에너지 레터스는 여러분의 다음 흥미로운 재생 에너지 연구 결과를 기다리겠습니다!
*자료: ACS Energy Lett. 9, 4196–4198 (2024).
*본 글은 원병묵 님(성균관대 신소재공학부)이 페이스북에 공유한 글로 동의를 받고 숲사이에 소개합니다.
#과학자되기