Воспроизводимость результата — краеугольный камень науки. Претендент на звание научного факта должен проверяться снова и снова. Но даже пройдя все испытания, он может быть заменён другим знанием. Например, ньютоновская механика оказалась частным случаем общей теории относительности Эйнштейна, а мантра «один ген — один белок» — частным случаем транскрипции и трансляции ДНК.
Поэтому необходимы научные публикации, ведь результатами надо делиться как можно подробнее, чтобы другие их воспроизводили, проверяли и шли дальше. Но недавно выяснилось, что шокирующее количество данных, опубликованных в специальной литературе, посвящённой самым разным областям (от онкологии до психологии), невоспроизводимы.
| Когда-то весь свод научных знаний мог уместиться в голове одного выдающегося человека, а теперь на одно-единственное исследование может уйти вся жизнь. |
Фармацевтическая компания Bayer, например, призналась, что её сотрудники не могут повторить примерно две трети из опубликованных исследований, посвящённых выявлению потенциальных целей лекарственных препаратов. Её конкурент Amgen сообщил о ещё более высоком проценте неудач: за последние десять лет специалисты этой фирмы в области онкологи и гематологии опозорили коллег в 47 случаях из 53-х. Это наиболее яркие примеры, поскольку фармацевтические компании по роду деятельности вынуждены штудировать научную литературу в поисках наиболее перспективных областей исследования. Хорошо бы сделать нечто подобное и в других науках.
Итак, теперь мы знаем, что подавляющее большинство биомедицинских исследований не могут быть воспроизведены.
Причин для этого множество. Природа — штука сложная, и экспериментом не всегда можно охватить все переменные. К тому же финансирование ограничено, а публикацию надо подготовить в сроки, которые постоянно сокращаются.
Есть и человеческий фактор. Очень хочется срезать углы и увидеть желаемый результат, а иногда просто жаль терять месяцы и годы тяжёлой работы, признавая, что выбрал неверный путь. Наконец ни один человек не может быть экспертом по всем экспериментальным методам, необходимым для дополнительных проверок.
И получается, что такой исследователь перекладывает весь груз своих ошибок (финансовый не в последнюю очередь) на плечи тех, кто будет пытаться воспроизвести его результат. Добавим к этому и то, что как-то не принято публиковать отчёты о неудачах, и кто-то снова берётся за проверку, не зная о том, что она уже выполнена.
По большому счёту, описываемая здесь проблема приобретает характер проблемы лишь в связи с тем, что мы живём в очень быстро меняющемся мире. Наука тоже развивается семимильными шагами, а вот механизмы её саморегуляции устарели, стали чересчур медленными и неэффективными.
Что же делать? С одной стороны, следовало бы снизить давление на исследователей — пусть не спешат с публикациями и не боятся того, что их штудии завершатся ничем, что гипотеза не оправдается и т. д. К сожалению, такое возможно только в идеальном мире, где еду и удобства можно получить бесплатно. Поэтому кое-кто предложил штрафовать авторов непроверенных и (тем более) заведомо ложных публикаций.
Но лучше и гуманнее, по-видимому, приплачивать тем, кто возьмётся за воспроизведение результатов вскоре после выхода в свет статьи (а ещё лучше — до). И поэтому Элизабет Айорнс, специалист по раку груди из Медицинской школы Университета Майами (США), выступила инициатором программы Reproducibility Initiative и фонда Science Exchange.
Система работает следующим образом. Учёный выполняет исследование и предоставляет организации его результаты. Независимый научно-консультативный совет, составленный из ведущих в своих областях специалистов, определяет круг лабораторий-кандидатов, способных взяться за воспроизведение. Исполнителя проверки затем выбирает жребий. Результаты публикуются в специальном выпуске журнала PLoS ONE, а авторы корректных исследований получают почётные сертификаты.
На экспериментальном этапе фонд попытается повторить 40−50 исследований и опубликовать анализ результатов.
Поначалу расходы за проверку лягут на плечи самих авторов (траты оцениваются примерно в одну десятую стоимости оригинального исследования). Если эксперимент себя оправдает, то в дальнейшем должны подключиться спонсоры. Переговоры с государственными организациями и частным сектором уже ведутся, и многие только рады возможности отдать проверку независимым экспертам — хотя бы сохранения репутации ради.
В случае успеха Science Exchange убьёт сразу нескольких зайцев: недобросовестные исследователи поостерегутся набивать научные журналы своими измышлениями, стоимость проверки снизится (дешевле с самого начала заложить в бюджет исследования расходы на воспроизведение, чем кому-то потом приниматься за проверку — дешевле, разумеется, для науки в целом, а не конкретного заказчика исследования), не будет необходимости в том, чтобы всякий раз публиковать результаты проверок, ведь неудавшееся исследование может снять с публикации сам автор.
Пожелаем же Science Exchange не скатиться до положения коррумпированного монополиста, чем, к сожалению, кончают некоторые «выдаватели сертификатов».
Подготовлено по материалам NewScientist.
Воспроизводимость результата — краеугольный камень науки. Претендент на звание научного факта должен проверяться снова и снова. Но даже пройдя все испытания, он может быть заменён другим знанием. Например, ньютоновская механика оказалась частным случаем общей теории относительности Эйнштейна, а мантра «один ген — один белок» — частным случаем транскрипции и трансляции ДНК.
Поэтому необходимы научные публикации, ведь результатами надо делиться как можно подробнее, чтобы другие их воспроизводили, проверяли и шли дальше. Но недавно выяснилось, что шокирующее количество данных, опубликованных в специальной литературе, посвящённой самым разным областям (от онкологии до психологии), невоспроизводимы.
| Когда-то весь свод научных знаний мог уместиться в голове одного выдающегося человека, а теперь на одно-единственное исследование может уйти вся жизнь. |
Фармацевтическая компания Bayer, например, призналась, что её сотрудники не могут повторить примерно две трети из опубликованных исследований, посвящённых выявлению потенциальных целей лекарственных препаратов. Её конкурент Amgen сообщил о ещё более высоком проценте неудач: за последние десять лет специалисты этой фирмы в области онкологи и гематологии опозорили коллег в 47 случаях из 53-х. Это наиболее яркие примеры, поскольку фармацевтические компании по роду деятельности вынуждены штудировать научную литературу в поисках наиболее перспективных областей исследования. Хорошо бы сделать нечто подобное и в других науках.
Итак, теперь мы знаем, что подавляющее большинство биомедицинских исследований не могут быть воспроизведены.
Причин для этого множество. Природа — штука сложная, и экспериментом не всегда можно охватить все переменные. К тому же финансирование ограничено, а публикацию надо подготовить в сроки, которые постоянно сокращаются.
Есть и человеческий фактор. Очень хочется срезать углы и увидеть желаемый результат, а иногда просто жаль терять месяцы и годы тяжёлой работы, признавая, что выбрал неверный путь. Наконец ни один человек не может быть экспертом по всем экспериментальным методам, необходимым для дополнительных проверок.
И получается, что такой исследователь перекладывает весь груз своих ошибок (финансовый не в последнюю очередь) на плечи тех, кто будет пытаться воспроизвести его результат. Добавим к этому и то, что как-то не принято публиковать отчёты о неудачах, и кто-то снова берётся за проверку, не зная о том, что она уже выполнена.
По большому счёту, описываемая здесь проблема приобретает характер проблемы лишь в связи с тем, что мы живём в очень быстро меняющемся мире. Наука тоже развивается семимильными шагами, а вот механизмы её саморегуляции устарели, стали чересчур медленными и неэффективными.
Что же делать? С одной стороны, следовало бы снизить давление на исследователей — пусть не спешат с публикациями и не боятся того, что их штудии завершатся ничем, что гипотеза не оправдается и т. д. К сожалению, такое возможно только в идеальном мире, где еду и удобства можно получить бесплатно. Поэтому кое-кто предложил штрафовать авторов непроверенных и (тем более) заведомо ложных публикаций.
Но лучше и гуманнее, по-видимому, приплачивать тем, кто возьмётся за воспроизведение результатов вскоре после выхода в свет статьи (а ещё лучше — до). И поэтому Элизабет Айорнс, специалист по раку груди из Медицинской школы Университета Майами (США), выступила инициатором программы Reproducibility Initiative и фонда Science Exchange.
Система работает следующим образом. Учёный выполняет исследование и предоставляет организации его результаты. Независимый научно-консультативный совет, составленный из ведущих в своих областях специалистов, определяет круг лабораторий-кандидатов, способных взяться за воспроизведение. Исполнителя проверки затем выбирает жребий. Результаты публикуются в специальном выпуске журнала PLoS ONE, а авторы корректных исследований получают почётные сертификаты.
На экспериментальном этапе фонд попытается повторить 40−50 исследований и опубликовать анализ результатов.
Поначалу расходы за проверку лягут на плечи самих авторов (траты оцениваются примерно в одну десятую стоимости оригинального исследования). Если эксперимент себя оправдает, то в дальнейшем должны подключиться спонсоры. Переговоры с государственными организациями и частным сектором уже ведутся, и многие только рады возможности отдать проверку независимым экспертам — хотя бы сохранения репутации ради.
В случае успеха Science Exchange убьёт сразу нескольких зайцев: недобросовестные исследователи поостерегутся набивать научные журналы своими измышлениями, стоимость проверки снизится (дешевле с самого начала заложить в бюджет исследования расходы на воспроизведение, чем кому-то потом приниматься за проверку — дешевле, разумеется, для науки в целом, а не конкретного заказчика исследования), не будет необходимости в том, чтобы всякий раз публиковать результаты проверок, ведь неудавшееся исследование может снять с публикации сам автор.
Пожелаем же Science Exchange не скатиться до положения коррумпированного монополиста, чем, к сожалению, кончают некоторые «выдаватели сертификатов».
Подготовлено по материалам NewScientist.
