Медицинская наука стоит на шатком основании?

Воспроизводимость результата — краеугольный камень науки. Претендент на звание научного факта должен проверяться снова и снова. Но даже пройдя все испытания, он может быть заменён другим знанием. Например, ньютоновская механика оказалась частным случаем общей теории относительности Эйнштейна, а мантра «один ген — один белок» — частным случаем транскрипции и трансляции ДНК.

Поэтому необходимы научные публикации, ведь результатами надо делиться как можно подробнее, чтобы другие их воспроизводили, проверяли и шли дальше. Но недавно выяснилось, что шокирующее количество данных, опубликованных в специальной литературе, посвящённой самым разным областям (от онкологии до психологии), невоспроизводимы.

Фармацевтическая компания Bayer, например, призналась, что её сотрудники не могут повторить примерно две трети из опубликованных исследований, посвящённых выявлению потенциальных целей лекарственных препаратов. Её конкурент Amgen сообщил о ещё более высоком проценте неудач: за последние десять лет специалисты этой фирмы в области онкологи и гематологии опозорили коллег в 47 случаях из 53-х. Это наиболее яркие примеры, поскольку фармацевтические компании по роду деятельности вынуждены штудировать научную литературу в поисках наиболее перспективных областей исследования. Хорошо бы сделать нечто подобное и в других науках.

Итак, теперь мы знаем, что подавляющее большинство биомедицинских исследований не могут быть воспроизведены.

Причин для этого множество. Природа — штука сложная, и экспериментом не всегда можно охватить все переменные. К тому же финансирование ограничено, а публикацию надо подготовить в сроки, которые постоянно сокращаются.

Есть и человеческий фактор. Очень хочется срезать углы и увидеть желаемый результат, а иногда просто жаль терять месяцы и годы тяжёлой работы, признавая, что выбрал неверный путь. Наконец ни один человек не может быть экспертом по всем экспериментальным методам, необходимым для дополнительных проверок.

И получается, что такой исследователь перекладывает весь груз своих ошибок (финансовый не в последнюю очередь) на плечи тех, кто будет пытаться воспроизвести его результат. Добавим к этому и то, что как-то не принято публиковать отчёты о неудачах, и кто-то снова берётся за проверку, не зная о том, что она уже выполнена.

По большому счёту, описываемая здесь проблема приобретает характер проблемы лишь в связи с тем, что мы живём в очень быстро меняющемся мире. Наука тоже развивается семимильными шагами, а вот механизмы её саморегуляции устарели, стали чересчур медленными и неэффективными.

Что же делать? С одной стороны, следовало бы снизить давление на исследователей — пусть не спешат с публикациями и не боятся того, что их штудии завершатся ничем, что гипотеза не оправдается и т. д. К сожалению, такое возможно только в идеальном мире, где еду и удобства можно получить бесплатно. Поэтому кое-кто предложил штрафовать авторов непроверенных и (тем более) заведомо ложных публикаций.

Но лучше и гуманнее, по-видимому, приплачивать тем, кто возьмётся за воспроизведение результатов вскоре после выхода в свет статьи (а ещё лучше — до). И поэтому Элизабет Айорнс, специалист по раку груди из Медицинской школы Университета Майами (США), выступила инициатором программы Reproducibility Initiative и фонда Science Exchange.

Система работает следующим образом. Учёный выполняет исследование и предоставляет организации его результаты. Независимый научно-консультативный совет, составленный из ведущих в своих областях специалистов, определяет круг лабораторий-кандидатов, способных взяться за воспроизведение. Исполнителя проверки затем выбирает жребий. Результаты публикуются в специальном выпуске журнала PLoS ONE, а авторы корректных исследований получают почётные сертификаты.

На экспериментальном этапе фонд попытается повторить 40−50 исследований и опубликовать анализ результатов.

Поначалу расходы за проверку лягут на плечи самих авторов (траты оцениваются примерно в одну десятую стоимости оригинального исследования). Если эксперимент себя оправдает, то в дальнейшем должны подключиться спонсоры. Переговоры с государственными организациями и частным сектором уже ведутся, и многие только рады возможности отдать проверку независимым экспертам — хотя бы сохранения репутации ради.

В случае успеха Science Exchange убьёт сразу нескольких зайцев: недобросовестные исследователи поостерегутся набивать научные журналы своими измышлениями, стоимость проверки снизится (дешевле с самого начала заложить в бюджет исследования расходы на воспроизведение, чем кому-то потом приниматься за проверку — дешевле, разумеется, для науки в целом, а не конкретного заказчика исследования), не будет необходимости в том, чтобы всякий раз публиковать результаты проверок, ведь неудавшееся исследование может снять с публикации сам автор.

Пожелаем же Science Exchange не скатиться до положения коррумпированного монополиста, чем, к сожалению, кончают некоторые «выдаватели сертификатов».

Подготовлено по материалам NewScientist.

Воспроизводимость результата — краеугольный камень науки. Претендент на звание научного факта должен проверяться снова и снова. Но даже пройдя все испытания, он может быть заменён другим знанием. Например, ньютоновская механика оказалась частным случаем общей теории относительности Эйнштейна, а мантра «один ген — один белок» — частным случаем транскрипции и трансляции ДНК.

Поэтому необходимы научные публикации, ведь результатами надо делиться как можно подробнее, чтобы другие их воспроизводили, проверяли и шли дальше. Но недавно выяснилось, что шокирующее количество данных, опубликованных в специальной литературе, посвящённой самым разным областям (от онкологии до психологии), невоспроизводимы.

Фармацевтическая компания Bayer, например, призналась, что её сотрудники не могут повторить примерно две трети из опубликованных исследований, посвящённых выявлению потенциальных целей лекарственных препаратов. Её конкурент Amgen сообщил о ещё более высоком проценте неудач: за последние десять лет специалисты этой фирмы в области онкологи и гематологии опозорили коллег в 47 случаях из 53-х. Это наиболее яркие примеры, поскольку фармацевтические компании по роду деятельности вынуждены штудировать научную литературу в поисках наиболее перспективных областей исследования. Хорошо бы сделать нечто подобное и в других науках.

Итак, теперь мы знаем, что подавляющее большинство биомедицинских исследований не могут быть воспроизведены.

Причин для этого множество. Природа — штука сложная, и экспериментом не всегда можно охватить все переменные. К тому же финансирование ограничено, а публикацию надо подготовить в сроки, которые постоянно сокращаются.

Есть и человеческий фактор. Очень хочется срезать углы и увидеть желаемый результат, а иногда просто жаль терять месяцы и годы тяжёлой работы, признавая, что выбрал неверный путь. Наконец ни один человек не может быть экспертом по всем экспериментальным методам, необходимым для дополнительных проверок.

И получается, что такой исследователь перекладывает весь груз своих ошибок (финансовый не в последнюю очередь) на плечи тех, кто будет пытаться воспроизвести его результат. Добавим к этому и то, что как-то не принято публиковать отчёты о неудачах, и кто-то снова берётся за проверку, не зная о том, что она уже выполнена.

По большому счёту, описываемая здесь проблема приобретает характер проблемы лишь в связи с тем, что мы живём в очень быстро меняющемся мире. Наука тоже развивается семимильными шагами, а вот механизмы её саморегуляции устарели, стали чересчур медленными и неэффективными.

Что же делать? С одной стороны, следовало бы снизить давление на исследователей — пусть не спешат с публикациями и не боятся того, что их штудии завершатся ничем, что гипотеза не оправдается и т. д. К сожалению, такое возможно только в идеальном мире, где еду и удобства можно получить бесплатно. Поэтому кое-кто предложил штрафовать авторов непроверенных и (тем более) заведомо ложных публикаций.

Но лучше и гуманнее, по-видимому, приплачивать тем, кто возьмётся за воспроизведение результатов вскоре после выхода в свет статьи (а ещё лучше — до). И поэтому Элизабет Айорнс, специалист по раку груди из Медицинской школы Университета Майами (США), выступила инициатором программы Reproducibility Initiative и фонда Science Exchange.

Система работает следующим образом. Учёный выполняет исследование и предоставляет организации его результаты. Независимый научно-консультативный совет, составленный из ведущих в своих областях специалистов, определяет круг лабораторий-кандидатов, способных взяться за воспроизведение. Исполнителя проверки затем выбирает жребий. Результаты публикуются в специальном выпуске журнала PLoS ONE, а авторы корректных исследований получают почётные сертификаты.

На экспериментальном этапе фонд попытается повторить 40−50 исследований и опубликовать анализ результатов.

Поначалу расходы за проверку лягут на плечи самих авторов (траты оцениваются примерно в одну десятую стоимости оригинального исследования). Если эксперимент себя оправдает, то в дальнейшем должны подключиться спонсоры. Переговоры с государственными организациями и частным сектором уже ведутся, и многие только рады возможности отдать проверку независимым экспертам — хотя бы сохранения репутации ради.

В случае успеха Science Exchange убьёт сразу нескольких зайцев: недобросовестные исследователи поостерегутся набивать научные журналы своими измышлениями, стоимость проверки снизится (дешевле с самого начала заложить в бюджет исследования расходы на воспроизведение, чем кому-то потом приниматься за проверку — дешевле, разумеется, для науки в целом, а не конкретного заказчика исследования), не будет необходимости в том, чтобы всякий раз публиковать результаты проверок, ведь неудавшееся исследование может снять с публикации сам автор.

Пожелаем же Science Exchange не скатиться до положения коррумпированного монополиста, чем, к сожалению, кончают некоторые «выдаватели сертификатов».

Подготовлено по материалам NewScientist.