85% научных исследований в медицине — полная ерунда, считает профессор из Стэнфорда. Чтобы исправить положение, он предлагает ввести строгие стандарты, улучшить статистику, совершенствовать рецензирование статей и изменить систему академической карьеры.
Большинство статей в медицинских научных журналах — это ерунда. Таково мнение Джона Иоаннидиса, профессора медицины Стэнфордского университета, которое он опубликовал в открытом журнале PLOS Medicine. Его первая обзорная статья на эту тему «Why Most Published Research Findings Are False» появилась в 2005 году и собрала более 1 млн «кликов». Во второй статье , вышедшей к 10-летию журнала PLOS Medicine, автор предлагает меры, которые помогут исправить ситуацию и вернуть доверие к медицинским публикациям.
Собственно, рассуждения и выводы, так же как и предполагаемые меры, касаются не только статей по медицине, но и всех прочих научных публикаций. Их количество огромно. Автор приводит данные, что за 1996–2011 годы
более 15 млн ученых по всему миру опубликовали более 25 млн научных статей. Однако крупные и полезные открытия встречаются куда реже.
Многие из опубликованных зависимостей и явлений на самом деле вообще неверны или сильно преувеличены. Применение же полученных знаний на практике требует длительного времени и не всегда эффективно.
Почему так?
По оценке автора, 85% научных исследований в области медицины приводят к неверным или бесполезным результатам.
В числе причин он называет недостаточную статистическую достоверность результатов, преувеличение малых эффектов, попытки достичь ожидаемого результата, изворотливость ученых в интерпретации данных, а также предубеждение и конфликт интересов разных научных групп.
Интересы академической карьеры, организация работы в университетах и научно-исследовательских институтах, практика рецензирования статей в журналах – все это порой стимулирует ученых тратить время на получение результатов, которые никому не нужны и уж точно не помогают лечить пациентов.
Для изменения ситуации, считает автор, нужно пересмотреть принципы, на которых строится академическая карьера.
Многие научные институции восходят к Средним векам (как академические звания) или к XVII веку (как профессиональное сообщество и научные журналы), и неизвестно, насколько они оптимальны в современном обществе.
Стандарты и статистика
По мнению автора, требуется эффективное вмешательство, чтобы увеличить надежность и эффективность научных исследований. Часть факторов риска никуда не денется, но остальные можно изменить. Чтобы на результаты не влияли предубеждения и конфликт интересов, исследования должны проводиться в больших коллаборациях, максимально прозрачно и по стандартизованным правилам.
Но не стоит доходить до предела. Например, можно полностью избавиться от ошибок, отвергнув все работы хоть с какими-то предварительными ожиданиями, оставив лишь те задачи, решение которых никого не волнует, и объединив всех ученых в рамках одной методики исследований. Количество ошибок упадет до нуля, как и количество самих исследований. Так что решение должно быть прагматичным, реализуемым и в идеале проверяемым на эффективность.
Одинаковые представление данных, подготовка образцов, протоколы исследований и программное обеспечение создают возможность воспроизводимых результатов.
Такой подход распространен в молекулярно-генетических исследованиях. Применение таких же стандартов в клинических исследованиях, по мнению автора, может значительно повысить их достоверность. Регистрация в базе данных рандомизированных клинических испытаний увеличивает их прозрачность.
Внедрение лучших статистических методов может снизить число ненадежных результатов в таких «неточных» специальностях, как эпидемиология, психология и экономика, считает автор. Возможно, в результате они сместятся по надежности в сторону физических наук. В случае предполагаемого научного открытия следует использовать более высокие пороги достоверности данных.
Рецензирование
Нуждается в совершенствовании система рецензирования статей. Например, известно, пишет автор, что большинство рецензентов — ученые со скромным послужным списком, а большинство выдающихся ученых сами не рецензируют заявки на гранты. Практики непотизма, сексизма и неоправданного консерватизма, по-видимому, широко распространены. Добросовестное рецензирование никак не поощряется. Поверхностное же рецензирование не сильно повышает качество статей и даже пропускает откровенно неверные работы.
При этом никаких стимулов работать добросовестно у рецензента нет.
Пересмотр «научной валюты»
Автор предлагает пересмотреть традиционно сложившуюся систему поощрений и стимулирования ученых. Работы могут поощряться за публикабельность, привлечение денег, применимость результатов или за прибыльность. Эти пожелания не всегда совместимы, отмечает автор.
Скажем, если требуются публикации и гранты, то ученые заинтересованы продолжать исследования, даже если реального прогресса нет.
Частным инвесторам нужны патенты и прибыли, соответственно, будут процветать применимые изобретения, но возникнут барьеры для распространения информации. Влияние корпораций может превратить всю науку в подразделение рекламных отделов — через публикации во влиятельных журналах, престижные публичные акции и публичных экспертов, получающих зарплату в этих отделах.
«Две главные «валюты» в науке — публикации и гранты. На них приобретают научные блага — карьеру и власть, а научные титулы и власть увеличивают «богатство» их владельца. Реальный «обменный курс» в разных областях может сильно отличаться. Административная власть, личные связи и лоббирование дополнительно искажают картину, — пишет Иоаннидис. — В такой ситуации происходит отбор тех, кто лучше вписывается в систему, публикует скромные и/или невоспроизводимые исследования, контролирует рецензирование, разводит бюрократию, лоббирование и закулисные маневры».
Нынешняя система ценит публикации, гранты, научные звания и власть. Ученые более высокого класса больше публикуются и имеют больше грантов. Однако на самом верху административной лестницы (у ректоров университетов и т.п.) уровень публикаций обычно невысок. Возможно, это из-за того, что они хитроумные лоббисты и легко обходят более достойных кандидатов, которые могли бы принимать более разумные решения. Но возможно также, что они тратят свою жизнь на управление бюрократической машиной так, что их коллеги могут спокойно заниматься наукой.
Автор предлагает два типа реформы системы вознаграждений в науке. При первой предлагаемой реформе предлагается
вознаграждать не публикацию как таковую, а ссылки на нее и использование результатов.
Это пойдет на эффективное лечение, диагностические тесты и т.п., подтвержденные в клинических исследованиях. Доплачивать стоит и за обмен научными данными, за квалифицированное рецензирование и за образовательную активность.
Второй подход еще радикальнее.
Гранты, награды и административные посты сами по себе оцениваются отрицательно. Иначе говоря, большие возможности должны сопровождаться значительно большими научными успехами, иначе сумма уйдет в минус.
Научные звания тоже оцениваются отрицательно и, по-видимому, самоликвидируются — ученые будут избавляться от отрицательных «баллов». В этом провокационном сценарии ученые не будут набирать гранты и должности, поскольку проиграют в «научной валюте».
«Неизвестно, насколько эффективность нынешней системы исследований вообще может быть повышена, — резюмирует Иоаннидис. — Однако имеющееся состояние настолько малоэффективно, потому что-то почти наверняка сделать можно. Разных сценариев много, в идеале их хорошо бы проверить на практике».
85% научных исследований в медицине — полная ерунда, считает профессор из Стэнфорда. Чтобы исправить положение, он предлагает ввести строгие стандарты, улучшить статистику, совершенствовать рецензирование статей и изменить систему академической карьеры.
Большинство статей в медицинских научных журналах — это ерунда. Таково мнение Джона Иоаннидиса, профессора медицины Стэнфордского университета, которое он опубликовал в открытом журнале PLOS Medicine. Его первая обзорная статья на эту тему «Why Most Published Research Findings Are False» появилась в 2005 году и собрала более 1 млн «кликов». Во второй статье , вышедшей к 10-летию журнала PLOS Medicine, автор предлагает меры, которые помогут исправить ситуацию и вернуть доверие к медицинским публикациям.
Собственно, рассуждения и выводы, так же как и предполагаемые меры, касаются не только статей по медицине, но и всех прочих научных публикаций. Их количество огромно. Автор приводит данные, что за 1996–2011 годы
более 15 млн ученых по всему миру опубликовали более 25 млн научных статей. Однако крупные и полезные открытия встречаются куда реже.
Многие из опубликованных зависимостей и явлений на самом деле вообще неверны или сильно преувеличены. Применение же полученных знаний на практике требует длительного времени и не всегда эффективно.
Почему так?
По оценке автора, 85% научных исследований в области медицины приводят к неверным или бесполезным результатам.
В числе причин он называет недостаточную статистическую достоверность результатов, преувеличение малых эффектов, попытки достичь ожидаемого результата, изворотливость ученых в интерпретации данных, а также предубеждение и конфликт интересов разных научных групп.
Интересы академической карьеры, организация работы в университетах и научно-исследовательских институтах, практика рецензирования статей в журналах – все это порой стимулирует ученых тратить время на получение результатов, которые никому не нужны и уж точно не помогают лечить пациентов.
Для изменения ситуации, считает автор, нужно пересмотреть принципы, на которых строится академическая карьера.
Многие научные институции восходят к Средним векам (как академические звания) или к XVII веку (как профессиональное сообщество и научные журналы), и неизвестно, насколько они оптимальны в современном обществе.
Стандарты и статистика
По мнению автора, требуется эффективное вмешательство, чтобы увеличить надежность и эффективность научных исследований. Часть факторов риска никуда не денется, но остальные можно изменить. Чтобы на результаты не влияли предубеждения и конфликт интересов, исследования должны проводиться в больших коллаборациях, максимально прозрачно и по стандартизованным правилам.
Но не стоит доходить до предела. Например, можно полностью избавиться от ошибок, отвергнув все работы хоть с какими-то предварительными ожиданиями, оставив лишь те задачи, решение которых никого не волнует, и объединив всех ученых в рамках одной методики исследований. Количество ошибок упадет до нуля, как и количество самих исследований. Так что решение должно быть прагматичным, реализуемым и в идеале проверяемым на эффективность.
Одинаковые представление данных, подготовка образцов, протоколы исследований и программное обеспечение создают возможность воспроизводимых результатов.
Такой подход распространен в молекулярно-генетических исследованиях. Применение таких же стандартов в клинических исследованиях, по мнению автора, может значительно повысить их достоверность. Регистрация в базе данных рандомизированных клинических испытаний увеличивает их прозрачность.
Внедрение лучших статистических методов может снизить число ненадежных результатов в таких «неточных» специальностях, как эпидемиология, психология и экономика, считает автор. Возможно, в результате они сместятся по надежности в сторону физических наук. В случае предполагаемого научного открытия следует использовать более высокие пороги достоверности данных.
Рецензирование
Нуждается в совершенствовании система рецензирования статей. Например, известно, пишет автор, что большинство рецензентов — ученые со скромным послужным списком, а большинство выдающихся ученых сами не рецензируют заявки на гранты. Практики непотизма, сексизма и неоправданного консерватизма, по-видимому, широко распространены. Добросовестное рецензирование никак не поощряется. Поверхностное же рецензирование не сильно повышает качество статей и даже пропускает откровенно неверные работы.
При этом никаких стимулов работать добросовестно у рецензента нет.
Пересмотр «научной валюты»
Автор предлагает пересмотреть традиционно сложившуюся систему поощрений и стимулирования ученых. Работы могут поощряться за публикабельность, привлечение денег, применимость результатов или за прибыльность. Эти пожелания не всегда совместимы, отмечает автор.
Скажем, если требуются публикации и гранты, то ученые заинтересованы продолжать исследования, даже если реального прогресса нет.
Частным инвесторам нужны патенты и прибыли, соответственно, будут процветать применимые изобретения, но возникнут барьеры для распространения информации. Влияние корпораций может превратить всю науку в подразделение рекламных отделов — через публикации во влиятельных журналах, престижные публичные акции и публичных экспертов, получающих зарплату в этих отделах.
«Две главные «валюты» в науке — публикации и гранты. На них приобретают научные блага — карьеру и власть, а научные титулы и власть увеличивают «богатство» их владельца. Реальный «обменный курс» в разных областях может сильно отличаться. Административная власть, личные связи и лоббирование дополнительно искажают картину, — пишет Иоаннидис. — В такой ситуации происходит отбор тех, кто лучше вписывается в систему, публикует скромные и/или невоспроизводимые исследования, контролирует рецензирование, разводит бюрократию, лоббирование и закулисные маневры».
Нынешняя система ценит публикации, гранты, научные звания и власть. Ученые более высокого класса больше публикуются и имеют больше грантов. Однако на самом верху административной лестницы (у ректоров университетов и т.п.) уровень публикаций обычно невысок. Возможно, это из-за того, что они хитроумные лоббисты и легко обходят более достойных кандидатов, которые могли бы принимать более разумные решения. Но возможно также, что они тратят свою жизнь на управление бюрократической машиной так, что их коллеги могут спокойно заниматься наукой.
Автор предлагает два типа реформы системы вознаграждений в науке. При первой предлагаемой реформе предлагается
вознаграждать не публикацию как таковую, а ссылки на нее и использование результатов.
Это пойдет на эффективное лечение, диагностические тесты и т.п., подтвержденные в клинических исследованиях. Доплачивать стоит и за обмен научными данными, за квалифицированное рецензирование и за образовательную активность.
Второй подход еще радикальнее.
Гранты, награды и административные посты сами по себе оцениваются отрицательно. Иначе говоря, большие возможности должны сопровождаться значительно большими научными успехами, иначе сумма уйдет в минус.
Научные звания тоже оцениваются отрицательно и, по-видимому, самоликвидируются — ученые будут избавляться от отрицательных «баллов». В этом провокационном сценарии ученые не будут набирать гранты и должности, поскольку проиграют в «научной валюте».
«Неизвестно, насколько эффективность нынешней системы исследований вообще может быть повышена, — резюмирует Иоаннидис. — Однако имеющееся состояние настолько малоэффективно, потому что-то почти наверняка сделать можно. Разных сценариев много, в идеале их хорошо бы проверить на практике».
