Сколько людей, столько и мнений: 246 биологов провели тесты и получили разные результаты при одинаковом наборе данных. Широкий разброс результатов показывает, как аналитический выбор влияет на выводы. В статье разбираемся, почему появляется кризис воспроизводимости (репликации) в научных исследованиях.
Что такое кризис воспроизводимости
В 2005 году американский врач-эпидемиолог Джон Иоаннидис опубликовал эссе «Почему большинство опубликованных результатов исследований ложны», что вызвало фурор. Он доказал, что большинство медицинских исследований содержат результаты, которые больше не получается воспроизвести. Это и есть кризис воспроизводимости или кризис репликации. Другими словами, если ученый А провел эксперимент, а ученый Б решит его повторить, то скорее всего он не сможет получить аналогичные результаты.
Считается, что принцип воспроизводимости — самый важный в науке. Если его не соблюдать, значит, исследование пошло не так, и его нужно провести заново, поменяв методологию.
После статьи Иоаннидиса появился целый проект Reproducibility Project. В ходе него проверили 100 психологических исследований. И результаты ошеломили: если изначально 97 из 100 содержали статистические значимые результаты, то после проверки оказалось только 36. Схожее выявлено не только в медицине и психологии. Перепроверили эксперименты по социологии, биостатистике, политологии, эволюционной биологии.
Метод «многих аналитиков»
Метод «многих аналитиков» впервые применили психологи и социологи в середине 2010-х годов, когда они все чаще стали замечать, что результаты в этой области не получается воспроизвести. В ходе такой работы нескольким исследователям дают одни и те же данные и одни и те же исследовательские вопросы. Затем авторы могут сравнить, как решения, принятые после сбора данных, влияют на типы результатов, которые в конечном итоге попадают в публикации.
В этом году в журнале Nature вышла статья об испытаниях на воспроизводимость. 246 биологов проводили отдельные анализы одного набора данных о влиянии травяного покрова на проростки эвкалипта. И все пришли к совершенно разным ответам.
Авторы исследования усреднили размеры эффектов для этих данных и не обнаружили статистически значимой связи. Большинство результатов показали лишь слабый отрицательный или положительный эффект, но были и отклонения: некоторые участники пришли к выводу, что травяной покров сильно снижает количество саженцев. Другие пришли к выводу, что он резко повышает количество проростков.
Авторы также смоделировали процесс рецензирования, пригласив другую группу ученых для проверки результатов участников. Эксперты дали низкую оценку наиболее экстремальным результатам анализа эвкалипта. Даже после того, как авторы исключили из анализа те результаты, которые получили низкую оценку рецензентов, общие результаты все равно демонстрировали значительный разброс.
Как сделать исследования воспроизводимости более систематическими
«Существует тенденция рассматривать результаты отдельных работ как окончательные. Однако мы не можем полагаться на отдельные результаты или исследования, чтобы рассказать всю историю», — говорит Ханна Фрейзер, метаисследователь экологии из Мельбурнского университета (Австралия) и соавтор исследования.
Это первое масштабное исследование такого рода в экологии демонстрирует, насколько сильно могут различаться результаты, причем не из-за различий в окружающей среде, а из-за аналитического выбора ученых.
Разброс результатов не вызывает удивления. Причем ни один из ответов не является неправильным, считает Фрейзер. Скорее разброс отражает такие факторы, как подготовка участников и то, как они устанавливали размеры выборки.
Итак, как узнать, каков истинный результат? Частично решить эту проблему можно, попросив авторов статьи изложить аналитические решения, которые они приняли, и возможные предостережения, связанные с этим выбором. Но понять, как вариации аналитических данных влияют на результаты, экологам особенно сложно.
«В основе этой области лежат наблюдения. Речь идет о том, чтобы сидеть и наблюдать за тем, что подбрасывает вам мир природы, а это очень много вариаций», — говорит Николь Нельсон, этнограф из Университета Висконсин-Мэдисон.