Международные ученые предупредили о рисках использования непрозрачных цифровых инструментов, таких как ИИ и спутниковые данные, которые могут ослаблять доверие к научным открытиям.
Современные ученые все чаще полагаются на мощные источники данных и инструменты, которые они зачастую не могут полностью понять, проверить или перепроверить. Такие технологии, как искусственный интеллект, спутниковые снимки, онлайн-данные и цифровые датчики, коренным образом меняют подходы к изучению природы, однако их использование сопряжено с серьезными рисками для прозрачности и воспроизводимости научных результатов. Эти системы могут функционировать как так называемые «черные ящики» науки, что, по мнению международной группы авторов, постепенно подрывает доверие к исследовательским выводам.
Проблема возникает из-за того, что многие из этих инструментов разработаны частными компаниями, которые намеренно ограничивают доступ к информации о работе алгоритмов и обработке данных, руководствуясь коммерческими интересами и соображениями безопасности. Например, большие языковые модели и другие технологии ИИ все чаще применяются для анализа массивов данных, интерпретации спутниковых снимков и моделирования экосистем, но ученые часто не имеют доступа к обучающим выборкам, исходным алгоритмам или возможности протестировать системы самостоятельно.
Аналогичная ситуация складывается с проприетарными продуктами для дистанционного зондирования, устройствами отслеживания диких животных, которые предоставляют лишь обработанные данные, а также с онлайн-платформами вроде поисковиков и соцсетей, чьи скрытые алгоритмы могут вносить неизвестные искажения в данные о биоразнообразии и взаимодействии человека с природой. Даже в социальных опросах ученые все чаще обращаются к частным сервисам для набора респондентов, не имея полной информации о методах отбора и возможном влиянии ИИ на ответы.
Кроме коммерческих ограничений, исследователи указывают на растущую техническую сложность современных систем. Эти инструменты становятся настолько сложными, что даже разработчикам порой трудно полностью объяснить принципы их работы. Эта проблема усугубляется академической культурой «публикуйся или умри», которая заставляет ученых повышать продуктивность и быстрее обрабатывать растущие объемы данных, особенно в условиях острых экологических кризисов. В результате зависимость от непроверяемых технологий только усиливается, а возможности для критической оценки снижаются.
Среди основных рисков авторы называют угрозу воспроизводимости исследований, монополизацию знаний, препятствия для развития открытой науки и уязвимость к манипуляциям. Если основные этапы анализа невозможно проверить или повторить, то доверие к научным выводам может постепенно снижаться. Чтобы предотвратить это, ученые предлагают ряд мер: по возможности использовать открытое программное и аппаратное обеспечение, тестировать проприетарные инструменты на прозрачных наборах данных, сравнивать результаты, полученные разными методами, тщательно документировать все ограничения, версии и настройки систем, а также сохранять человеческий контроль на всех этапах работы. Конечная ответственность за ошибки и неопределенности всегда лежит на авторах исследования, а не на используемых инструментах.
Ученые призывают активизировать усилия по развитию открытой науки, включая принятие нормативных актов, которые улучшат доступ исследователей к цифровым платформам и их внутренним данным. В то же время авторы признают, что некоторые «черные ящики» в принципе не могут быть полностью открытыми из-за технических или коммерческих причин. Поэтому главным становится осознанный подход: ученые должны четко понимать, на какие компромиссы они идут при использовании таких инструментов, и не принимать результаты без критической оценки. Именно это, по мнению исследователей, необходимо для сохранения надежности научного знания в условиях стремительно меняющегося технологического ландшафта.