Результаты нескольких фундаментальных исследований в области нейровизуализации не подтверждаются последующими исследованиями.
Автор: RJ Mackenzie
(Фото: доктор Ричард Уоттс и ABCD/Университет Вермонта, руководитель проекта доктор Хью Гараван)
Одно из центральных предположений современных нейробиологических исследований заключается в том, что форма и структура мозга влияют на поведение. Ученые связали более толстую кору головного мозга (его внешний слой) с высоким интеллектом, определенные паттерны мозговых волн — с лучшими способностями к волейболу, а более тесную связь между отделами мозга — с навыками игры в шахматы. Существует огромное количество таких так называемых исследований общемозговых ассоциаций (ОМА).
Но когда эксперты повторяют эти исследования, они не могут воспроизвести полученные результаты. Этот «кризис воспроизводимости» говорит о том, что значительная часть исследований в области нейровизуализации поведения опирается на шаткий фундамент. В этой области исследований существует множество проблем, считает Рэнди Эллис, старший научный сотрудник Oracle, который писал об этих проблемах, когда работал биомедицинским информатиком в Медицинской школе Икана при больнице Маунт-Синай в Нью-Йорке.
Некоторые из этих проблем характерны не только для нейробиологии. Они берут начало в том, что Эллис назвал «первородным грехом» науки: на ученых оказывается огромное давление с целью заставить их публиковать положительные результаты исследований. Но некоторые из этих факторов применимы именно к этой сфере. Проблемы настолько серьезны, что они «останавливают рост и развитие науки, а также поиск способов лечения болезней», — сказал Эллис в интервью Live Science.
Крошечные различия, небольшие выборки
Несколько исследований мозга, результаты которых не удалось воспроизвести в последующих работах, показывают, как могут возникать проблемы. Каждая из оригинальных статей имеет более 500 цитирований, и количество цитирований отражает степень влияния этих исследований на развитие науки в данной области.
Исследователям бывает сложно получить доступ к магнитно-резонансным томографам для проведения своих исследований, к тому же сканирование стоит дорого. Исторически сложилось так, что во многих исследованиях с использованием методов визуализации мозга участвовало относительно небольшое количество людей.(Изображение предоставлено Shutterstock)
Например, в ходе знакового исследования 2007 года было обнаружено, что мозг детей с синдромом дефицита внимания и гиперактивности созревает дольше. Однако исследование, опубликованное ранее в этом году, показало, что эта связь исчезает, если принять во внимание разницу в темпах старения у мальчиков и девочек. «Вот что привело к краху всей этой карточной игры», — Мэтью Олбо, соавтор статьи о повторной проверке и клинический нейробиолог из Университета Вермонта, ранее рассказал Live Science. В 2011 году исследователи из Университетского колледжа Лондона опубликовали исследование, в котором обнаружили, что плотность серого вещества — той части мозга, где находятся тела нейронов, — в нескольких областях мозга связана с количеством друзей участников в Facebook. (В 2011 году это был важный социальный показатель.)
В статье 2015 года этот вывод не удалось воспроизвести, но авторы оригинальной статьи утверждали, что это произошло из-за того, что в последующем исследовании не использовался тот же протокол. «Трудно сделать в точности то же, что было сделано в оригинальных исследованиях», — сказала Сара Генон, нейробиолог из Исследовательского центра Юлиха в Германии. Поэтому в 2019 году Генон и ее коллеги попробовали другой тип анализа воспроизводимости. Они использовали обширную базу данных и провели более 10 000 анализов МРТ-снимков сотен добровольцев. Средний размер выборки в исследованиях нейровизуализации составлял около 25, поэтому они разделили этот большой набор данных на более мелкие и затем искали значимые взаимосвязи в каждом из них.
(Изображение предоставлено Image Editor, Flickr)
Если в одном из таких микроисследований обнаруживалась значимая связь между поведением и структурой мозга, команда пыталась прийти к тем же выводам, используя другую часть данных. Лишь в очень немногих повторных исследованиях удалось воспроизвести результаты первого. «Это было явным доказательством того, что воспроизводимость этих связей между мозгом и поведением относительно слабая», — сказал Генон.
По словам Генона, одна из ключевых проблем заключается в том, что у здоровых добровольцев различия между отдельными участками мозга относительно невелики, а значит, для выявления средних различий, связанных с поведением, требуется большое количество участников. Это похоже на полногеномные исследования ассоциаций, которые выявляют очень незначительные эффекты отдельных генов, и для обнаружения устойчивых эффектов необходимо обследовать десятки или сотни тысяч человек. Чтобы выявить значимые различия в исследованиях с использованием нейровизуализации, потребуется выборка в тысячи человек, как предполагается в статье 2022 года. Поскольку сканирование мозга — дорогостоящий и трудоемкий процесс, в большинстве исследований использовались гораздо меньшие выборки.
«Все всегда говорят, что репликация — это здорово. Но когда я предлагаю воспроизвести их конкретные исследования, они часто относятся к этому с некоторым скептицизмом.» — Лука Кэммер, аспирант Института когнитивных исследований человека и мозга Общества Макса Планка
Кроме того, поведенческие тесты, используемые для определения психологических переменных, могут быть противоречивыми, говорит Генон. Более того, некоторые из этих исследований могут основываться на устаревшем предположении, что небольшие участки мозга контролируют такие сложные характеристики, как интеллект, добавила она. Однако на самом деле «подобные способности обычно распределены по всему мозгу», — сказала она. Когда исследователи анализируют множество небольших участков мозга, исходя из этого предположения, с помощью отдельных статистических тестов, это может повысить риск возникновения ложных ассоциаций.
Некоторые из этих исследований могут изначально иметь недостатки. В исследовании 2017 года, проведенном учеными из Медицинского колледжа Вейла Корнелла, изучалась возможность использования данных МРТ для стратификации пациентов с депрессией. Исследователи обнаружили, что активность мозга группируется в четыре «биотипа» депрессии, каждый из которых характеризуется особыми, необычными паттернами активности в ключевых нейронных сетях. Однако последующее исследование показало, что различия между кластерами не были статистически значимыми, то есть могли возникнуть случайно. Ричард Динга, нейробиолог из Йенского университета имени Фридриха Шиллера в Германии, участвовавший в последующем исследовании, сказал, что основные проблемы были связаны с его дизайном.
По его словам, статистический подход практически гарантировал выявление значимых связей. Это связано с проблемой переобучения, когда модель настолько хорошо подстраивается под один набор данных, что ей сложно находить реальные закономерности в других наборах данных. В этом исследовании 17 клинических признаков депрессии сопоставлялись с 30 000 признаков, выявленных при нейровизуализации, но, по словам Динги, авторы могли бы использовать «30 000 подбрасываний монетки» и все равно получили бы такую же сильную корреляцию.
Конор Листон, психиатр из Медицинского колледжа Вейла Корнелла и соавтор оригинальной статьи, признал, что модель склонна к переобучению. «Это было совсем не в наших намерениях, но таков был результат», — сказал Листон в интервью Live Science.
Тем не менее он утверждал, что выявленный ими биотип существовал на самом деле, и указывал на более поздние исследования, опубликованные его командой в подтверждение первоначального открытия. На вопрос, почему его команда не внесла в первоначальную статью поправки, признав, что их метод анализа имел серьезные недостатки, Листон ответил, что последующих публикаций было достаточно, чтобы исправить ситуацию. «Я думаю, что суть ясна, и решения проблем, связанных с переобучением, тоже очевидны», — сказал он.
Решение проблемы
Результаты многих исследований, в которых есть те же проблемы, что и в этих статьях, никогда не будут воспроизведены, но при этом останутся в силе. Во-первых, на попытки воспроизвести результаты не выделяют деньги. «Грантовые агентства не горят желанием» финансировать исследование, цель которого — подтвердить предыдущие работы, — говорит Генон. И даже когда такие исследования проводятся, они с меньшей вероятностью будут опубликованы, если опровергают предыдущие выводы. По мнению Динги, для решения этой проблемы необходимо собрать больше данных. «Именно это решило аналогичную проблему с воспроизводимостью в генетике», — сказал он, имея в виду полногеномные исследования ассоциаций, которые за последние два десятилетия позволили сделать важные открытия благодаря использованию выборок, насчитывающих миллионы участников. Но также важно улучшить дизайн исследования, добавил он, поскольку большие массивы данных не исправят ошибки, допущенные при анализе. «У этих методов просто нет шансов привести к чему-то полезному», — сказал он.
Некоторые исследователи используют большие массивы данных нейровизуализации. Мартин Хебарт, руководитель группы в Институте когнитивных исследований человека и мозга Общества Макса Планка в Германии, и Лука Кэммер, аспирант лаборатории Хебарта, разрабатывают re:vision — проект по сбору данных нейровизуализации. Это крупнейшая инициатива по изучению реакции мозга на визуальные стимулы. Они планируют предоставить эту информацию другим исследователям, которые затем проверят, можно ли воспроизвести гипотезы, выдвинутые в других работах, на основе набора данных re:vision.
Хебарт и Кэммер сообщили, что уже получили более десятка заявок на участие в своем проекте. Особенно положительно к нему отнеслись молодые исследователи в этой области. Но, по словам Кэммера, убедить старших коллег перепроверить их данные может оказаться сложнее, потому что они больше потеряют, если их давние открытия в конечном итоге не подтвердятся.
«Все всегда говорят, что повторные исследования — это здорово», — сказал он в интервью Live Science. «Но когда я предлагаю повторить их конкретные исследования, они часто относятся к этому с большим скептицизмом».
Узнайте, что вам известно о самом сложном органе человеческого тела, с помощью нашей викторины о мозге!