Продолжение про проверку наук.
Эксперимент с публикацией нарочито абсурдных статей в гуманитарных научных журналах, посвященных гендерным исследованиям и дискриминации, наделал много шума. Но действительно ли дело в особой «уязвимости» этой области знаний, как считает экспериментаторы, или это скорее техническая проблема, связанная с процедурами рецензирования в научных журналах? Исследователь из Университета Делавэра, психолог-когнитивист Ольга Лебедь поделилась с N + 1 своим мнением об этой истории.
«Что-то пошло не так в университетах. Особенно в некоторых гуманитарных областях», — так начинается статья за авторством Хелен Плакроз, Джеймса Линдси и Питера Богосяна, наделавшая много шума в медиа.
Текст статьи, без оформления ссылок
Последние 11 месяцев Хелен, Джеймс и Питер сочиняли нарочито бессмысленные научные статьи и отправляли их для публикации в журналы с преимущественно социальной, культурной и гендерной тематикой. За это время им удалось опубликовать семь статей из 20 отправленных, из чего они делают вывод о том, что с гендерными исследованиями что-то не так, раз к публикации допускаются абсурдные статьи. Подобное заключение, на первый взгляд, может показаться справедливым, но при ближайшем рассмотрении становится очевидно, что валидность полученных результатов оставляет желать лучшего, а сделанные из них выводы как минимум натянуты.
В неравной борьбе за чистоту научного метода против постмодернистских феминисток авторы статьи упустили множество ключевых моментов, которые потенциально сделали бы их эксперимент действительно валидным. Самый важный из них — наличие контрольной группы. Их заявление о том, что подобная проблема специфична только для гендерных исследований, было бы уместным, если бы авторы провели такую же публикационную кампанию в журналах других научных дисциплин (по физике, биологии и так далее) и обнаружили, что «протолкнуть» в них выдуманные статьи значительно труднее.
Поскольку таких данных у авторов нет, они просто не могут утверждать, что гендерные исследования страдают от засилья плохих публикаций больше остальных дисциплин. Более того, мимикрия под наукообразность — довольно старая и универсальная проблема. Буквально на днях несколько фармакологических и микробиологических изданий опубликовали статьи про интергалактических паразитов по мотивам мультфильма «Рик и Морти». Также стоит упомянуть печально известную история про «корчевателя» — статью, созданную с помощью генератора псевдонаучных текстов, в свое время приняли к публикации в журнале о кибернетике и информатике. В России перевод той же статьи был опубликован в журнале из списка ВАК.
Впрочем, ситуации, описанные выше, относятся к печальному сценарию, когда малоизвестный и не очень престижный журнал не глядя публикует абы что (лишь бы оргвзнос заплатили), потому что потерять репутацию, не имея таковой, невозможно. Тем не менее, история знает случаи, когда откровенно плохие работы различными путями попадали и в солидные рецензируемые журналы. Так, в 2014 году в Nature появилась статья, разоблачающая журналы, авторы которых, как впоследствии выяснилось, сами же рецензировали свои статьи.
Журналы частенько отзывают плохие работы постфактум, хотя те в свое время прошли полноценное рецензирование. Практика эта существует во многих сферах: достаточно вспомнить наиболее скандальные случаи про статьи о влиянии вакцин на развитие аутизма или, например, статью про связь онкологических заболеваний с употреблением ГМ-кукурузы Жиля Сералини. Другим примером может послужить широко цитируемая статья о персистентных инфекциях, опубликованная в журнале группы Nature, авторы которой пишут следующее: «Кроме того, в будущих исследованиях, возможно, надо будет изучить новые грани механизмов персистентности, включая возможные роли биоэлектромагнитных полей и информационных потоков (ци, потоки энергии, или жизненная сила) в клеточных циклах, сохраняющих функциональность персисторов в контексте термодинамики как в диссипативных системах. В этом контексте отношения между стрессом, отмиранием клеток, старением, персистентностью, продолжительностью и природой жизни должна изучаться дальше».
В то же время недостатки существующей системы рецензирования — постоянно обсуждаемая тема (например, вот и вот) в академических кругах. Таким образом, можно говорить о том, что проблемы с публикацией любой белиберды, присланной в редакцию, существуют не только «в некоторых гуманитарных областях». Только вот когда нечто подобное происходит в других дисциплинах, научное сообщество обсуждает несовершенство системы рецензирования, допускающей подобные инциденты, но когда это случается в гуманитарных науках, то во всем оказываются виноваты феминизм, постмодернизм и каждый ученый в соответствующей области лично.
Важно также отметить, что, хотя какие-то работы Плакроз, Линдси и Богосяна были приняты к публикации, большая часть из них рецензирования не прошла. Более того, специалист по обработке данных в политических науках Фабио Вотт проанализировал соотношение импакт-факторов (так называют метрику влиятельности журнала — соотношение числа публикаций к числу цитирований) журналов из списка и обнаружил, что журналы, в которые приняли упомянутые работы, были в среднем хуже журналов, отвергнувших их.
Гуманитарные исследования здорового человека
Еще одна не менее важная проблема, благодаря которой акция Плакроз, Линдси и Богосяна вызвала широкий резонанс, — низкая осведомленность неспециалистов о научных методах, применяемых в гуманитарных науках. Зачастую пробелы в знаниях заполняются байками, вытекающими из противопоставления гуманитарных наук — естественным и точным. Важно понимать, что внутри направления «гендерные исследования» присутствуют как теоретические работы, так и эмпирические исследования, по степени продуманности и сложности не уступающие другим наукам. В одном исследовательском направлении теоретическую предпосылку может выдвинуть философ или культуролог, заниматься описанием ее математической структуры — психолог и статистик, выяснением физиологического механизма — нейробиолог, а разработкой процедур и сбором данных — социолог и политолог.
Подобная междисциплинарная работа вполне может быть опубликована в профильном журнале любого из упомянутых научных направлений, а не только в журнале про гендерные исследованиях как таковые, хотя тематически этой работе там самое место. Почему так происходит? Потому что крупные исследователи зачастую предпочитают публиковаться в журнале с более широким охватом, даже если ради этого приходится пожертвовать полным совпадением тематики. Таким образом, пласт весьма авторитетных и высококлассных работ по гендерной тематике остается за пределами картины мира других исследователей, просто потому что эти статьи не мелькнули в тематическом журнале.
Герои этой статьи атакуют именно теоретическую часть направления, потому что она наиболее уязвима из-за расплывчатых и дерзких формулировок. Но эта уязвимость не так страшна в долгосрочной перспективе, если учесть, как протекает процесс научного развития. Сами по себе теории не имеют веса, пока их не подкрепляют данные, полученные в ходе исследований, вытекающих из представленной теории. Поэтому даже если бы вышеупомянутый случай прошел абсолютно незамеченным, эти псевдонаучные статьи никак не повлияли бы на дальнейшее развитие взглядов в данном направлении, потому что исследователи, моделирующие критические эксперименты на основе этих теорий, очень скоро бы заметили, что полученные результаты никак не соответствуют положениям, заявленным в теории. И теория канула бы в Лету естественным образом — не пройдя проверку временем и опытными данными.
Непониманием этого процесса, похоже, грешат и наши авторы. Они упоминают «имплицитные предубеждения (bias)» и «тест имплицитных ассоциаций», вероятно, считая их очередной бездоказательной феминистской выдумкой для продвижения идеи о том, что все мужчины — насильники. Однако про имплицитные предубеждения написано порядка полутора миллионов работ, большинство из которых — эмпирические. Еще в прошлом веке ученые заметили, что люди все меньше проявляют предубеждения при прямом взаимодействии с людьми другой расы. Многие из них даже искренне считают себя эгалитаристами, но детальное изучение показывает, что люди все так же продолжают дискриминировать представителей другой расы, просто делают это не открыто и вслух, а при наличии определенных условий — ситуаций с высокой неоднозначностью, а также требующих быстрого или ментально трудоемкого принятия решений. Наблюдения породили гипотезу о существовании у людей некой автоматической системы, действующей в соответствии со стереотипами, но проявляющей себя лишь тогда, когда у человека нет времени или ресурсов, чтобы своевременно с ней совладать.
Важно понимать, что эта теоретическая модель находит поддержку на двух уровнях: на уровне эмпирических данных в сотнях работ, а также на уровне совместимости с другими теориями. Например, идея об отдельной автоматической системе довольно элегантно соотносится с идеей о двух режимах мышления, выдвинутой лауреатом Нобелевской премии по экономике Даниэлем Канеманом и Амосом Тверским. Причем идея эта была выдвинута абсолютно независимо от контекста дискриминации и предубеждений, и то, что две независимо созданные модели вдруг совпадают в связи с каким-либо вопросом, — обычно очень оптимистичный знак. Все эти теории выступают основанием для проведения исследований, вытекающих из их посылок. Например, показывающих долю дискриминацию при принятии медицинских решений и многих других феноменов, часто считаемых выдумками «борцов за социальную справедливость» или плодом творчества приверженцев феминистской теории. На деле же эти исследования были логичным шагом по проверке некоей теоретической гипотезы. Именно она послужила мотивацией к их проведению, а не мистическая политическая ангажированность.
Скептики и здесь могут возразить, припомнив социальной психологии недавний кризис воспроизводимости или вообще упирая на то, что психология — не наука. Однако стоит обратить внимание, например, на то, что один из пионеров движения за открытую науку и автор самых масштабных репликационных проектов — Брайан Нозек — является одним из активных исследователей тех самых имплицитных предубеждений. Невероятно, но факт: за прозрачность и повышение стандартов научности в психологии выступают как раз те самые исследователи, которые пишут статьи про «идеологические» проблемы. С их подачи сегодняшние стандарты публикации любой работы в социальной психологии высоки как никогда. Многие журналы требуют регистрации исследования до его начала и выкладывания «сырых» данных в общий доступ. Наиболее продвинутые журналы также просят выкладывать код R, которым рассчитывалось необходимое количество испытуемых и обрабатывались данные исследования. Регистрация гипотезы и процедуры исследования не позволит авторам, например, набрать больше испытуемых, чем планировалось, чтобы дотянуть результаты до статистически значимых. Это не дает провести множество разных видов анализа, а в статье описать только один — давший значимый результат, и сделать вид что это и было гипотезой.
Вопреки распространенному мнению, скрупулезность и продуманность экспериментов в таких направлениях, как гендер, раса и дискриминация, о которых с плохо скрываемым презрением говорят многие, на самом деле довольно высоки и продолжают расти.
Ольга Лебедь при участии авторов сообщества «Equality»
