Наука и вера - 2

[amantonio]

Я считаю, что самая большая проблема науки и научных публикаций это тот факт, что peer reviews оценивают лишь статьи, а не сами эксперименты. То есть они получают бумажки и лишь на основании этих бумажек оценивают хороший это был научный эксперимент или нет. То есть получается, что ученые, которые оценивают статьи должны ВЕРИТЬ, что на бумажке записано именно то, что происходило в реальности. Но ведь теоретически любой ученый может подделать raw data. И даже если эксперимент был double blind, какая вообше проблема подделать результаты ретроактивно? То есть мы должны верить в кристальную честность всех миллионов ученых, которые проводят исследования и пишут статьи.

Все врут, как говорил Хауз, и ученые здесь совсем не являются исключением. Нет никаких проверок морали и честности при поступлении на Ph.D. Даже проверку полиграфом ученым не проводят. Почему-то считается, что им нет смысла лгать. Но это утверждение не выдерживает даже минимальной критики. Ученые это обычные люди и ничто человеческое им не чуждо. Когда они работают в академии, их карьера напрямую зависит от количества статей. И чем более интересные результаты они получают в своих исследованиях, тем выше вероятность публикации в ведущих журналах. Ну а когда они работают в коммерческих организациях, то их карьера еще больше зависит от благоприятных для работодателя экспериментов.

Я думаю, что для того, чтобы наука перестала быть религией нужно исключить любую возможность подделать результаты исследований. Каждый эксперимент дожен быть triple-blind, или quadruple-blind или quintuple-blind. К тому же нужно совершенно исключить передачу информации между ними, так чтобы они даже не знали кто есть кто.

Или, например, другой вариант. Вся raw data должна становиться публичной в real-time, и возможность изменить ее ретроактивно должна быть исключена. Для этого можно использовать что-то вроде протокола blockchain.

Но даже это недостаточно. Должна существовать система контролирующая, что raw data действительно подлинна, а не нарисована. То есть система должна предполагать, что каждый ученый может фальсифицировать результаты, и должна быть возможность проверки его работы. Сегодня ученые проверяют исследования других ученых лишь пытаясь воспроизвести их результаты в своих лабораториях. Но это очень проблематичный метод и об этом в другой раз.

P.S. 80% of data in Chinese clinical trials have been fabricated

Comments

[synchrozeta.livejournal.com]

+++
Давно не верю в новые захватывающие воображение учёные проекты: ведь понятно, что люди, м.б., просто борются за гранты и субсидии.

[motek.livejournal.com]

Это верно что фальсификации возможны и они происходят, и то как устроена система вроде как это поощряет, особенно гонка за публикациями, и то что в журналах высокого ранга требуют прежде всего "новизну".

С другой стороны, время от времени фальсификации раскрывают, т.е. это и сейчас возможно. Хотя всегда остается вопрос - а сколько не раскрыли?

Вообще проблема не столько в настоящих фальсификациях а скажем что повторяют эксперимент несколько раз пока не получится желаемый результат. Сейчас все говорят о кризисе "невоспроизводимости". Журналы делают какие-то усилия, скажем публикуют ответные статьи где результат не воспроизвелся, вообще статьи с отрицательными результатами, что раньше не бывало. Очень часто выходят статьи back-to-back, т.е. две независимые группы показывают один и тот же или близкий результат. Это вызывает больше доверия. И я лично думаю, как ученый, что воспроизводимость важнее чем то что эксперимент был проведен безупречно и без подделок (но не воспроизводится - потому что мало ли что? явление должно быть устойчивое для разных условий, то что называется robust).

И я не думаю что ученые согласились бы на такую систему которая бы их контролировала полностью, потому что они типа все свои, коллеги, и элемент доверия важен. Это как раз больше существует в индустрии, где все листы в тетрадях пронуменованы, запрещено записывать результаты задним числом и т.п.

[signamax.livejournal.com]

на практике все проще

если вы читаете много статей (или хотя бы просматриваете) то со временем безо всяких проверок начинаете понимать где фуфло а где нет

фуфло сразу отбраковывается

где нет - подвергается более тщательному анализу
если нужно - повторение эксперимента, или визит, и письмо, или разговор на конференции, или перекрестный "допрос"

в итоге - все кому надо все прекрасно знают