Наука и вера - 2

[amantonio]

Я считаю, что самая большая проблема науки и научных публикаций это тот факт, что peer reviews оценивают лишь статьи, а не сами эксперименты. То есть они получают бумажки и лишь на основании этих бумажек оценивают хороший это был научный эксперимент или нет. То есть получается, что ученые, которые оценивают статьи должны ВЕРИТЬ, что на бумажке записано именно то, что происходило в реальности. Но ведь теоретически любой ученый может подделать raw data. И даже если эксперимент был double blind, какая вообше проблема подделать результаты ретроактивно? То есть мы должны верить в кристальную честность всех миллионов ученых, которые проводят исследования и пишут статьи.

Все врут, как говорил Хауз, и ученые здесь совсем не являются исключением. Нет никаких проверок морали и честности при поступлении на Ph.D. Даже проверку полиграфом ученым не проводят. Почему-то считается, что им нет смысла лгать. Но это утверждение не выдерживает даже минимальной критики. Ученые это обычные люди и ничто человеческое им не чуждо. Когда они работают в академии, их карьера напрямую зависит от количества статей. И чем более интересные результаты они получают в своих исследованиях, тем выше вероятность публикации в ведущих журналах. Ну а когда они работают в коммерческих организациях, то их карьера еще больше зависит от благоприятных для работодателя экспериментов.

Я думаю, что для того, чтобы наука перестала быть религией нужно исключить любую возможность подделать результаты исследований. Каждый эксперимент дожен быть triple-blind, или quadruple-blind или quintuple-blind. К тому же нужно совершенно исключить передачу информации между ними, так чтобы они даже не знали кто есть кто.

Или, например, другой вариант. Вся raw data должна становиться публичной в real-time, и возможность изменить ее ретроактивно должна быть исключена. Для этого можно использовать что-то вроде протокола blockchain.

Но даже это недостаточно. Должна существовать система контролирующая, что raw data действительно подлинна, а не нарисована. То есть система должна предполагать, что каждый ученый может фальсифицировать результаты, и должна быть возможность проверки его работы. Сегодня ученые проверяют исследования других ученых лишь пытаясь воспроизвести их результаты в своих лабораториях. Но это очень проблематичный метод и об этом в другой раз.

P.S. 80% of data in Chinese clinical trials have been fabricated

Comments

[signamax.livejournal.com]

на практике все проще

если вы читаете много статей (или хотя бы просматриваете) то со временем безо всяких проверок начинаете понимать где фуфло а где нет

фуфло сразу отбраковывается

где нет - подвергается более тщательному анализу
если нужно - повторение эксперимента, или визит, и письмо, или разговор на конференции, или перекрестный "допрос"

в итоге - все кому надо все прекрасно знают

[amantonio.livejournal.com]

Это неплохой метод для того 0.1% людей, которые напрямую этим занимаются. А что делать остальным 99.9%? У них ведь практически нет шанса определить где фуфло, а где нет, особенно если это фуфло активно впаривается им и биг фармой, и СМИ.
Я в последнее время все больше склоняюсь к подходу, что чем больше что-то впаривается СМИ, и чем больше у кого-либо есть финансовая заинтересованность в таком или ином исследовании, тем больше вероятность, что это фуфло. Не может же далекий от медицины и биологии человек разбираться в каждой научной статье по интересующей его теме.

[signamax.livejournal.com]

если вы не можете определить фуфло то скорее всего вам лично это не надо

определить фуфло связанное с биг фармой и сми очень просто - то что впаривается биг фармой и сми всегда фуфло

тем ни менее есть ньюансы
и по поводу ньюансов всегда найдется 0,1% людей который вам их объяснит