Наука и вера - 2

[amantonio]

Я считаю, что самая большая проблема науки и научных публикаций это тот факт, что peer reviews оценивают лишь статьи, а не сами эксперименты. То есть они получают бумажки и лишь на основании этих бумажек оценивают хороший это был научный эксперимент или нет. То есть получается, что ученые, которые оценивают статьи должны ВЕРИТЬ, что на бумажке записано именно то, что происходило в реальности. Но ведь теоретически любой ученый может подделать raw data. И даже если эксперимент был double blind, какая вообше проблема подделать результаты ретроактивно? То есть мы должны верить в кристальную честность всех миллионов ученых, которые проводят исследования и пишут статьи.

Все врут, как говорил Хауз, и ученые здесь совсем не являются исключением. Нет никаких проверок морали и честности при поступлении на Ph.D. Даже проверку полиграфом ученым не проводят. Почему-то считается, что им нет смысла лгать. Но это утверждение не выдерживает даже минимальной критики. Ученые это обычные люди и ничто человеческое им не чуждо. Когда они работают в академии, их карьера напрямую зависит от количества статей. И чем более интересные результаты они получают в своих исследованиях, тем выше вероятность публикации в ведущих журналах. Ну а когда они работают в коммерческих организациях, то их карьера еще больше зависит от благоприятных для работодателя экспериментов.

Я думаю, что для того, чтобы наука перестала быть религией нужно исключить любую возможность подделать результаты исследований. Каждый эксперимент дожен быть triple-blind, или quadruple-blind или quintuple-blind. К тому же нужно совершенно исключить передачу информации между ними, так чтобы они даже не знали кто есть кто.

Или, например, другой вариант. Вся raw data должна становиться публичной в real-time, и возможность изменить ее ретроактивно должна быть исключена. Для этого можно использовать что-то вроде протокола blockchain.

Но даже это недостаточно. Должна существовать система контролирующая, что raw data действительно подлинна, а не нарисована. То есть система должна предполагать, что каждый ученый может фальсифицировать результаты, и должна быть возможность проверки его работы. Сегодня ученые проверяют исследования других ученых лишь пытаясь воспроизвести их результаты в своих лабораториях. Но это очень проблематичный метод и об этом в другой раз.

P.S. 80% of data in Chinese clinical trials have been fabricated

Comments

[synchrozeta.livejournal.com]

+++
Давно не верю в новые захватывающие воображение учёные проекты: ведь понятно, что люди, м.б., просто борются за гранты и субсидии.

[motek.livejournal.com]

Это верно что фальсификации возможны и они происходят, и то как устроена система вроде как это поощряет, особенно гонка за публикациями, и то что в журналах высокого ранга требуют прежде всего "новизну".

С другой стороны, время от времени фальсификации раскрывают, т.е. это и сейчас возможно. Хотя всегда остается вопрос - а сколько не раскрыли?

Вообще проблема не столько в настоящих фальсификациях а скажем что повторяют эксперимент несколько раз пока не получится желаемый результат. Сейчас все говорят о кризисе "невоспроизводимости". Журналы делают какие-то усилия, скажем публикуют ответные статьи где результат не воспроизвелся, вообще статьи с отрицательными результатами, что раньше не бывало. Очень часто выходят статьи back-to-back, т.е. две независимые группы показывают один и тот же или близкий результат. Это вызывает больше доверия. И я лично думаю, как ученый, что воспроизводимость важнее чем то что эксперимент был проведен безупречно и без подделок (но не воспроизводится - потому что мало ли что? явление должно быть устойчивое для разных условий, то что называется robust).

И я не думаю что ученые согласились бы на такую систему которая бы их контролировала полностью, потому что они типа все свои, коллеги, и элемент доверия важен. Это как раз больше существует в индустрии, где все листы в тетрадях пронуменованы, запрещено записывать результаты задним числом и т.п.

[amantonio.livejournal.com]

Я, конечно, понимаю, что ученые на такое не согласятся, что ничего не изменится. И я понимаю, что положение становится лучше, хоть и очень медленно. Но я думаю, что стоит разделить научные эксперименты на два вида: эксперименты, результаты которых при фальсификации могут привести к потере человеческих жизней или болезням, и те которые не могут.
Экспериментов второго вида большинство, и их фальсификация или невоспроизводимость остаются в научном мире и рано или поздно исправляются, и вред от них максимум экономический.
Экспериментов второго вида меньшиство (скажем эксперименты медицинских препаратов или безопасность новых химических веществ, клинические исследования, исследования новых технологий и т.д.). В таких экспериментах доверие чревато.
Как можно слепо доверять эксперименту скажем какого-то нового лекарства от рака, если этот эксперимент проводит лишь фирма производитель, и от результата эксперимента зависит получит ли фирма миллиардные прибыли или нет? Особенно, когда мы знаем, что лишь 11% доклинических исследований лекарств против рака воспроизводятся в других исследованиях? И ведь есть достаточно примеров, когда фирма производитель знала об опасности таких или иных лекарств и скрывала их. Но почему-то все хотят считать, что сегодня такое не происходит, или почти не происходит, хотя ничего не меняется, чтобы избежать подобных ситуаций.

[motek.livejournal.com]

Ну так клинические испытания и не построены на доверии, абсолютно нет. Там страшнейшая регуляция, почему кстати они так дорого обходятся. Да, там тоже были случаи укрытия данных, но это крайне редко, и вся система направлена на то чтобы это предотвратить. Никто никому там не верит. Все что вы предлагаете там уже делается, насколько я понимаю. Так что говорить что "ничего не меняется, чтобы избежать подобных ситуаций" - это не верно.

А подделывать доклинические исследования фирмам нет никакого интереса, это выльется в миллионные убытки и соответственно на внутреннем уровне тщательно контролируется. Проблема исключительно в доклинических исследованиях в университетах.

[amantonio.livejournal.com]

Насколько я понимаю, что хоть в клинических исследованиях все намного лучше, им еще очень далеко от идеала:
1) Только на неделе выяснилось, что: 80% of China’s clinical trial data are fraudulent, investigation finds

На западе, конечно, положение лучше, но тем не менее, навскидку:
2) Research Misconduct Identified by the US Food and Drug Administration
Среди прочего: Fifty-seven published clinical trials were identified for which an FDA inspection of a trial site had found significant evidence of 1 or more of the following problems: falsification or submission of false information, 22 trials (39%); problems with adverse events reporting, 14 trials (25%); protocol violations, 42 trials (74%); и т.д.

3) Fraud and misconduct in clinical research: A concern
Fraud and misconduct in clinical research is widespread. Good clinical practice is a guideline adopted internationally as standard operating procedure for conduct of clinical research. Despite these guidelines being available, unavailability of internationally harmonized framework for managing research fraud and misconduct makes clinical research a highly vulnerable area to commit fraud.

4) Data fraud in clinical trials
Examples of the first type include a survey of members of the American Association for the Advancement of Science (AAAS) in which 27% of the scientists reported having encountered some type of misconduct [13]; a survey of research coordinators in which 19% of respondents reported first-hand knowledge of misconduct within the previous year – and that only 70% of these were reported [14]; a study of Norway medical investigators in which 27% of investigators knew of instances of fraud [15]; a survey of members of the International Society of Clinical Biostatistics, in which over 50% of respondents knew of fraudulent reports [16]; a survey of medical institutions in Britain in which more than 50% of respondents knew or suspected misconduct among institutional colleagues [17]; and a survey of New Scientist readers, in which a remarkable 92% knew of or suspected scientific misconduct by colleagues [18].

5) A study in the BMJ last year found that fewer than half the clinical trials financed by the NIH resulted in publication in a scholarly journal within 30 months of completion; a third remained unpublished after 51 months. Only 22% of trials released their summary results within one year of completion, even though the NIH requires that they should.

[signamax.livejournal.com]

на практике все проще

если вы читаете много статей (или хотя бы просматриваете) то со временем безо всяких проверок начинаете понимать где фуфло а где нет

фуфло сразу отбраковывается

где нет - подвергается более тщательному анализу
если нужно - повторение эксперимента, или визит, и письмо, или разговор на конференции, или перекрестный "допрос"

в итоге - все кому надо все прекрасно знают

[amantonio.livejournal.com]

Это неплохой метод для того 0.1% людей, которые напрямую этим занимаются. А что делать остальным 99.9%? У них ведь практически нет шанса определить где фуфло, а где нет, особенно если это фуфло активно впаривается им и биг фармой, и СМИ.
Я в последнее время все больше склоняюсь к подходу, что чем больше что-то впаривается СМИ, и чем больше у кого-либо есть финансовая заинтересованность в таком или ином исследовании, тем больше вероятность, что это фуфло. Не может же далекий от медицины и биологии человек разбираться в каждой научной статье по интересующей его теме.

[signamax.livejournal.com]

если вы не можете определить фуфло то скорее всего вам лично это не надо

определить фуфло связанное с биг фармой и сми очень просто - то что впаривается биг фармой и сми всегда фуфло

тем ни менее есть ньюансы
и по поводу ньюансов всегда найдется 0,1% людей который вам их объяснит