Наука и вера - 2

[amantonio]

Я считаю, что самая большая проблема науки и научных публикаций это тот факт, что peer reviews оценивают лишь статьи, а не сами эксперименты. То есть они получают бумажки и лишь на основании этих бумажек оценивают хороший это был научный эксперимент или нет. То есть получается, что ученые, которые оценивают статьи должны ВЕРИТЬ, что на бумажке записано именно то, что происходило в реальности. Но ведь теоретически любой ученый может подделать raw data. И даже если эксперимент был double blind, какая вообше проблема подделать результаты ретроактивно? То есть мы должны верить в кристальную честность всех миллионов ученых, которые проводят исследования и пишут статьи.

Все врут, как говорил Хауз, и ученые здесь совсем не являются исключением. Нет никаких проверок морали и честности при поступлении на Ph.D. Даже проверку полиграфом ученым не проводят. Почему-то считается, что им нет смысла лгать. Но это утверждение не выдерживает даже минимальной критики. Ученые это обычные люди и ничто человеческое им не чуждо. Когда они работают в академии, их карьера напрямую зависит от количества статей. И чем более интересные результаты они получают в своих исследованиях, тем выше вероятность публикации в ведущих журналах. Ну а когда они работают в коммерческих организациях, то их карьера еще больше зависит от благоприятных для работодателя экспериментов.

Я думаю, что для того, чтобы наука перестала быть религией нужно исключить любую возможность подделать результаты исследований. Каждый эксперимент дожен быть triple-blind, или quadruple-blind или quintuple-blind. К тому же нужно совершенно исключить передачу информации между ними, так чтобы они даже не знали кто есть кто.

Или, например, другой вариант. Вся raw data должна становиться публичной в real-time, и возможность изменить ее ретроактивно должна быть исключена. Для этого можно использовать что-то вроде протокола blockchain.

Но даже это недостаточно. Должна существовать система контролирующая, что raw data действительно подлинна, а не нарисована. То есть система должна предполагать, что каждый ученый может фальсифицировать результаты, и должна быть возможность проверки его работы. Сегодня ученые проверяют исследования других ученых лишь пытаясь воспроизвести их результаты в своих лабораториях. Но это очень проблематичный метод и об этом в другой раз.

P.S. 80% of data in Chinese clinical trials have been fabricated

Comments

[motek.livejournal.com]

Ну так клинические испытания и не построены на доверии, абсолютно нет. Там страшнейшая регуляция, почему кстати они так дорого обходятся. Да, там тоже были случаи укрытия данных, но это крайне редко, и вся система направлена на то чтобы это предотвратить. Никто никому там не верит. Все что вы предлагаете там уже делается, насколько я понимаю. Так что говорить что "ничего не меняется, чтобы избежать подобных ситуаций" - это не верно.

А подделывать доклинические исследования фирмам нет никакого интереса, это выльется в миллионные убытки и соответственно на внутреннем уровне тщательно контролируется. Проблема исключительно в доклинических исследованиях в университетах.

[amantonio.livejournal.com]

Насколько я понимаю, что хоть в клинических исследованиях все намного лучше, им еще очень далеко от идеала:
1) Только на неделе выяснилось, что: 80% of China’s clinical trial data are fraudulent, investigation finds

На западе, конечно, положение лучше, но тем не менее, навскидку:
2) Research Misconduct Identified by the US Food and Drug Administration
Среди прочего: Fifty-seven published clinical trials were identified for which an FDA inspection of a trial site had found significant evidence of 1 or more of the following problems: falsification or submission of false information, 22 trials (39%); problems with adverse events reporting, 14 trials (25%); protocol violations, 42 trials (74%); и т.д.

3) Fraud and misconduct in clinical research: A concern
Fraud and misconduct in clinical research is widespread. Good clinical practice is a guideline adopted internationally as standard operating procedure for conduct of clinical research. Despite these guidelines being available, unavailability of internationally harmonized framework for managing research fraud and misconduct makes clinical research a highly vulnerable area to commit fraud.

4) Data fraud in clinical trials
Examples of the first type include a survey of members of the American Association for the Advancement of Science (AAAS) in which 27% of the scientists reported having encountered some type of misconduct [13]; a survey of research coordinators in which 19% of respondents reported first-hand knowledge of misconduct within the previous year – and that only 70% of these were reported [14]; a study of Norway medical investigators in which 27% of investigators knew of instances of fraud [15]; a survey of members of the International Society of Clinical Biostatistics, in which over 50% of respondents knew of fraudulent reports [16]; a survey of medical institutions in Britain in which more than 50% of respondents knew or suspected misconduct among institutional colleagues [17]; and a survey of New Scientist readers, in which a remarkable 92% knew of or suspected scientific misconduct by colleagues [18].

5) A study in the BMJ last year found that fewer than half the clinical trials financed by the NIH resulted in publication in a scholarly journal within 30 months of completion; a third remained unpublished after 51 months. Only 22% of trials released their summary results within one year of completion, even though the NIH requires that they should.