Neviditelná epidemie

Začněme cvičným příkladem z takové matematiky, kterou jsme druhdy měli všichni vžitou pod kůží. Máme na nějakou nemoc diagnostický test, který má senzitivitu a specificitu shodně 95 %. A máme dvousethlavý soubor pacientů, z něhož je 20 nemocných (prevalence 10 %). Zanedbejme na chvilku variabilitu reálných vzorků. Pak, pokud tento soubor otestujeme, z 20 skutečně nemocných zjistíme 19 skutečně pozitivních (­senziti­vi­ta) a jednoho falešně negativního. Ze zbylých 180 zdravých otes­­tujeme 9 falešně pozitivních (specificita) a 171 skutečně negativních. Vezmeme-li soubor 28 pacientů, kteří v testu vyšli pozitivně, opravdu pozitivních je jen necelých 68 % z nich.

Věda ale nepracuje se senzitivitou ani specificitou, věda používá p-hodnotu, která se většinou udává jako desetinné číslo a velmi zjednodušeně je to míra pravděpodobnosti, že je pozorovaná závislost čirá náhoda. Je to tedy jakási doplňková hodnota desetinného vyjádření čísla, které je zároveň senzitivitou i specificitou. Pokud je tedy p = 0,05, je to v principu stejný případ, jako v předchozím odstavci. Jen si musíme představit nikoli soubor 200 pacientů, z nichž je 20 nemocných, ale soubor 200 hypotéz, z nichž je 20 pravdivých. A shodou okolností právě hodnota 0,05 je ve většině oborů považovaná za „publikační standard“ ověřenosti hypotézy. Je samozřejmě komplikované zjistit „prevalenci pravdy“ napříč vědeckými hypotézami. Zde se spoléhám na vlastní zkušenost, která říká, že 10 % je možná přespříliš optimistické číslo. A v tomto případě, čím nižší bude prevalence, tím bude větší bias plynoucí z falešně pozitivních výsledků.

V úvahu je třeba vzít ještě fakt, že „negativní objev“ (nepo­tvrzuje či vyvrací hypotézu) má asi tak pětkrát menší šanci na publikování, než „pozitivní objev“ (potvrzující nějakou hypotézu). Dále vezměme v úvahu, že průměrná publikace neověřuje jednu hypotézu, ale nejméně tři, a to tak, aby alespoň dvě z nich už byly prokázané. Jednoduchá, výše naznačená statistika naznačuje, že za daných okolností budou zhruba dvě třetiny publikovaných vědeckých výsledků nepravdivé. Za použití podstatně pokročilejších statistických metod dospěl ke stejnému závěru také John P. A. Ioannidis v legendární statistické eseji v nejčtenějším článku historie časopisu PLoS Medicine:
„Why Most Published Research Findings Are False“.¹

Lze tedy vědě věřit? Nemají náhodou všichni zastánci ploché země, zpochybňovači evoluce, propagátoři alternativní medicíny a podobní šarlatáni pravdu? Kdeže. Zaprvé je důležité si uvědomit, že příslušné číslo se týká primárních výsledků. Tedy situací, kdy se poprvé někdo snaží ověřit nějakou hypotézu. Proto kupříkladu EBM tolik spoléhá na následné studie, metastudie a podobně. Všechny takové nástroje výrazně zvyšují pravděpodobnost, že jsou omyly nutně plynoucí z izolovaných pozorování napravovány. Zadruhé, jakkoli se tvrzení může zdát kontroverzním, je ve skutečnosti správně, věda se častěji mýlí, než že pochopí věci napoprvé. Ukážu na sportovní analogii. Nejvíce netrefených košů historie NBA má Kobe Bryant, následovaný LeBronem Jamesem, tedy hráči, kteří jsou čtvrtým a prvním v historickém žebříčku dosažených bodů. Čím častěji na koš vystřelíte, tím častěji ho netrefíte. Se stejnou logikou ale také tím častěji nějaký koš trefíte. Mnoho omylů znamená mnoho pokusů a mnoho pokusů znamená větší naději na pokusy úspěšné. Ostatně lze argumentovat i historicky, období, kdy věda plodila nejslavnější a nejvýznamnější teorie (osvícenství, polovina 19. století, fin de siècle, 30. a 60. léta 20. století) se shodují s obdobími, kdy vzniklo nejvíce zamítnutých či scestných teorií. Jen už ony cimrmanovské průkopníky slepých uliček neznáme.

A pak je tu ještě třetí důvod, proč bychom neměli panikařit, protože se většina vědy mýlí. Většina filozofů vědy, Horkheimer, Sagan, Russell či Popper, abych jmenoval ty největší, se sice v mnohém neshodnou, ale žádný z nich ve vědě nebere pravdu jako faktor. Tedy aspoň ne to, co pravdou intuitivně myslíme. Takovou pravdu, jejímž antonymem je nepravda, omyl, blud. Jakousi metafyzickou pravdu. Na odhalování takové pravdy je věda silně nevybavena (pokud za vědu nepovažujeme ­filozofii). Je to pravda patřící spíše do sféry náboženství či ideologie. O ­vědecké teorii se mluví jako o platné (třebas v určitém rozsahu), mající prediktivní sílu, nebo také o vyvrácené či odmítané. Nikoli o pravdivé či nepravdivé. Už jen proto, že metafyzickou pravdu (nejsme-li nějakým druhem fanatika) vlastně neznáme a znát nemůžeme. Pro vědu má pravda jiný význam. Nikoli význam ­anglického truth, ale anglického honestness (čestnost, poctivost). Pravda, jejímž antonymem je lež. Vše shora řečené o vědeckém procesu totiž předpokládá, že věda bude dělána pravdivě v individuálním slova smyslu. Tedy, že vědci budou poctivě a pravdivě zaznamenávat své experimenty a budou z nich zcela poctivě vyvozovat vlastní závěry.

Tím se dostáváme zpět do doby covidové, konkrétně do 19. dub­na roku 2020, kdy se na preprintovém serveru Social Science Resource Network (SSRN) objevil článek „Usefulness of Ivermectin in COVID-19 Illness“ (ne, to jsem se neupsal, názvu evidentně chybí slovo, ale je to originál). Ptáte se, co jsou preprintové servery? V zásadě se jedná o platformy ne nepodobné blogům, které umožňují vědcům sdílet některé své výsledky dřív, než projdou peer-review. Důvodů, proč někdo chce publikovat v preprintu může být mnoho. Například jste vložili spoustu úsilí (a peněz) do nějakého výzkumu, ale výsledek vyšel negativní, a tedy ho pravděpodobně žádné seriózní vědecké periodikum ­neotiskne. Dalším důvodem může být pozitivní výsledek, za kte­rým si stojíte, ale který je natolik kontroverzní, že je editory odmítán. Preprintů velmi často využívají lidé, kteří pracují na tématech, ve kterých je velká konkurence, která má shodný a jednoznačný cíl (např. provedení jaderné fúze s pozitivní energetickou bilancí). V takových oborech se vyplácí nespoléhat se na peer-review ­proces (který se může občas pozdržet) a publikovat výsledky hned, abyste si mohli osobovat příslušný vědecký primát.

Výše uvedený článek rozhodně nebyl negativním výsledkem. Tvrdil (v dubnu 2020), že při použití ivermektinu u pacientů s covidem-19 na mechanické podpoře ventilace došlo k výraznému úbytku smrtnosti. Navíc byli autory článku Amit N. Patel, Sapan S. Desai, David W. Grainger a Mandeep R. Mehra. První dva jmenovaní jsou lékaři, kteří se v začátku covidové epidemie jako „mluvící hlavy“ častokrát objevili v amerických kabelových televizích, kde sdělovali svá moudra a postřehy o právě probíhající covidové epidemii. A. N. Patel, průkopník používání kmenových buněk na léčbu srdečního selhání, měl navíc i gloriolu opravdového vědeckého giganta, kterého mělo význam brát vážně.

Dva týdny na to podobný tým autorů učinil další objev. Hydroxychlorochin jako další léčivo s nečekanou účinností na ­covid-19. Tentokrát se nespokojili s pouhým preprintovým výkřikem a publikovali přímo v New England Journal of Medicine, v jednom z nejprestižnějších periodik v oboru. A aby to nebylo málo, navazující studie vyšla o tři týdny později v Lancetu, pravděpodobně nejprestižnějším medicinálním žurnálu vůbec. Jak se jim podařily tak zásadní objevy v tak krátkém čase? Klíčovým mužem byl S. S. Desai, Patelův švagr, cévní chirurg a majitel firmy Surgisphere, původně distributora lékařské literatury. Surgisphere totiž nějakou dobu předtím začala provozovat databázi stejného jména, která měla shromažďovat lékařské kazuistiky i klinické výsledky z celého světa. Tedy podle samotného Desaie. Přestože několik nemocnic (převážně z Desaiovy staré vlasti – Indie) potvrdilo, že Surgisphere data poskytovaly, rozhodně to nebylo deklarovaných 169 nemocnic a 100 tisíc covidových pacientů z 30 zemí světa, jak firma v květnu 2020 tvrdila. Navíc i reálná data, která do Surgisphere přišla, byla zpracována personálem, jemně řečeno, odborně nevybaveným. Mezi těmi, kteří data zpracovávali byl např. autor brakového sci-fi, nebo pornoherečka, kromě Desaie neměl ve firmě nikdo titul MD (doktor medicíny) nebo Ph. D.

Ukázalo se, že Surgisphere byl motorem pokusu o začátek pod­nikání, jemuž se ve vědě říká „paper mill“ (doslova papírna, přeneseně „fabrika na publikace“). To jsou manufaktury na běžícím páse vytvářející rukopisy prací, které minimálně na první pohled vypadají jako legitimní vědecké výstupy, nechávají si platit sku­tečnými vědci za to, že je uvedou jako spoluautory a podávají je do seriózních periodik. Typické „papírny“ nemíří do časopisů, které jsou výkladními skříněmi daného oboru, a mohou tak fungovat i několik let.

Ptáte se, proč by jakýkoliv skutečný vědec propůjčoval své jméno „papírně“, nebo jí za to dokonce platil? Jednoslovnou odpovědí by bylo: „Hypotéka.“ V podstatě celosvětově dnes platí, že osud vědce není určován mírou zajímavosti jím zkoumaných témat, ani převratností jeho myšlenek či experimentů. Osud vědce určuje statistika publikování a citovanosti. V západních zemích (kam počítám i Českou republiku) je víceméně pravidlem, že vědci univerzit, výzkumných center či institucí dostávají nějaké přímé či nepřímé kvóty v počtu toho, co musí vyprodukovat ročně. Jejich dodržování je typicky pojišťováno krátkodobými pracovními smlouvami, které prostě po vypršení termínu nemusí být prodlouženy, a dalšími triky. Jenže experimenty někdy nejdou podle plánu. Nebo se nakonec může ukázat, že směřujete k „negativnímu objevu“. Jak si tedy zachovat místo?

Dlužno podotknout, že „papírny“ mimo jiné provádějí predaci na určitém legitimním, nebo alespoň tedy legálním chování ve vědě. Není úplně neobvyklé, že vám např. kolega disponující větším rozpočtem finančně pomůže s realizací nějakých experimentů a vy ho za tuto pomoc zařadíte do autorského kolektivu. Takovéto „zaplacení si“ spoluautorství může mít samozřejmě několik stupňů od mnou uvedené nevinné solidarity, až po situaci, že z grantových peněz platíte určitou částku člověku na druhé straně planety, kterého jste nikdy nepotkal. Ideální živná půda pro „papírnu“, které pak můžete naletět velmi snadno. K tomu všemu jsou „papírny“ jen vrcholem ledovce. Incentivy ke zvýšenému publikování samozřejmě znamenají příliš velké lákadlo. Pokud se nestanete jedním z veřejně propíraných případů, bývá postih za to, že jste publikovali blbost, omyl nebo pochybná data, minimální. Postih, že publikujete málo nebo příliš pomalu, je naopak často devastující. I z tohoto důvodu uvádí 2 % anonymně zpovídaných vědců, že se sami dopouštějí „neetických“ praktik, v případě, že mluví o svých kolezích, číslo stoupá na 14 %. Takové praktiky zahrnují p-hacking (manipulace se statistickými daty tak, abyste dostali lepší p-hodnotu), p-fishing (hledání závislostí reálných dat na řadě potenciálních proměnných a „rybaření“ pro statistickou signifikanci), dodatečné úpravy datových souborů (jiné než např. matematické vyhlazení křivek). Podle Nature bylo v roce 2022 staženo 0,2 % článků,² což je pravděpodobně historický rekord (a trojnásobek úrovně stahování (retrakcí) v roce 2012), avšak evidentně to neodpovídá očekávatelné úrovni. Ani přesto, že se skandály o manipulacích s daty nebo fixlování výsledků nevyhýbají ani skutečným hvězdám současné vědy. Kromě Amita N. Patela byla nedávno odhalena behaviorální vědkyně Francesca Gino, jedna z nejcitovanějších osobností v oboru.

Jak jsme si dokázali v úvodu, věda se bude většinou mýlit, bude produkovat chybné myšlenky a umí se s tím vyrovnat. Je ovšem otevřenou otázkou, zda se dokáže podobným způsobem vyrovnávat s bujícím a podle všeho velmi rozšířeným podváděním a nečestností. Na článek Patela, Sapaie a Meehry v Lancetu navázalo během roku asi 25 následujících studií, včetně těch, které hledaly potenciální mechanismus účinku hydroxychlorochinu. Ivermektin i hydroxychlorochin v jistých alternativně medicínských (avšak ne nutně nelékařských) kruzích natolik zdomácněly, že je dosud mnozí považují za zázračné léky na covid. Z oněch 25 návazných studií byla stažena většina. Ty zbývající (většinou byly zaměřené na potenciální mechanismus) pak můžeme považovat za ztrátu času, který příslušní vědci mohli věnovat smysluplnějším projektům.

Neviditelná epidemie akademického podvodu a s ním spojených nepříjemností, včetně těch z našeho oboru (fáma o ivermektinu) stále probíhá. Někteří tvrdí, že je nezbytnou dětskou nemocí profesionalizace vědy. Jiní v ní vidí riziko ztráty důvěryhodnosti v cokoli vědeckého.

Já ale tvrdím, že se obě pozice vzájemně nevylučují. I nevyhnutelné dětské nemoci potřebují lékařský zásah a je jedině dobře, pokud se mu podaří odvrátit hlubokou krizi důvěry. Určitá opatření přijímána jsou a některá vypadají nadějně. Obávám se ale, že tuto epidemii nevyřešíme bez řešení jejího původce. A tím je současná kariérně-finanční organizace globální akademické půdy.

Daniel Cvejn

¹  Ioannidis, J. P. A. Why Most Published Research Findings Are False. PLoS Med 2005, 2 (8), e124. https://doi.org/10.1371/journal.pmed. 0020124.

²  Van Noorden, R. More than 10,000 Research Papers Were Retracted in 2023 – a New Record. Nature 2023, 624 (7992), 479–481. https://doi.org/10.1038/d41586-023-03974-8.