Richard Smith: Je čas, aby věda byla spíše o pravdě než o kariéře
9. září 2013
Přeložil: Vladimír Bartoš
Většina vědeckých studií je chybná a je chybná proto, že vědce zajímá spíše financování a kariéra než pravda.
To bylo mrazivé poselství, které tento týden přednesl usměvavý, brilantní, erudovaný a roztomilý John Ioannidis na sedmém kongresu o vzájemném hodnocení v Chicagu. Naslouchat někomu tak brilantnímu, jako je Ioannidis, je jako poslouchat skvělou operu nebo sledovat strhující fotbalový zápas: cítíte se inspirováni, povzneseni a privilegováni. A přestože bych nikdy neoznačil řečnici za roztomilou (bez ohledu na to, jak moc roztomilá může být), píšu to o Ioannidisovi proto, že mi bylo příjemné vidět takovou genialitu, nošenou tak lehce a přitažlivě.
Jeho zpráva „Proč je většina publikovaných výsledků výzkumu nepravdivá“ je nejcitovanějším článkem v PLOS Medicine a přispěla k tomu, že se o něm psalo v New York Times a stal se slavným.
Svou přednášku zahájil básní starověké řecké básnířky Sapfó a ukázal nám obrázek útržků pergamenu, z nichž každý obsahuje několik čtverečků, z nichž byla báseň sestavena. Stejně křehký je i vztah mezi našimi vědeckými poznatky a daty, z nichž byly sestaveny.
Ioannidis ilustroval své téma popisem studie, v níž kolegové náhodně vybrali 50 ingrediencí z bostonské kuchařky a poté prohledali PubMed, aby zjistili, které z těchto ingrediencí byly spojeny se zvýšením nebo snížením rizika rakoviny. Odpověď byla 40. Ukázalo to velké množství studií a nepochybně se tato zpráva dostala do povědomí veřejnosti díky statisícům zpráv v médiích. Ve skutečnosti, řekl Ioannidis, metaanalýza ukazuje, že vědecké studie „nemají pravdu“ téměř v žádném případě. (Veřejnost je možná chytřejší než vědci, když tyto zprávy podceňuje a ignoruje, ačkoli nešťastným výsledkem je skepse veřejnosti vůči vědě, která vede mnohé k přijetí tvrzení, že neexistují důkazy o tom, že by lidská činnost způsobovala změnu klimatu).
Velmi rozvíjející se oblastí vědy je spojování genů s konkrétními nemocemi a Ioannidis představil analýzu stovek takových studií, která ukázala, že pouze v 1,1 % případů byla souvislost pravdivá. Vzpomeňte si na to, až příště uslyšíte v rádiu, že byl nalezen gen pro depresi, schizofrenii nebo obezitu. Zprávy naznačují, že „lék“ je blíž, ale ve skutečnosti pravděpodobně vůbec žádná skutečná souvislost neexistuje.
Biomarkery nemocí jsou dalším tématem, kde jsme neustále klamáni, přičemž se téměř vždy ukáže, že vysoce citované studie, které ukazují vysoké relativní riziko, toto relativní riziko značně přehánějí. Totéž platí pro modely předpovědi onemocnění a studie 127 modelů ukázala, že pouze u pětiny z nich byly provedeny další studie, které by model ověřily. V polovině z této pětiny pocházely další studie od původních autorů, což je neuspokojivé.
Společnosti a hedgeové fondy dostihuje skutečnost, že tolik publikovaných studií je zavádějících – protože jedna věc je publikovat studii v časopise, přičemž vydavatelé vydělávají peníze a autoři si užívají „slávy a lásky krásných žen“, ale druhá věc je investovat miliony dolarů do zdánlivě nových možných léčebných postupů nebo diagnostických testů, když výsledek může být chybný. Společnosti se tedy učí, jak důležité je studie replikovat, a nedávná studie společnosti Amgen týkající se preklinických studií ukázala, že 80-90 % z nich nelze replikovat. Hedgeové fondy tak začaly být nervózní při investování do zdánlivě slibných vědeckých výsledků a najímají si smluvní výzkumné organizace, které studie replikují, než do nich začnou investovat.
Téměř na okraj Ioannidis ukázal výsledky, ve kterých zemích vzniká největší podíl zavádějících studií. Spojené státy jsou na prvním místě, možná proto, že tlak na publikování je tam větší než kdekoli jinde.
Proč, ptal se Ioannidis, je tolik vědeckých studií chybných? Kvůli zaujatosti a náhodným chybám, a obojího je „dostatek“. Analýza zaujatosti v 17 milionech prací ukázala 235 zdrojů zaujatosti, z nichž většina, řekl Ioannidis, nebyla jemu, člověku zabývajícímu se zaujatostí, známa. Jeho ambicí je vydat „Definitivní encyklopedii předpojatosti“.
Náhodná chyba je tak důležitá, protože většina moderní epidemiologie a zdravotnictví se týká malých účinků a slabých asociací. Poměr šancí vyšší než pět se vyskytuje pouze v jedné ze 16 studií, téměř vždy v malých studiích, a u 99 % těchto studií se velikost účinku zmenší, když se provede větší studie. Studie 85 000 metaanalýz ukázala, že pouze jedna měla velký účinek, který byl vysoce významný. „Musíme se naučit žít s malými efekty,“ uzavřel Ioannidis.
Dalším „řešením“ problému tolika zavádějících studií je podpora velkých spoluprací, které mohou generovat dostatek dat pro spolehlivé odhalení malých účinků. Je také zapotřebí zlepšit vykazování a registraci studií. Ioannidis ukázal, že většina významných časopisů má nyní požadavky týkající se registrace, ale ve většině případů se tak ve skutečnosti neděje. Máme příslušné předpisy, ale ne realitu, což se opakovaně projevuje u vědeckých časopisů.
Nejdůležitější potřebou je však reprodukce studií, a proto probíhá několik iniciativ, aby se tak stalo. Například nedávno spuštěná iniciativa Reproducibility Initiative vyzývá lidi, aby předkládali své studie k nezávislému ověření.
Proč, zeptal se Ioannidis na závěr své přednášky, děláme vědu? Spokojenost se systémem, který podporuje publikování studií, jež jsou většinou zavádějící, naznačuje, že jde o kariéru, granty, publikace a platy. Pokud jde o hledání „pravdy“, pak potřebujeme více spolupráce, méně publikování malých a neobjektivních studií a velký důraz na reprodukovatelnost.
Richard Smith byl do roku 2004 redaktorem časopisu BMJ a je ředitelem iniciativy United Health Group pro chronická onemocnění.
Konflikt zájmů: RS měl na kongres volný vstup a JAMA mu uhradila náklady, protože prezentuje film o historii medicíny založené na důkazech a byl hlavním ceremoniářem na „opékání“ Drummonda Rennieho, tvůrce peer review kongresů a velkého přítele RS.
Zdroj: 9. září 2013 Přeložil: Vladimír Bartoš Většina vědeckých studií je chybná a je chybná proto, že vědce zajímá spíše financování a kariéra než pravda. To bylo mrazivé poselství, které tento týden přednesl usměvavý, brilantní, erudovaný a roztomilý John Ioannidis na sedmém kongresu o vzájemném hodnocení v Chicagu. Naslouchat někomu…