Utvärdering av all relevant och tillförlitlig dokumentation

Kan det räcka med en enda studie?

Det korta svaret är ”nästan aldrig”. En enda jämförande behandlingsstudie ger väldigt sällan tillräckliga bevis för att man ska kunna avgöra vilken behandling som ska väljas, ens om den är välgjord. Men det händer någon gång. Ett sådant ovanligt exempel är studien som visade att behandling med acetylsalicylsyra under en pågående hjärtinfarkt minskar dödsrisken.[1] Ett annat exempel är undersökningen som kunde slå fast att kortisonpreparat vid akut traumatisk hjärnskada kan leda till döden (se nedan och Att ta hänsyn till slumpens inverkan). Ett tredje är den studie som konstaterade att det enda kända medel som kan förebygga cerebral pares (CP) hos för tidigt födda barn är koffein (se Att hantera ovisshet om behandlingseffekter). Men grundregeln är att det krävs flera studier med samma eller likartade frågeställningar. Resultaten från varje enskild studie bör därför utvärderas i relation till resultat från andra, liknande studier.

BEHÖVS STUDIEN?

Få principer är mer grundläggande för den medicinska forskningens vetenskapliga och etiska berättigande än att studier ska ställa frågor som behöver besvaras och att de måste utformas så att svaren blir meningsfulla. En förutsättning för båda dessa mål är att befintlig, relevant forskning kartläggs grundligt […] Har man en ofullständig bild av vad som redan är visat, bryter man en underförstådd etisk överenskommelse med försöksdeltagarna om att de resultat de bidrar till är nödvändiga och kan komma andra till gagn.”
Robinson KA, Goodman SN. A systematic examination of the citations of prior research in reports of randomized, controlled trials. Annals of Internal Medicine 2011:154:50–55.

Den brittiske statistikern Austin Bradford Hill var en av pionjärerna på rättvisande undersökningar. På 1960-talet hävdade han att forskningsrapporter skulle besvara fyra frågor:

• Varför utförde du studien?
• Vad gjorde du?
• Vad fann du?
• Och vad betyder det här då?

De här kärnfrågorna är fortfarande lika viktiga, men tyvärr får de ofta alldeles för lite uppmärksamhet eller förbises helt. Svaret på den sista frågan – Vad betyder det här? – är särskilt viktigt eftersom det kan påverka beslut om behandlingsmetoder och framtida forskning.

Vi kan ta exemplet med kortisonbehandling av gravida kvinnor som förväntas föda för tidigt, en både kortvarig och billig behandling. Den första välgjorda prövningen av den här behandlingen rapporterades 1972 och visade minskad dödsrisk för spädbarn efter att deras mammor fått kortisonpreparat. Tio år senare hade fler studier gjorts, men de var små, och resultaten var förvirrande eftersom ingen av studierna på ett systematiskt sätt hade tagit hänsyn till resultaten från tidigare, liknande studier. En systematisk översikt skulle ha visat att det fanns starkt vetenskapligt stöd för att läkemedlet har positiv effekt, men någon sådan översikt gjordes inte förrän 1989. Fram till dess visste förlossningsläkare, barnmorskor, barnläkare och neonatalsköterskor inte att behandlingen var så verkningsfull. Tusentals för tidigt födda barn hade följaktligen lidit och dött helt i onödan.[2]

SE STUDIEN I SITT SAMMANHANG
För mer än hundra år sedan påpekade lord Rayleigh, ordförande för det brittiska vetenskapssamfundet British Association for the Advance­ ment of Science, att resultat från ny forskning måste ställas mot annan viktig information:

Det finns de som tror att forskning bara handlar om arbetskrävande faktainsamling. Om det vore så skulle den stå och stampa på stället eller så att säga krossas under sin egen tyngd […] Två processer bör därför pågå samtidigt: först tar man emot den nya informationen, sedan bearbetar och fogar man den till befintlig kunskap. Eftersom båda processerna är nödvändiga behöver vi inte diskutera vilken som är viktigast […] De arbeten som förtjänar störst erkännande, men som tyvärr inte alltid får det, är de som låter upptäckter och förklaringar gå hand i hand, de som inte bara presenterar nya fakta utan även visar hur nya fakta förhåller sig till de gamla.”
Rayleigh, Lord. i : Report of the fifty-fourth meeting of the British Association for the Advancement of Science; held at Montreal in August and September 1884. London: John Murray, 1884: ss. 3–23.

För att svara på frågan ”Vad betyder det här?” måste resultaten från varje studie tolkas mot bakgrund av resultat från andra, liknande studier. Om man tvärtom redovisar nya forskningsresultat utan att koppla dem till systematiskt sammanställda resultat från liknande studier, blir det svårare att få en bra helhetsbild av vilka behandlingar som gör nytta respektive skada. Dessutom finns risken att man sätter igång nya studier i onödan och försöker besvara frågor där det faktiskt redan finns tillräckligt med kunskap för att ge ett tydligt svar.

Systematiska översikter av alla relevanta och tillförlitliga fakta

Att tolka nya forskningsresultat mot bakgrund av allt som har visats tidigare låter sig sägas, men det är av flera skäl en rejäl utmaning. Översikter är viktiga och man måste kunna lita på dem. Men för att bli tillförlitliga måste de genomföras på ett systematiskt sätt. En organisation som tar fram systematiska översikter är Cochrane Collaboration, som står bakom Cochrane-biblioteket.

VIKTEN AV SYSTEMATISKA ÖVERSIKTER

Systematiska översikter och metaanalyser har blivit allt viktigare inom hälso-­ och sjukvården. Vårdpersonal läser dem för att hålla sig uppdaterade inom sitt område, och översikter används ofta som utgångspunkt när man tar fram behandlingsriktlinjer. Institutioner som finansierar forskning kräver ibland systematiska översikter som bekräftelse på att ytterligare forskning behövs, och vissa medicinska tidskrifter har börjat göra detsamma. Som med all forskning bygger värdet av en systematisk översikt på hur man har gått tillväga, vad man har funnit och hur tydligt man har redovisat det. I likhet med andra publikationer varierar kvaliteten på redovisningen, vilket gör det svårare för läsaren att bedöma översikternas förtjänster och brister.”
Moher D, Liberati A, Tetzlaff J, Altman DG. The Prisma Group. Preferred reporting items for systematic reviews and meta-analysis: The Prisma Statement (www.equator-network.org), 2009.

Systematiska översikter som verkar gälla en och samma fråga kan komma fram till olika slutsatser. Det kan bero på att frågan faktiskt inte har varit exakt densamma eller på att forskarna har använt olika metoder. I vissa fall är orsaken att forskarna har tänjt på slutsatserna för att få dem att låta bättre. För att minska risken för vinkling, glidningar och slumpfel är det viktigt att hitta systematiska översikter som gäller rätt fråga, som verkar vara välgjorda och som helt och hållet bygger sina slutsatser på de forskningsresultat som de har vägt samman.

Att minska snedvridning i systematiska översikter

I en enskild studie kan systematiska fel leda till felaktiga slutsatser. Precis detsamma kan ske i systematiska översikter. Mindre nogräknade forskare kan helt enkelt vinkla översikten och plocka ut favoriter, det vill säga välja ut de studier som stöder deras uppfattning och utelämna de andra.

För att undvika sådana problem ska man vid planeringen av en systematisk översikt upprätta ett forskningsprotokoll, på samma sätt som i en enskild studie. Protokollet ska i förväg tydligt ange hur forskarna tänkt gå tillväga för att minska risken för systematiska fel och slumpfel under arbetet. Det handlar om att precisera vilka behandlingsfrågor som översikten ska ta upp, vilka krav som studierna måste uppfylla för att tas med, hur man ska söka rätt på aktuella studier, vad man tänker göra för att få minsta möjliga risk för snedvridning i urvalet av studier samt hur studiernas resultat kommer att analyseras.

Att identifiera alla relevanta studier för systematiska översikter

Att hitta alla studier som bör ingå i en systematisk översikt är en verklig utmaning – inte bara för att forskningsrapporternas språk och format varierar, utan kanske främst för att vissa rapporter aldrig har offentliggjorts. Den här underrapporteringen beror främst på att forskare inte har skrivit ihop eller skickat in forskningsrapporter för publicering eftersom de inte var nöjda med resultatet. Och läkemedelsbolag publicerar inte alltid studie som missgynnar deras produkter. Även de vetenskapliga tidskrifterna bidrar till snedvridning när de tackar nej till att publicera resultat som de inte tycker är tillräckligt ”spännande”.[3]

Underrapportering som leder till en snedvriden helhetsbild av kunskapsläget är både ovetenskapligt och oetiskt. Detta betraktas idag som ett allvarligt problem. När man låter bli att publicera studier där behandlingens effekt är ”otillfredsställande” eller saknas, samtidigt som man ofta överrapporterar ”spännande” resultat, riskerar personer som ska välja behandling att få en felaktig helhetsbild.

Det är häpnadsväckande hur utbredd underrapporteringen är; minst hälften av alla kliniska prövningar redovisas aldrig i sin helhet. Underrapporteringen gäller både stora och små behandlingsstudier och leder till snedvridning. För att komma till rätta med problemet och undvika att vissa forskningsresultat hamnar i byrålådan, har myndigheter och kontrollorgan infört system för att registrera studier som påbörjas. Forskare uppmuntras dessutom att publicera sina forskningsprotokoll.[3]

MARKNADSBASERAD MEDICIN

Interna dokument från läkemedelsindustrin antyder att de forskningsresultat som görs tillgängliga om företagens produkter inte alltid överensstämmer med bakomliggande data. Enligt industrin och de pr-­byråer som bolagen samarbetar med ska publicering av forskningsresultat i första hand gynna försäljningen. Att undanhålla uppgifter, stöpa om negativa resultat och använda spökskrivare [se Forskning – bra, dålig eller onödig] har blivit verktyg för att hantera de medicinska tidskrifterna så att det passar försäljningen, samtidigt som lansering av diagnoser och marknadssegmentering av läkare utnyttjas effektivt för att maximera vinster. Evidensbaserad medicin är ett ädelt ideal, men vi menar att det är marknadsbaserad medicin som råder idag.”
Spielmans GI, Parry PI. From evidence-based medicine to marketing-based medicine: Evidence from Internal Industry Documents. Joournal of Bioethical Inquiry 2010;7(1):13–29. http://tinyurl.com/spielmans

Snedvridning genom att underrapportera forskning, så kallad publiceringsbias, kan faktiskt vara livsfarligt. Det hedrar en brittisk forskargrupp att de 1993 bestämde sig för att redovisa resultaten från en tretton år gammal behandlingsstudie. Undersökningen gällde ett nytt läkemedel mot rubbning av hjärtrytmen hos patienter som hade haft hjärtinfarkt. Nio patienter dog efter att ha fått läkemedlet, medan endast en person dog i kontrollgruppen. Forskarna skrev: ”När vi genomförde vår studie 1980 trodde vi att den ökade dödligheten i läkemedelsgruppen var en slump […] Utvecklingen av läkemedlet [lorkainid] stoppades av kommersiella skäl och därför publicerade vi aldrig studien; den är idag ett bra exempel på publiceringsbias. De resultat som beskrevs här […] kunde ha gett en tidig varningssignal om kommande problem”.[4] De ”kommande problem”som författarna syftar på handlade om liknande läkemedel som, när de användes som flitigast, orsakade tiotusentals för tidiga dödsfall varje år bara i USA (se Vårdens metoder håller inte alltid vad de lovar).[5]

Att minska slumpens inverkan i systematiska översikter

I Att ta hänsyn till slumpens inverkan förklarade vi hur man kan minska slumpens inverkan genom att väga samman resultat från olika studier som liknar varandra, en metod som kallas metaanalys. Vi använde exemplet med fem studier i fem olika länder, studier som organiserats och finansierats var för sig, för att hitta lösningen på den sextio år gamla frågeställningen om hur mycket syrgas som för tidigt födda spädbarn behöver ha i blodet för att ha största möjliga chans att överleva utan allvarliga funktionshinder. Detta exempel visar att man kan planera en metaanalys redan innan forskningsresultaten finns tillgängliga. Men samma metod kan även användas efter att en grupp liknande studier har utförts.

År 1974 gjorde en svensk läkare en systematisk översikt av studier som jämförde resultat av bröstcanceroperationer med och utan strålbehandling.[6] Han upptäckte att samtliga studier visade större sannolikhet för att kvinnorna skulle dö om de fick strålbehandling. När alla dessa resultat sammanfogades statistiskt i en metaanalys stod det klart att den ökade dödligheten knappast berodde på tillfälligheter. De mer detaljerade analyser som följde, och som byggde på dokumentation från enskilda patienter, bekräftade att den strålbehandling som användes under den här perioden faktiskt ledde till ökad dödlighet.[7] Insikten ledde till att säkrare behandlingsmetoder utvecklades.

Att se egenintressen och överdrifter i systematiska översikter

Tänk om de som genomför systematiska översikter har andra intressen som kan påverka hur de går till väga och hur de tolkar sin översikt? Granskarna kanske har fått pengar från företaget som tillverkar det som blivit testat. Ett exempel är översikten om jättenattljusolja mot eksem. När resultatet sammanställdes visade det sig att de översiktsförfattare som hade anknytning till läkemedelsproducenten hade kommit fram till mycket mer entusiastiska slutsatser om behandlingen än de som inte hade sådana kommersiella intressen (se Vårdens metoder håller inte alltid vad de lovar). Det är emellertid inte bara kommersiella intressen som kan leda till snedvridna översikter. Alla har vi förutfattade meningar som kan påverka oss – det gäller både forskare, vårdpersonal och patienter.

Tyvärr händer det att personer med underliggande egenintressen utnyttjar olika slags snedvridning för att få behandlingar att framstå som bättre än vad de faktiskt är (se även Forskning – bra, dålig eller onödig).[8] Så blir det när forskare avsiktligt bortser från befintliga studier, något som oftast men inte alltid har kommersiella orsaker. De utformar, analyserar och redovisar forskningen så att deras behandlingsmetod ska framstå i bättre dager. Detta var vad som hände på 1990-talet då tillverkarna av det antidepressiva läkemedlet Seroxat (paroxetin) undanhöll viktiga resultat som tydde på att läkemedlet faktiskt förvärrade symtomen hos unga patienter så att några övervägde självmord.[9]

Även överrapportering är ett problem. Ett fenomen som kallas salamipublicering innebär att forskarna tar resultaten från en enskild studie (”salamin”) och delar upp dem i flera rapporter (ungefär som när man skär korvskivor) – utan att tydligt redovisa att det bara handlar om delrapporter av en och samma studie. Läsaren kan få ett felaktigt intryck av att det handlar om nya oberoende studier som bekräftar den första rapporten, eftersom samtliga kommer till samma slutsatser. På det sättet kan en och samma ”positiva” studie dyka upp i olika artiklar i ett antal tidskrifter och därmed ge en skev helhetsbild.[10] Även i det här fallet skulle förvirringen minska om man registrerade studierna när de inleds och om varje enskild studie fick ett eget identifikationsnummer.

Vad kan hända om alla relevanta och tillförlitliga fakta inte värderas?

En riktig prövning av behandlingsmetoder innebär att man systematiskt granskar alla hållbara studier av betydelse för sammanhanget för att få en tillförlitlig översikt av vad som redan är känt. Här kan det ingå såväl laboratorieforskning som behandlingsstudier av friska försökspersoner eller patienter. Om man missar detta, eller gör det slarvigt, kan följderna bli allvarliga. Samtidigt slösas värdefulla resultat för hälso- och sjukvården och forskningen bort.

Att skydda patienter från skada

Amerikanska forskare har gått tillbaka 30 år i tiden och undersökt vilka behandlingar som medicinska läroböcker har rekommenderat för patienter med hjärtinfarkt. Forskarna jämförde det som böckerna påstår olika år med fakta från systematiskt sammanställd forskning vid motsvarande tidpunkter.[11] Analysen visar att många av läroböckernas rekommendationer under perioden var felaktiga – de byggde inte på systematiska översikter. Följden av att bygga mer på böckerna än på forskningen var katastrofal. I vissa fall hade patienter med hjärtinfarkt inte fått livräddande behandling (som blodproppslösande medicin). I andra fall fortsatte läkare att rekommendera behandlingar som för länge sedan hade visats vara dödliga (till exempel läkemedel för att förebygga rubbningar av hjärtrytmen vid hjärtinfarkt, se ovan och Vårdens metoder håller inte alltid vad de lovar).

Det är patienterna som blir lidande av att man inte gör systematiska översikter som uppdateras med de senaste forskningsresultaten. Ännu ett exempel: Vid behandling av blödningar skulle man kunna tycka att konstgjort blod, som inte kräver kylförvaring eller korstestning, kunde vara ett bra alternativ till riktigt blod. Men bara tills man gör en systematisk översikt. Då ser man att konstgjort blod ökar risken för hjärtinfarkt och död. En systematisk översikt av de randomiserade studier som har gjorts sedan slutet av 1990-talet visar att riskerna helt i onödan uppmärksammades flera år för sent.[12]

KUNSKAPEN BYGGS PÅ BIT FÖR BIT MEN MÅSTE PUSSLAS IHOP

Forskare har talat om något som heter ”kumulativ metaanalys” i 25 år, och det innebär att man gör en metaanalys löpande om en viss behandling. Varje gång det kommer en ny studie matar man in siffrorna och får ett uppdaterat, samlat resultat och en bild av vartåt det lutar. Det bästa är att man på det sättet kan upptäcka statistiskt säkerställda resultat så snart de börjar framträda, utan att riskera människors liv i onödig forskning.”
Goldacre B. Bad science: How pools of blood trials could save lives. The Guardian, 10 maj 2008, s. 16.

Att skydda försöksdeltagare från skada

Utvärderar man inte det samlade faktaunderlaget finns även risken att försöksdeltagare tar onödig skada. Man sätter igång och genomför forskningsprojekt där inte alla deltagare får behandling som redan visat sig vara verkningsfull. Bland patienter som ska tarmopereras, till exempel, fortsatte forskare länge att göra jämförande studier där hälften av försöksdeltagarna inte fick förebyggande antibiotikabehandling – trots att det redan fanns bevis för att sådan behandling före ingreppet minskar dödligheten i komplikationer. Men forskarna hade inte gjort någon systematisk översikt av kända resultat, och undandrog hälften av deltagarna en dokumenterat effektiv behandling. Denna allvarliga miss förbisågs uppenbarligen av dem som finansierade studien och av de etikprövningsnämnder som hade granskat forskningsprotokollen utan att ställa kritiska frågor.

Det är inte bara patienter i behov av behandling som kan utsättas för onödiga risker på det här sättet. Även friska försöksdeltagare kan drabbas. I den första prövningsfasen av ett nytt läkemedel ingår ofta några få friska frivilliga deltagare. År 2006 gav ett privat forskningscentrum i västra London injektioner till sex frivilliga unga män av ett läkemedel som aldrig tidigare hade använts på människor. Alla sex injicerades samtidigt och alla drabbades av livshotande komplikationer – och en av dem förlorade både fingrar och tår. Hälsan sattes på spel. Tragedin skulle högst sannolikt ha kunnat undvikas [13] om rapporten om kraftiga reaktioner på en liknande medicin hade lämnats in för publicering,[14] och om forskarna systematiskt hade sammanställt allt som redan var känt om effekterna av den typen av läkemedel.[15] Om de hade gjort det, skulle de kanske ha avbrutit studien, eller så hade de kanske gett injektionen till en person i taget och inte till alla samtidigt. Dessutom skulle de ha varnat försökspersonerna för de möjliga riskerna.[16]

HADE HON LEVT OM MAN HADE BÖRJAT MED ATT TITTA PÅ BEVISEN?

Ellen Roche, en frisk 24­-årig kvinna som deltog frivilligt i en astmastudie vid Johns Hopkins universitet, dog i juni [2001] på grund av tilltagande lung­- och njursvikt efter att ha blivit ombedd att andas in en kemisk substans. Men den tragiska händelsen hade kunnat undvikas. Efter dödsfallet kom nämligen uppgifter om att forskaren som ledde experimentet, och den etikprövningsnämnd som hade godkänt det, hade förbisett flera signaler om riskerna med ämnet hexametonium som Ellen Roche fick inhalera. Vad som gör det hela ännu mer upprörande är att det var lätt att hitta publicerade vetenskapliga bevis för att kemikalien är farlig. The Baltimore Sun gjorde sammanfattningen att även om läkaren som övervakade försöket, Alkis Togias, hade gjort en ”uppriktig ansträng­ning” att söka biverkningar av läkemedlet, hade han tydligen bara inriktat sig på ett begränsat antal källor, däribland PubMed [en stor internationell medicinsk databas] där det bara går att söka artiklar som publicerats 1966 eller senare. Publicerade artiklar från 1950-­talet, som senare publikationer hänvisar till, varnade emellertid för lungskador vid användning av hexametonium.”
Perkins E. Johns Hopkins tragedy . Information Today 2001;18:51–4.
Se även : Savulescu J, et al. The Hexamithonium Asthma Study and the death of a normal volunteer in research. Journal of Medical Ethics 2002;28: 3–4.

Slöseri med resurser inom sjukvård och medicinsk forskning

Att inte göra systematiska översikter av välgjorda studier skadar inte bara människors hälsa. Det kan också leda till slöseri med resurser inom vården och den medicinska forskningen. Under 1980- och 1990-talen deltog exempelvis drygt 8 000 patienter i flera studier av ett nytt läkemedel mot stroke. Nederländska forskare gjorde en systematisk granskning av resultaten av dessa studier och kunde inte se några positiva effekter (se Forskning – bra, dålig eller onödig).[17] De bestämde sig då för att titta på resultat från tidigare utförda djurstudier med samma läkemedel. Inte heller då fann de några positiva effekter.[18] Om de ansvariga för djurförsöken och de kliniska forskarna hade granskat forskningsresultaten systematiskt vartefter de kom, skulle man sannolikt inte ha fortsatt att be alla dessa tusentals patienter delta i behandlingsstudierna. Resurserna hade hellre kunnat satsas på behandling av patienter med stroke, och på studier som hade större chans att förbättra behandlingsmetoderna. Det här exemplet är långt ifrån unikt.[19]

Nya forskningsrapporter bör inledas och avslutas med systematiska översikter

Rapporten från en studie [20] av kortisonpreparat för personer med akut traumatisk hjärnskada illustrerar hur man ska besvara Bradford Hills fyra frågor. Forskarna förklarade att de satte igång studien för att deras systematiska översikt hade visat på en betydande osäkerhet om effekterna av denna vanliga behandling, och för att metoden uppenbarligen användes på olika sätt. De hade registrerat och publicerat forskningsprotokollen för sin studie när den inleddes. De angav vilka åtgärder de hade vidtagit för att minska risken för systematiska fel, och hur de begränsade slumpens inverkan genom att studera tillräckligt många patienter. Och de beskrev resultatet att kortisonpreparat som ges till patienter med allvarliga hjärnskador ökar dödsrisken för dessa patienter.

Sist men inte minst gav de läsarna alla belägg som behövs för att förhindra tusentals dödsfall på grund av denna vanliga behandling. De gjorde detta genom att uppdatera sin inledande systematiska översikt och väga samman tidigare studier med sina nya fynd.

SÅ BÖR FÖRFATTARE SÄTTA FYNDEN I SITT SAMMANHANG, ENLIGT REDAKTÖRERNA FÖR DEN MEDICINSKA TIDSKRIFTEN THE LANCET

Systematisk översikt
Detta avsnitt ska innehålla en beskrivning av hur författaren har sökt all vetenskaplig dokumentation. Författaren ska även ange hur kvaliteten har utvärderats, det vill säga hur urvalet har gått till och hur resultaten har vägts samman.

Tolkning
Här ska författaren ange vad studien tillför det samlade vetenskapliga underlaget när den läggs ihop med tidigare forskning.

Alla forskningsrapporter, oavsett om de är randomiserade eller inte, som skickas in efter den 1 augusti […] ska i rapportens diskussionsdel värdera resultaten mot bakgrund av det samlade vetenskapliga underlaget.”
Clarks S, Horton R. Putting research in context– revisited. Lancet 2010;376:10–11.

Källhänvisningar

1 ISIS-2 (Second International Study of Infarct Survival) Collaborative Group. Randomised trial of intravenous streptokinase, oral aspirin, both, or neither among 17,187 cases of suspected acute myocardial infarction: ISIS-2. Lancet 1988;332:349-60.

2 Reynolds LA, Tansey EM, eds. Prenatal corticosteroids for reducing morbidity and mortality after preterm birth. London: Wellcome Trust, Centre for the History of Medicine, 2005.

3 Dickersin K, Chalmers I. Recognising, investigating and dealing with incomplete and biased reporting of clinical research: from Francis Bacon to the World Health Organisation. James Lind Library 2010.

4 Cowley AJ, Skene A, Stainer K, et al. The effect of lorcainide on arrhythmias and survival in patients with acute myocardial infarction: an example of publication bias. International Journal of Cardiology 1993;40:161-6.

5 Moore T. Deadly Medicine. New York: Simon and Schuster, 1995.

6 Stjernswärd J. Decreased survival related to irradiation postoperatively in early operable breast cancer. Lancet 1974;ii:1285-6.

7 Stjernswärd J. Meta-analysis as a manifestation of ‘bondförnuft’ (‘peasant sense’). JLL Bulletin: Commentaries on the history of treatment evaluation 2009.

8 Fugh-Berman AJ. The haunting of medical journals: how ghostwriting sold “HRT”. PLoS Medicine 2010;7(9):e1000335.

9 Whittington CJ, Kendall T, Fonagy P, et al. Selective serotonin-reuptake inhibitors in childhood depression: systematic review of published versus unpublished data. Lancet 2004;363:1341-5.

10 Spielmans GI, Biehn TL, Sawrey DL. A case study of salami slicing: pooled analysis of duloxetine for depression. Psychotherapy and Psychosomatics 2010;79:97-106.

11 Antman EM, Lau J, Kupelnick B, et al. A comparison of results of metaanalysis of randomized control trials and recommendations of clinical experts. JAMA 1992;268:240-8.

12 Natanson C, Kern SJ, Lurie P, et al. Cell-free hemoglobin-based blood substitutes and risk of myocardial infarction and death: a meta-analysis. JAMA 2008;299(19):2304-12.

13 Chalmers I. TGN1412 and The Lancet’s solicitation of reports of phase 1 trials. Lancet 2006;368:2206-7.

14 Jack A. Call to release human drug trial data. Financial Times, 8 August 2006.

15 Kenter MJH, Cohen AF. Establishing risk of human experimentation with drugs: lessons from TGN1412. Lancet 2006;368:1387-91.

16 McLellan F. 1966 and all that – when is a literature search done? Lancet 2001;358:646.

17 Horn J, Limburg M. Calcium antagonists for acute ischemic stroke. Cochrane Database of Systematic Reviews 2000, Issue 1. Art. No.: CD001928.

18 Horn J, de Haan RJ, Vermeulen M, et al. Nimodipine in animal model experiments of focal cerebral ischemia: a systematic review. Stroke 2001;32:2433-8.

19 O’Collins VE, Macleod MR, Donnan GA, et al. 1,026 experimental treatments in acute stroke. Annals of Neurology 2006;59:467-77.

20 CRASH trial collaborators. Final results of MRC CRASH, a randomised placebo-controlled trial of intravenous corticosteroid in adults with head injury – outcomes at 6 months. Lancet 2005;365:1957-9.