09 juli 2007

Varför de flesta forskningsresultat är felaktiga

Jag har semester! Från och med idag och åtminstone till en sisådär 80-90 %. Jag måste förmodligen sticka iväg och provta ett försenat fältförsök någon gång nästa vecka och jag måste lägga ut ett fältförsök i skiftet juli-augusti - men i övrigt har jag ledigt ända tills mitten av augusti.

Tänkte börja min semester med att läsa igenom en liten skrift om bioenergi som jag beställde från Formas häromdagen. Olika forskare har fått skriva om hur och till vad de anser att vi bör använda bioenergi i framtiden - ska bli intressant läsning. Jag återkommer med en liten recension.

Tills dess kan ni ju begrunda varför det mesta av den publicerade forskningen är felaktig - åtminstone om man ska tro John Ioannidis som skrev artikeln "Why Most Published Research Findings Are False" häromåret.

Han har kommit fram till att sannolikheten för att ett publicerat vetenskapligt resultat är riktigt är lägre än sannolikheten för att det är felaktigt - åtminstone i vissa fall. Speciellt stor risk för felaktiga resultat finns inom explorativ hypotesgenererande forskning som t.ex. epidemiologiska studer - dvs. forskning av typen som ger tidningslöp á la "Läsa boggar ger dig Cancer!" (är någon överraskad?)- och minst chans för felaktiga resultat finner man inom så kallade metastudier som slår samman data och resultat från flera andra forskningsstudier - förutsatt att de är genomförda på ett opartiskt sätt dvs - vilket inte alltid är självklart om ekonomiska eller ideologiska intressen är inblandade.

Man bör inte ta den något provocerande titeln bokstavligt - men artikeln är tänkvärd och jag rekommenderar den varmt för alla som håller på med forskning eller med att på något sätt värdera forskning och forskningsresultat. Ioannidis listar riskfaktorerna för vad som ökar risken för felaktiga resultat:

"a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance"

Vissa saker är ganska självklara som t.ex. att man har större chans att hitta falska samband om man studerar små effekter i små studier, eller om det är ett område där det finns starka finansiella intressen eller fördomar inblandade. Mer överraskande är det kanske att sannolikheten för publicerade felaktiga resultat ökar inom forskningsfält där fler forskarteam är inblandade. Läs artikeln och döm själva!

Studien ger som sagt en del att fundera över: är dagens akademiska system där allt som tycks räknas är att publicera mycket och ofta ett bra system för att föra det mänskliga vetandet framåt (och åt rätt håll)? Vad är receptet för att minska antalet felaktiga resultat? Borde man försöka hitta mekanismer som gynnar mer av sampublicering och sammanvägda analyser? Borde vi bli bättre på att publicera icke-resultat - dvs. "vi undersökte saken men fann inget samband mellan bloggande och cancer" - för att uppväga?

Ett sätt vore att samla mer av rådata från publicerad forskning i databaser - sådana databaser finns det flera exempel på redan t.ex. inom den fortlöpande miljöanalysen i Sverige - se här och här. Men hur man maximerar tillgängligheten och underlättar tolkningen av data i sådana databaser på bästa sätt är nog inte helt självklart - i våras gick till exempel forskare på Linköpings Universitet ut och påstod att data från miljöövervakningen kunde vara helt felaktiga. Datavärdarna menade att de hade misstolkat deras data och inte diskuterat mätosäkerheterna i materialet med dem - ni hittar deras svar här.

Det är hursomhelst inte självklart att forskning inom vissa fält idag bedrivs på ett optimalt sätt och det är långt ifrån självklart att publicerade forskningsresultat är riktiga. Hur stor sannolikheten är för att sannolikheterna som presenteras i just Ioannidis publikation återspeglar verkligheten på ett riktigt sätt förtäljer inte heller historien...

Uppdatering 23/7:
Ioannidis uppskattningar ifrågasätts också mycket riktigt i läsarresponsen till artikeln.

Andra bloggar om: , , , ,

3 kommentarer:

Malin Sandström sa...

Han har skrivit en annan intressant artikel också, i JAMA juli 2005, som granskar högciterad (>1000 referenser) klinisk forskning. Av 45 studier som visade positivt resultat så var en tredjedel antingen fel eller missledande.

Då kan man undra hur det ser ut i den mer lågciterade forskningen, som brukar anses vara sämre...

Anonym sa...

Vad är definitionen fel?
Om slutsatsen är huruvida man får cancer av bloggning eller inte så är det väl lätt att kontrollera "felet".

I mitt fall sitter jag med kartmaterial och meteorologiska data där jag försöker hitta latenta faktorer, reducera variabler och hitta samband. Om sambandet finns men är olika mellan olika områden så är det ganska klurigt att dels finna att de är fel, samt att definiera hur mycket felet måste vara för att det skall vara fel.

Tar vi IPCC och t ex använder sig av temperaturintervaller i sina projektioner ... så går det antar jag att i sinom tid säga hur rätt de var... men majoriteten av forskningen är ju ständigt ifrågasättande av befintliga forskningsresultat... och falsifieringar av äldre slutsatser... men de kan ju vara de "mest rätta" då det begav sig...

Harald Cederlund sa...

"Felet" förutsätter förstås att det finns en objektiv sanning utan situationstecken som man kan kontrollera resultatet emot.

Problemet är ju bara att om man felaktigt påvisar ett samband mellan bloggning och cancer i en studie så är ju det enda sättet man kan nå fram till denna objektiva sanning på genom att utföra en större eller på något vis bättre studie. Och även i de fall där en sådan utförs och ett icke-samband påvisas så betraktas ju negativa resultat inte som lika konklusiva som positiva resultat - det är inte ens säkert att studien som inte hittar något samband publiceras. Lätt är det alltså nödvändigtvis inte.

När det gäller IPCC så består ju deras rapporter främst av extensiva metaanalyser - alltså den typen av forskning som Ioannis ger högst betyg.

När det gäller deras framtisscenarier lär det dock tillkomma en del felkällor och osäkerheter - vilket ju illustreras av att temperaturintervallet de förutspår är ganska stort - vilket ju också leder till att sannolikheten för att de ska ha "rätt" blir ganska stor. Inte desto mindre representerar ju detta ett sätt att testa en hypotes - vilket faktiskt är vad en stor del av forskningen går ut på. Detta berörs inte av Ioannidis - han diskuterar bara undersökande, hypotesgenererande forskning.