Varför de flesta forskningsresultat är felaktiga

Jag har semester! Från och med idag och åtminstone till en sisådär 80-90 %. Jag måste förmodligen sticka iväg och provta ett försenat fältförsök någon gång nästa vecka och jag måste lägga ut ett fältförsök i skiftet juli-augusti - men i övrigt har jag ledigt ända tills mitten av augusti.

Tänkte börja min semester med att läsa igenom en liten skrift om bioenergi som jag beställde från Formas häromdagen. Olika forskare har fått skriva om hur och till vad de anser att vi bör använda bioenergi i framtiden - ska bli intressant läsning. Jag återkommer med en liten recension.

Tills dess kan ni ju begrunda varför det mesta av den publicerade forskningen är felaktig - åtminstone om man ska tro John Ioannidis som skrev artikeln "Why Most Published Research Findings Are False" häromåret.

Han har kommit fram till att sannolikheten för att ett publicerat vetenskapligt resultat är riktigt är lägre än sannolikheten för att det är felaktigt - åtminstone i vissa fall. Speciellt stor risk för felaktiga resultat finns inom explorativ hypotesgenererande forskning som t.ex. epidemiologiska studer - dvs. forskning av typen som ger tidningslöp á la "Läsa boggar ger dig Cancer!" (är någon överraskad?)- och minst chans för felaktiga resultat finner man inom så kallade metastudier som slår samman data och resultat från flera andra forskningsstudier - förutsatt att de är genomförda på ett opartiskt sätt dvs - vilket inte alltid är självklart om ekonomiska eller ideologiska intressen är inblandade.

Man bör inte ta den något provocerande titeln bokstavligt - men artikeln är tänkvärd och jag rekommenderar den varmt för alla som håller på med forskning eller med att på något sätt värdera forskning och forskningsresultat. Ioannidis listar riskfaktorerna för vad som ökar risken för felaktiga resultat:

"a research finding is less likely to be true when the studies conducted in a field are smaller; when effect sizes are smaller; when there is a greater number and lesser preselection of tested relationships; where there is greater flexibility in designs, definitions, outcomes, and analytical modes; when there is greater financial and other interest and prejudice; and when more teams are involved in a scientific field in chase of statistical significance"

Vissa saker är ganska självklara som t.ex. att man har större chans att hitta falska samband om man studerar små effekter i små studier, eller om det är ett område där det finns starka finansiella intressen eller fördomar inblandade. Mer överraskande är det kanske att sannolikheten för publicerade felaktiga resultat ökar inom forskningsfält där fler forskarteam är inblandade. Läs artikeln och döm själva!

Studien ger som sagt en del att fundera över: är dagens akademiska system där allt som tycks räknas är att publicera mycket och ofta ett bra system för att föra det mänskliga vetandet framåt (och åt rätt håll)? Vad är receptet för att minska antalet felaktiga resultat? Borde man försöka hitta mekanismer som gynnar mer av sampublicering och sammanvägda analyser? Borde vi bli bättre på att publicera icke-resultat - dvs. "vi undersökte saken men fann inget samband mellan bloggande och cancer" - för att uppväga?

Ett sätt vore att samla mer av rådata från publicerad forskning i databaser - sådana databaser finns det flera exempel på redan t.ex. inom den fortlöpande miljöanalysen i Sverige - se här och här. Men hur man maximerar tillgängligheten och underlättar tolkningen av data i sådana databaser på bästa sätt är nog inte helt självklart - i våras gick till exempel forskare på Linköpings Universitet ut och påstod att data från miljöövervakningen kunde vara helt felaktiga. Datavärdarna menade att de hade misstolkat deras data och inte diskuterat mätosäkerheterna i materialet med dem - ni hittar deras svar här.

Det är hursomhelst inte självklart att forskning inom vissa fält idag bedrivs på ett optimalt sätt och det är långt ifrån självklart att publicerade forskningsresultat är riktiga. Hur stor sannolikheten är för att sannolikheterna som presenteras i just Ioannidis publikation återspeglar verkligheten på ett riktigt sätt förtäljer inte heller historien...

Uppdatering 23/7:
Ioannidis uppskattningar ifrågasätts också mycket riktigt i läsarresponsen till artikeln.

Andra bloggar om: forskning, vetenskap, statistik, databaser, semester