Dålig vetenskap

Den här bloggen lutar sig alltid mot vetenskapen. Till skillnad från religion, politik och noveller, finns det inom vetenskapen en metod som kan skilja mellan bra och dåliga teorier, skilja fakta från fiktion och gradera påståenden efter deras sannolikhet. Men allt är inte frid och fröjd. Under samma vecka kan man både läsa studier som säger att kaffe leder till cancer och studier som menar att kaffe skyddar mot cancer. Man kan ofta läsa om sensationella och positiva upptäckter, som att ämnet x skyddar mot cancer, Alzheimer eller gör oss smartare och vackrare. De flesta förstår att det är sensationsjournalistik, men det är inte hela sanningen. Det finns systematiska fel som börjar redan när forskarna ser resultatet av sin studie. Det kan man visa med statistik och statistik må vara tråkigt och grått och statistik kan vara en lögn, men likväl är det svårt att blunda för statistik.

Systematiska fel
Det systematiska felet beror på att tidskrifter ogärna publicerar negativa studier, d v s studier som visar att ämnet x inte skyddar mot cancer, Alzheimer eller gör oss vare sig smartare eller vackrare. Den typen av negativa studier är inte lika intressanta. Det vet forskarna och därför bryr de sig inte ens om att skicka in studier som visar på negativa resultat. Positiva studier har dubbelt så stor chans att bli publicerade som negativa studier.

En genomgång av alla studier rörande en speciell medicin visade att antalet positiva och negativa studier var i stort sett lika (38-36, till vänster). Men av dessa publicerades alla utom en av de positiva och endast tre negativa (37-3) till höger. Källa.

Det är allvarligt, för ett negativt resultat ger lika mycket information som ett positivt resultat och i slutändan kan denna skevhet t o m - som i ämnet medicin - leda till att tusentals människor dör i förtid. Helt i onödan. Det berättar Ben Goldacre mer om i sin blixtrande föreläsning nedan.

Om jag kastar upp en krona och bortser från alla kast som visar klave kan det verka som om jag uppfunnit ett mynt som alltid landar med kungen upp. Det är det som blir konsekvensen om man undanhåller fakta. Små avvikande studier får stå oemotsagda, eftersom ingen bryr sig om att publicera små studier som ger ett motsägande resultat. Goldacre berättar om en genomgång i tidskriften Nature där några forskare försökte reproducera resultaten i 53 cancerstudier. Det lyckades i endast 6 fall. Det betyder att minst 88 procent av cancerstudierna var tvivelaktiga. Forskarna bakom denna genomgång tror att orsaken är att forskare helt enkelt gör massor av olika studier och när de får fram något intressant publicerar de det och när de inte får fram något intressant låter de bli. Förutom denna studie visar Goldacre på olika anekdoter, men det starkaste beviset för att det råder skevhet i publicering bygger på statistik.

Statistik ljuger inte
Jag anser att statistik är det mest användbara området inom matematik eftersom det är användbart i både vardag och vetenskap. En statistiskt bildad person är inte så lättlurad och kan bedöma vad som är mer eller mindre troligt.

Med hjälp av en s k trattgraf (funnel plott) kan man påvisa skevhet i publicering av vetenskapliga studier. Denna graf antar att stora studier borde ligga nära mitten där standardavvikelsen (osäkerheten) är låg, medan små studier - med större standardavikelse - sprider ut sig åt båda hållen från den troliga sanningen i mitten. Om grafen avviker från detta trattutseende, kan man anta att det råder publiceringsskevhet.

Grafen ovan visar alla försök som gjorts med en viss behandling. Varje punkt är ett försök. När man rör sig uppåt mot de större studierna, minskar standardavvikelsen, vilket betyder mindre osäkerhet. De stora studierna är alltså mindre sannolikt falskt sanna och mindre sannolikt falsk negativa. Dessa stora studier klumpar ihop sig runt sanningen eftersom stora studier är närmare verkligheten än små studier. De små studierna är utspridda. De borde vara lika många på respektive sida. Men som den andra grafen nedan visar har de de små negativa studierna som borde finnas till vänster försvunnit. De har rensats bort. Rent statistiskt borde de vara lika många som de positiva eftersom sannolikheter följer eviga fördelningar. 

Alla utom tre negativa studier har försvunnit.

Studier och dieter och omega 3
Det är svårt att vara objektiv, särskilt om man man har en älsklingsteori. Det gäller inte minst olika dieter. Det är sällan förespråkare för en viss diet tar upp negativa studier. De gör medvetet eller omedvetet ett urval. Den enda diet som för tillfället kan sägas ha någon slags vetenskaplig evidens är medelhavsdieten. Själv tror jag att en smart kombination av medelhavsdiet och stenålderskost (paleolight) är bäst för Cromagnonmänniskan. Jag tycker att Cromagnonmänniskan förtjänar ett glas rött vin då och då.

Jag tycker också man bör ta hänsyn till ny kunskap, som att mörk choklad är nyttig och att vi i norr behöver tillskott av vitamin D. Däremot är jag inte lika säker på fiskolja i pillerform (omega 3) längre. Sen 70-talet har det kommit flera positiva studier om omega 3. De första studierna utgick från en hypotes om att eskimåernas goda hjärthälsa berodde på att de åt stora mängder fiskolja. Men eskimåerna åt inte piller. De åt fet fisk. Forskarna antog att fettet i fisken var den hälsosamma verksamma substansen. Men det kanske var att de jobbade hårt ute i den friska och rena naturen, hade det trevligt tillsammans i igloon eller så är fet fisk så mycket mer än omega 3.

I en stor studie, som alltså borde ligga nära toppen på en trattgraf, såg man inga effekter av omega 3 för hjärt- och kärlhälsa. Det finns heller inget stöd för att omega 3 skyddar mot cancer. Många små studier har visat positiv effekt, men det kanske har varit så att de negativa inte kommit fram.

En av de mest citerade studierna (gjord 2005) visade att omega 3 förbättrar skolbarns resultat och uppförande. Hela 3000 barn ingick i studien och de åt sex piller om dagen under ett år. Därefter mättes deras förmåga på examensproven och man jämförde deras examensprovsresultat mot vad man trodde att deras examensprovsresultat skulle ha varit om de inte hade fått pillren. Omkring 40 % av barnen förbättrade sig.

Men det fanns ingen kontrollgrupp. Man genomförde alltså en stor studie men brydde sig inte om att göra studien som en placebokontrollerad dubbelblindstudie. Barnen fick pillren och de förbättrade sina skolresultat. Det behöver dock inte bero på att de åt piller. De blev äldre. Alla skolbarn utvecklas. Dessutom finns den s k placeboeffekten. Den är ett faktum. Ett sockerpiller gör oss friskare. Två verkningslösa sockerpiller är mer effektiva än ett sockerpiller. Röda piller är bättre än vita. En injektion med saltlösning är en ännu effektivare behandling för smärta än sockerpiller, inte för att injektionen eller pillren gör något fysiskt med kroppen, utan för att en spruta känns som ett rejälare ingrepp. Det är dessutom viktigt att inte läkaren vet vilken typ av piller som delas ut, eftersom de omedvetet påverkar patienten. Läkaren måste vara blind, lika blind som sin patient.

Eftersom det saknades placebogrupp är det omöjligt att dra några slutsatser. Om man hade gett de 3000 barnen sockerpiller, kanske resultatet blivit detsamma. Men det var en positiv studie och positiva studier blir som vi sett lättare publicerade.

För två år sedan genomfördes en liknande studie på 450 skolbarn men denna gång var det en riktigt genomförd studie, d v s en randomiserad placebokontrollerad dubbelblindstudie. Resultatet var negativt. Man såg inte några förbättringar som kunde kopplas till omega 3. Men eftersom det var en negativ studie så har den inte blivit lika uppmärksammad.

Trots detta äter jag fortfarande omega 3 under veckor då jag äter lite fisk. Det blir dock inte lika många burkar som förr. Jag vet inte om pillren har någon effekt. Nervcellerna i hjärnan omges av membran som innehåller mycket omega 3 och det kan vara så att tillskott gör att dessa membran fungerar bättre. Men det kanske är mer tro än vetenskap. Det tycks i alla fall inte finnas några negativa biverkningar så jag kan lika gärna fortsätta knapra några piller i veckan.

Träningen
Jag försöker att vara objektiv, men jag uppmärksammar säkert det jag själv tror är rätt mer än det jag tror är fel. Jag har förmodligen tagit upp fler små positiva studier och bortsett från en del små negativa studier. Å andra sidan är det här inte en vetenskaplig journal, utan en populärvetenskaplig träningsblogg om lite av varje. Fast jag hoppas det framgår när det är vetenskap och när det är fria fantasier. De gånger jag tagit mina största steg i utvecklingen har dock varit då jag insett att jag har haft fel. Det är egentligen av misstag och fel och negativa studier som man lär sig något. Livet är trial och error. Det är mycket mer error än success.

Jag sprang 20 km i lördags och det blev ett corepass igår. Idag gick vi skidgång inklusive ett tabatapass som genomfördes med burpees och änglahopp. Sen stapplande skidgång och älglufs efter det. I morgon ska jag tacka nej till onsdagsfika igen. Om jag klarar oktober ut klarar jag mig kanske utan socker resten av livet.