David Tuller er akademisk koordinator for mastergradsprogrammet i offentlig helse og journalistikk ved universitetet i California, Berkeley. Tuller har gjesteblogget på Dr. Vincent Racaniello blogg, med en utfyllende gjennomgåelse av PACE-studien som ble publisert i det høyt annerkjente medisinske tidsskriftet The Lancet i 2011. Tuller rapport har tittel «TRIAL BY ERROR: The Troubling Case of the PACE Chronic Fatigue Syndrome Study»
Finn Publikasjon: White PD, Goldsmith KA, Johnson AL et al; PACE trial management group. Comparison of adaptive pacing therapy, cognitive behaviour therapy, graded exercise therapy, and specialist medical care for chronic fatigue syndrome (PACE): a randomised trial. Lancet 2011; 377: 823 – 36. [PubMed] [CrossRef]
Med god hjelp i fra forskere (feks Malcom Hooper) og pasientforeninger for ME-syke, og for å ikke snakke om primus-motor Tom Kindlon utrettelige arbeid, har altså Tuller satt nytt søkelys på hvordan iall verden kom publikasjonen om PACE-studien gjennom fagfellevurderingen…
Tullers oppsummering av PACE-studien:
This examination of the PACE trial of chronic fatigue syndrome identified several major flaws:
*The study included a bizarre paradox: participants’ baseline scores for the two primary outcomes of physical function and fatigue could qualify them simultaneously as disabled enough to get into the trial but already “recovered” on those indicators–even before any treatment. In fact, 13 percent of the study sample was already “recovered” on one of these two measures at the start of the study.
*In the middle of the study, the PACE team published a newsletter for participants that included glowing testimonials from earlier trial subjects about how much the “therapy” and “treatment” helped them. The newsletter also included an article informing participants that the two interventions pioneered by the investigators and being tested for efficacy in the trial, graded exercise therapy and cognitive behavior therapy, had been recommended as treatments by a U.K. government committee “based on the best available evidence.” The newsletter article did not mention that a key PACE investigator was also serving on the U.K. government committee that endorsed the PACE therapies.
*The PACE team changed all the methods outlined in its protocol for assessing the primary outcomes of physical function and fatigue, but did not take necessary steps to demonstrate that the revised methods and findings were robust, such as including sensitivity analyses. The researchers also relaxed all four of the criteria outlined in the protocol for defining “recovery.” They have rejected requests from patients for the findings as originally promised in the protocol as “vexatious.”
*The PACE claims of successful treatment and “recovery” were based solely on subjective outcomes. All the objective measures from the trial—a walking test, a step test, and data on employment and the receipt of financial information—failed to provide any evidence to support such claims. Afterwards, the PACE authors dismissed their own main objective measures as non-objective, irrelevant, or unreliable.
*In seeking informed consent, the PACE authors violated their own protocol, which included an explicit commitment to tell prospective participants about any possible conflicts of interest. The main investigators have had longstanding financial and consulting ties with disability insurance companies, having advised them for years that cognitive behavior therapy and graded exercise therapy could get claimants off benefits and back to work. Yet prospective participants were not told about any insurance industry links and the information was not included on consent forms. The authors did include the information in the “conflicts of interest” sections of the published papers.
Top researchers who have reviewed the study say it is fraught with indefensible methodological problems. Here is a sampling of their comments:
Dr. Bruce Levin, Columbia University: “To let participants know that interventions have been selected by a government committee ‘based on the best available evidence’ strikes me as the height of clinical trial amateurism.”
Dr. Ronald Davis, Stanford University: “I’m shocked that the Lancet published it…The PACE study has so many flaws and there are so many questions you’d want to ask about it that I don’t understand how it got through any kind of peer review.”
Dr. Arthur Reingold, University of California, Berkeley: “Under the circumstances, an independent review of the trial conducted by experts not involved in the design or conduct of the study would seem to be very much in order.”
Dr. Jonathan Edwards, University College London: “It’s a mass of un-interpretability to me…All the issues with the trial are extremely worrying, making interpretation of the clinical significance of the findings more or less impossible.”
Dr. Leonard Jason, DePaul University: “The PACE authors should have reduced the kind of blatant methodological lapses that can impugn the credibility of the research, such as having overlapping recovery and entry/disability criteria.”
Samtidig har ME-pasient og ME-formidler Cort Johnson forenklet det hele ned for oss med bloggposten «Investigative Reporter Shreds PACE CBT/GET Trial: Calls Mount for Independent Review»
En visuell fremstilling i fire deler har tidligere blitt laget for å beskrive hva som ble gjort i PACE-studien. Denne kan du se under her:
Dette er å lese i ME-foreningens nyhetsbrev, juni 2011 med referat i fra den sjette Invest in ME-konferansen i London
London-konferansen ble åpnet med opplesning av en uttalelse fra professor Peter White, som er ansvarlig for den omdiskuterte PACE-studien.
PACE-studien, som ble publisert i det anerkjente tidsskriftet The Lancet i februar i år, har undersøkt effekten av gradert (progressiv) treningsterapi og kognitiv atferdsterapi sammenlignet med standard medisinsk behandling og aktivitetsavpasning. Det som skapte mest storm da resultatene ble publisert, var påstanden om at aktivitetsavpasning ikke har effekt – mens treningsterapi har det.
Grunnen til de kraftige reaksjonene fra MEmiljøet, er at deltakerne til studien er plukket ut fra Oxfordkriteriene. Disse er så vide at de i tillegg til MEpasienter også inkluderer personer med utmattelse som følger av psykiske og psykososiale årsaker. Man kan dermed ikke vite hvem i pasientgruppen som har ME – og heller ikke hvilken effekt de ulike behandlingsformene har på de MEsyke.
Flere aktører i det biomedisinske fagmiljøet har åpent kritisert studien – og på Invest in MEkonferansens åpning kunne dr. Malcolm Hooper lese følgende uttalelse fra professor PD White:
«PACE-studien gjelder kronisk utmattelsessyndrom CFS, studien har ikke til hensikt å studere CFS/ME».
Opplysningen førte til spontan applaus fra en fullsatt sal. For selv om dette kan virke som språklig pirk, ligger det mye politikk bak de ulike betegnelsene og måten de settes opp på. ME er en langt mer spisset diagnose enn CFS, og i ME-miljøet jobbes det nå med å skille tydeligere mellom de to betegnelsene.
– Det er det vi har sagt hele tiden
– at PACEstudien ikke har vært en undersøkelse av MEpasienter. Ergo kan heller ikke resultatene fra studien overføres til MEpasienter og behandlingen av dem, sier Ellen V. Piro, internasjonal koordinator i MEforeningen.
Så gjenstår det å se om denne presiseringen vil få konsekvenser for hvordan man for eksempel i Norge definerer anbefalte behandlingsformer for ME-syke
⇓
Forskningsjuks, i motsetning til feil, er begrunnelsen for to av tre studier som blir trukket tilbake. står det i en artikkel i forskning.no i 2012.
Videre i den samme artikkelen kan vi lese:
67 prosent av studiene som forskerne fant var trukket tilbake på grunn av misconduct. Det kan oversettes til grov forskningsjuks. Det er forfalskning, fabrikkering eller stjeling av data.
21 prosent av studiene ble trukket tilbake på grunn av utilsiktede feil.
Blant artiklene som var trukket tilbake på grunn av juks, forekom både svindel eller mistanke om svindel, plagiat og det å publisere deler av arbeidet sitt flere ganger.
Svindel og mistanke om dette – et stygt eksempel er å dikte opp datamateriale – var bakgrunnen for 43 prosent av tilbaketrekningene.
Dobbeltpublisering og plagiat utgjorde til sammen 24 prosent av begrunnelsene.
– Det bekymringsverdige er at det kan være mørketall, fordi den mest finurlige forskningsjuksingen antakeligvis ikke blir fanget opp og trukket tilbake, sier Casadevall i en pressemelding.
Forskningsetikk og enda mer forskningsetikk – jeg liker ordet og dens betydning – forskningsetikk…
I dag blir ikke forskningsartikler publisert før de er gjennomgått av fagfeller, det vil si andre forskere som kjenner feltet godt. Fagfellene gjør vurderingsjobben gratis, og ofte anonymt.
– Å finne noe å kritisere systemet for, er enkelt, men dette er det beste systemet vi har, sier Charlotte Haug.
Hun er nestleder i Comittee on Publication Ethics (COPE), hvor over 10 000 vitenskapelige tidsskrifter er medlem. Haug er også tidligere redaktør for Tidsskriftet for Den norske legeforeningen.
Et stadig tilbakevendende problem er mangel på objektivitet, som kan gi partiske bedømmelser og forskjellsbehandling. Eksempler og tester viser dessuten at juks, feil og mangler har en lei tendens til å slippe gjennom kvalitetskontrollen.
Er de vitenskapelige tidsskriftenes filter rustet for dagens utfordringer?
Avansert triksing
Falske fagfeller er i seg selv ikke noe nytt. Individuelle forskere og nettverk av forskere har tidligere trikset med navn og adresser for å gi seg selv eller sine kontakter positive vurderinger.
– Det nye er at tredjeparter er involvert i å konstruere fagfellevurderinger, sier Haug.
Juksingen er dermed mer avansert, organisert og satt i system enn tidligere.
Dette er å lese i Forsknings.no artikkel «Flere falske fagfeller» 9 juni 2015
Ikke rart det blir krøll når forskningen treffer mediene Skriver Guro Flinterud, kulturhistoriker, kommunikasjonsrådgiver ved Institutt for klinisk medisin, UiO, i en kronikk 11 oktober 2015.
Tja!!! Forsvinner poenget med forskningsformidlingen om den ikke utfordrer en eneste hjernecelle på vei inn? lurer hun på…
«Kunnskap er noe som skapes hele tiden ved at noen gjør seg opp en mening om hvordan ting henger sammen. I forskningen skal det grundig testing til før noe regnes som kunnskap. Allikevel jobber forskere ut fra vissheten om at dagens kunnskap bare er summen av det vi har funnet ut så langt.»
«Nye funn kan endre på hva vi regner som kunnskap, ulike forskningsprosjekter kan komme opp med motstridende resultater. Noen ganger må vi til og med innse at det vi trodde vi visste ikke stemte allikevel. Det betyr ikke at alt er relativt, men det betyr at vi ikke kan forholde oss naivt til alt som omtales som forskningsfunn.»
Når et funn blir sannheten
«Professor Ola Didrik Saugstads kronikk i Dagbladet 14. juli, Udokumenterte behandlinger har ført til noen av de verste katastrofene i medisinens historie, viser hvor galt det kan gå når common sense-oppfatninger ikke blir skikkelig testet. Han trekker frem skrekkeksempler hvor behandlinger i helsevesenet har vært basert på et for tynt kunnskapsgrunnlag fordi hypotesene virket så overbevisende. Dette er ytterpunkter, men det illustrerer hvor feil det er å tolke ett forskningsfunn som hele sannheten.»
«For forskningsfunn er ikke meningsytringer, det er resultater av en så objektiv prosess som mulig. Det betyr at man skal kunne stole på resultatene som kommer. Men det betyr også det motsatte, nemlig at nye resultater kan endre forståelsen av de resultatene vi stoler på i dag.» sier Guro Flinterud så etter min egen oppfatning og forståelse her.
Så er ringen sluttet:
Kommer The Lancet til å utføre en ny uavhengig fagfellevurdering av PACE-studien?
Var det egentlig sant -> uttalelse fra professor Peter White, som er ansvarlig for den omdiskuterte PACE-studien.
eller
at PACE-studien ikke har vært en undersøkelse av MEpasienter. Ergo kan heller ikke resultatene fra studien overføres til MEpasienter og behandlingen av dem, sier Ellen V. Piro, internasjonal koordinator i MEforeningen.
Blogginnlegget om kronikken i Tidsskriftet forteller en annen historie.
…og vi vet at Larun har tatt med PACE-studien i den nye oversiktanalysen…
LES: Larun L, Brurberg K, Odegaard-Jensen J et al. Exercise therapy for chronic fatigue syndrome.
…og vi vet at Larun er både fysioterapaut og har skrevet doktorgradsavhandling med gjennomføring av ege forskningsstudier… Kort sagt «Hun kjenner til forskningsmetodikk…»
Kortlenke til dette blogginnlegget er: http://wp.me/p1wvHk-1wp
Kan anbefale å lese
Her kan du lese om hvordan du kan gjennomskue nyheter om forskning og vurdere kvaliteten på studiene som blir publisert.
NeuroImmunologisk Myalgisk Encefalomyelitt (ME) 
Tilbaketråkk: På ME-fronten: Artikkel/kronikk i Tidsskriftet 1 des 2015 av VB Wyller, Silje Reme og Mollnes | ToTo NeuroImmunologisk Kurativ Behandling
Tilbaketråkk: På ME-fronten: Jørgen Jelstads oversettelse av David Tullers artikkel av PACE-studien anno 21okt2015 | ToTo NeuroImmunologisk Kurativ Behandling
Tilbaketråkk: Ukas Uviten 21apr2016: Den akademiske debatten med Kristian Gundersen er offisielt over! – ToTo NeuroImmunologisk Kurativ Behandling
Tilbaketråkk: På ME-fronten: Bjarte Stubhaug med grovt forskningsetisk overtramp – ToTo NeuroImmunologisk Kurativ Behandling
Tilbaketråkk: Vit mer om: Hva er og menes med «bias» i forskningen? – NeuroImmunologisk Myalgisk Encefalomyelitt (ME)