Jeg faldt over denne graf i en månedsrapport med ledelsesinformation til topledelsen i en stor offentlig sundhedsvirksomhed.

Indikator

Grafen viser den månedlige forekomst af en bestemt type uønsket hændelse i virksomhedens produktion, og er et godt eksempel på, hvordan man effektivt skjuler vigtig information og fremhæver falske budskaber. Ikke at jeg tror, det har været hensigten at manipulere beskueren til at drage forkerte slutninger. Men fremstillingen gør det næsten umuligt at undgå. Og faktisk snyder virksomheden sig selv. Konklusionen af en korrekt fremstilling af data er nemlig mere positiv for virksomheden, end grafen ovenfor giver indtryk af.

Når man ikke kan se data for bare søjler

For at begynde med de falske budskaber, så giver grafen indtryk af, at månederne april, september og november repræsenterer noget særligt. Man forledes til at tro, at der i disse måneder forekommer usædvanligt mange hændelser. Budskabet bæres af søjlernes kraftigt røde signalfarve og den fremhævede linje, som viser målsætningen. Bemærk i øvrigt y-aksen, som med decimaltalspræcision giver indtryk af, at der kan forekommer halve hændelser.

Men budskabet er forkert. De tre måneder adskiller sig – som det vil fremgå – ikke fra de øvrige måneder på anden vis, end at forekomsten af hændelser tilfældigvis ligger over en øvre grænse for, hvad man mener er acceptabelt.

Problemet er, at man har valgt det forkerte værktøj til opgaven. Søjlediagrammer er velegnede til (parvise) sammenligninger af absolutte og relative størrelser, men de er uegnede til at vise mønstre og tendenser over tid1, hvilket vel er hensigten i dette tilfælde.

Udover at formidle et forkert budskab overser søjlediagrammet det vigtigste, at forekomsten af hændelser nok varierer fra måned til måned, men at variationen er tilfældig. Det betyder, at både det gennemsnitlige niveau og variationsbredden er stabil. Der er altså ikke belæg for at mene, at de tre måneder skulle være udtryk for noget særligt. Misforståelsen skyldes at søjlediagrammer ikke duer til at skelne mellem tilfældige måleudsving og sikre forandringer over tid2.

Kontroldiagrammet til undsætning

En analyse af de samme data i et kontroldiagram3 formidler det korrekte budskab effektivt.

Hvis du ikke kan se figuren herunder, trænger du måske til en tidssvarende browser, fx Firefox eller Chrome.

Kontroldiagrammets kurve viser data over tid. Den midterste vandrette linje viser gennemsnittet. De to linjer øverst og nederst kaldes kontrolgrænser og repræsenterer grænserne for den almindelige variation, som altid forekommer og er en naturlig del af alle processer. Kontrolgrænserne beregnes ud fra den faktiske variation i den pågældende proces og er altså ikke noget, man selv bestemmer. Kontrolgrænser har således intet med hverken sikkerhedsgrænser eller specifikationsgrænser at gøre.

Fortolkningen af kontroldiagrammet er enkel. Hvis et eller flere datapunkter falder uden for kontrolgrænserne, tyder det på såkaldt særlig variation, dvs. variation ud over den almindelige variation. Særlig variation repræsenterer forhold, som ikke er til stede i hele processen, fx udefrakommende påvirkninger af enkelte datapunkter eller mere vedvarende ændringer, som får processen til at flytte sig.

Almindelig variation

Særlig variation

Det er vigtigt at understrege, at hverken almindelig eller særlig variation i sig selv er godt eller skidt. En stabil proces kan fungere på utilfredsstillende lavt niveau; og en ustabil proces kan være et resultat af tilsigtede forbedringer.

Kontroldiagrammet ovenfor viser altså, at der i gennemsnit forekommer omkring 8 hændelser om måneden, og at alt mellem 0 og 16 er inden for det forventede. At betragte måneder, hvor forekomsten af hændelser tilfældigvis er over målsætningen, som noget særligt er ikke bare ukonstruktivt men potentielt skadeligt4.

Det gode spørgsmål er nu, om man er tilfreds med dette niveau og denne variationsbredde.

Før vi kan svare på det, skal vi først skal blive enige om, hvad målsætningen på højst 11.5 hændelser egentlig betyder. Er vi tilfredse, hvis forekomsten er stabil og gennemsnitligt under 12, eller ønsker vi, at ingen måned nogensinde har flere end 11 hændelser?

I det første tilfælde er det vigtigt at beholde hænderne i lommen og modstå fristelsen til at forsøge at justere processen efter hvert tilfældigt måleudsving. Hvis det sidste er tilfældet, må vi udvikle en forbedringsstrategi, som, med udgangspunkt i hvilke strukturer og arbejdsgange, der betinger disse hændelser, søger at reducere risikoen for, at de forekommer.

En god historie bliver endnu bedre

En anden graf i samme rapport viser forekomsten af en anden type uønsket hændelse i virksomheden.

Indikator

Grafen mere end antyder, at månederne september til december adskiller sig fra resten – på den positive måde, vel at mærke.

De samme data vist i et kontroldiagram fortæller en mere nuanceret historie, nemlig at processen allerede i maj-juni begyndte at bevæge sig i den ønskede retning, og at bevægelsen har været jævn – ikke pludselig, som søjlediagrammet antyder.

Udover at træde tydeligere frem i kontroldiagrammet støttes konklusionen af to målepunkter, som falder uden for kontrolgrænserne. Fortolkningen er ikke, at disse to måneder, maj og december, hver for sig er noget særligt. Men de markerer yderpunkterne i en positiv udvikling, som har fundet sted hen over sommer og efterår (og måske fortsætter).

Hvis man skal lære noget af disse data, vil det være mere konstruktivt at lede efter forhold, som kan forklare denne løbende forbedring, end at lede efter årsagen til en pludselig ændring, der skulle have fundet sted i september måned, som søjlediagrammet antyder, men som der ikke er belæg for i data.

Ingen undskyldning

Kontroldiagrammet og de tilhørende teorier blev udviklet for snart 100 år siden og tildeles en stor del af æren for den industrielle opblomstring efter anden verdenskrig5. I løbet af 1990’erne dukkede kontroldiagrammer op i sundhedsvæsenet, hvor det i dag kæmper en retfærdig kamp for at etablere sig som det vigtigste statistiske instrument til kvalitetsstyring. Som disse langt fra enestående eksempler viser, er det en kamp mellem uvidenhed og holdninger (søjler er pænere end kurver) på den ene side og viden og evidens (rette redskab til rette budskab) på den anden side.

Der findes ingen undskyldning for ikke at benytte kontroldiagrammer i enhver situation, hvor formålet er at overvåge og styre kvaliteten af sundhedvæsenets ydelser. Det skulle da lige være, at man vælger at benytte kontroldiagrammets oversete fætter, seriediagrammet, som har flere fordele og kun en enkelt ulempe. Men det er en anden historie6.

  1. S Few (2012). Show Me the Numbers. Designing tables and Graphs to Enlighten, pp. 107-111. Analytics Press, Burlingame, CA↩

  2. J Anhøj (2015). Kompendium i kvalitetsudvikling – Rammer og redskaber. Munksgaard, København↩

  3. MA Mohammed, P Worthington and WH Woodall (2008). Plotting basic control charts: tutorial notes for healthcare practitioners. Qual. Saf. Health Care; 17(137-145)↩

  4. W Edwards Deming (1975). On Probability As a Basis For Action. The American Statistician; 29(4)↩

  5. Wikipedia: Walther A. Shewhart↩

  6. J Anhøj, AV Olesen (2014). Run Charts Revisited: A Simulation Study of Run Chart Rules for Detection of Non-Random Variation in Health Care Processes. PLoS ONE 9(11): e113825↩