Figuren viser forekomsten af hospitalserhvervede urinvejsinfektioner på to hospitaler. Forekomsten er tydeligvis højest på hospital A, og forskellen mellem de to hospitaler er statististisk højsignifikant.
Her slutter de fleste historier, som handler om sammenligning af klinisk kvalitet mellem hospitaler. Se blot de mange årsrapporter fra de landsdækkende kliniske kvalitetsdatabaser.
Desværre – eller rettere heldigvis – kan en simpel sammenligning af to kvalitetsmålinger sjældent stå alene. Falder man for fristelsen og lader sig nøjes, vil man kunne konkludere, at af de to tal er det ene større end det andet. Men uanset hvor statistisk signifikant forskellen er eller ikke er, giver analysen ikke svar på det vigtigste spørgsmål: Er der niveau eller retning i kvaliteten de to steder?
Med niveau mener jeg, at gentagne, hyppige målinger af kvaliteten udviser tilfældig variation omkring et stabilt og forudsigeligt centrum. Retning betyder, at kvaliteten er i bevægelse, altså udviser ikke-tilfældig variation og flytter sig i måleperioden – ønsket eller uønsket. Hvis der er retning, er der ikke noget niveau, og ethvert forsøg på sammenligning med kvalitetniveauet andre steder er meningsløs.
Det er altså en forudsætning for simpel sammenligning af kvalitetsniveauer, at der findes niveauer at sammenligne. Og det kan nok så mange tabeller eller søjlediagrammer med tilhørende p-værdier og sikkerhedsgrænser ikke afgøre.
Seriediagrammet er kontroldiagrammets oversete fætter. Det er enklere at konstruere, forstå og fortolke; og det er mere følsomt for små og moderate ændringer i kvalitetsmålinger over tid end kontroldiagrammet.
Seriediagrammet er et kurvediagram med indikatorværdien på y-aksen og tiden eller rækkefølgen på x-aksen. Midt i diagrammet markerer en vandret linje medianen, som deler datapunkterne, så halvdelen ligger over medianen og halvdelen ligger under. Hvert datapunkt repræsenterer indikatorværdien i en enkelt måling.
Hvis den proces, man studerer, kun udviser tilfældig variation, vil datapunkterne fordele sig tilfældigt omkring medianen. Ved “tilfældigt” forstås, at man aldrig på forhånd kan vide, på hvilken side af medianen det næste punkt vil falde, men at sandsynligheden for begge udfald er lige stor, 50%, og at datapunkterne er indbyrdes uafhængige, dvs. at placeringen af ét datapunkt ikke påvirker placeringen af det næste datapunkt. Hvis processen på et tidspunkt begynder at ændre sig, så niveauet stiger eller falder betydeligt, ændres disse forudsætninger, og der opstår særlige mønstre i datapunkternes fordeling. Disse mønstre kalder vi signaler.
I praksis har især to signaler vist sig nyttige:
Skiftsignalet: Der optræder usædvanligt lange serier af målinger på samme side af medianen.
Krydssignalet: Kurven krydser medianen usædvanligt få gange.
Grænsen for hvor mange datapunkter, der skal til et skiftsignal, eller hvor få kryds, der skal til et krydssignal, afhænger af det totale antal datapunkter i diagrammet og kan beregnes eller slås op i en tabel.
De to test er to sider af samme sag og vil ofte signalere samtidig. Men de er hver for sig diagnostiske for ikke-tilfældig variation.
Den næste figur viser forekomsten af urinvejsinfektioner på de to hospitaler i seriediagrammer målt månedligt over den tre-årige periode, som indgik i den første figur.
Analysen af seriediagrammet bekræfter, hvad øjet måske allerede har set: På Hospital A er forekomsten af urinvejsinfektioner i bevægelse. Der er først en lang serie på 11 målinger over medianen, dernæst en lang serie på 9 målinger under medianen, og endelig krydser kurven kun medianen 9 gange. Alle tre fænomener er usædvanlige i forhold til, hvad man ville forvente af en tilfældig proces med 36 datapunkter.
På Hospital A forekommer der altså ikke-tilfældig variation i den ønskede retning, nedad. Bemærk den røde, stiplede midtlinje, som markerer ikke-tilfældig variation, og som gør det let for beskueren at fortolke diagrammet uden at skulle tælle serier og kryds. Diagrammet er dannet med qicharts-pakken til R.
Det er nu tydeligt, at selv om der gennemsnitligt er flere infektioner på Hospital A, er det meningsløst at sammenligne niveauerne af den simple grund, at Hospital A ikke har noget niveau men en faldende tendens.
En fornuftig præsentation af de to hospitaler kunne formuleres således: På Hospital A har forekomsten af hospitalserhvervede urinvejsinfektioner været markant faldende gennem de seneste tre år fra omkring 2,5% til aktuelt godt 1,5%. På Hospital B ligger forekomsten stabilt omkring 1,2%.
Jacob Anhøj (2015). Kompedium i kvalitetsudvikling. Munksgaard, København.
Jacob Anhøj, Anne Vingaard Olesen (2014). Run Charts Revisited: A Simulation Study of Run Chart Rules for Detection of Non-Random Variation in Health Care Processes. PLoS ONE.
Jacob Anhøj (2015). Diagnostic Value of Run Chart Analysis: Using Likelihood Ratios to Compare Run Chart Rules on Simulated Data Series. Plos ONE.
Ikke-tilfældig variation findes, hvis hvis den længste serie er længere end grænseværdien eller hvis antallet af kryds er lavere end grænseværdien.
Antallet af brugbare observationer er antallet af datapunkter, som ikke ligger på medianen.
En serie defineres som et eller flere på hinanden følgende datapunkter på samme side af medianen. Datapunkter, som ligger på medianen, tæller ikke med – de hverken bidrager til eller bryder en serie.
Et kryds er, når kurven krydser medianen uanset, om det sker gennem et datapunkt på medianen.
| Antal brugbare observationer | Øvre grænse for længste serie | Nedre grænse for antal kryds |
|---|---|---|
| 10 | 6 | 2 |
| 11 | 6 | 2 |
| 12 | 7 | 3 |
| 13 | 7 | 3 |
| 14 | 7 | 4 |
| 15 | 7 | 4 |
| 16 | 7 | 4 |
| 17 | 7 | 5 |
| 18 | 7 | 5 |
| 19 | 7 | 6 |
| 20 | 7 | 6 |
| 21 | 7 | 6 |
| 22 | 7 | 7 |
| 23 | 8 | 7 |
| 24 | 8 | 8 |
| 25 | 8 | 8 |
| 26 | 8 | 8 |
| 27 | 8 | 9 |
| 28 | 8 | 9 |
| 29 | 8 | 10 |
| 30 | 8 | 10 |
| 31 | 8 | 11 |
| 32 | 8 | 11 |
| 33 | 8 | 11 |
| 34 | 8 | 12 |
| 35 | 8 | 12 |
| 36 | 8 | 13 |
| 37 | 8 | 13 |
| 38 | 8 | 14 |
| 39 | 8 | 14 |
| 40 | 8 | 14 |
| 41 | 8 | 15 |
| 42 | 8 | 15 |
| 43 | 8 | 16 |
| 44 | 8 | 16 |
| 45 | 8 | 17 |
| 46 | 9 | 17 |
| 47 | 9 | 17 |
| 48 | 9 | 18 |
| 49 | 9 | 18 |
| 50 | 9 | 19 |
| 51 | 9 | 19 |
| 52 | 9 | 20 |
| 53 | 9 | 20 |
| 54 | 9 | 21 |
| 55 | 9 | 21 |
| 56 | 9 | 21 |
| 57 | 9 | 22 |
| 58 | 9 | 22 |
| 59 | 9 | 23 |
| 60 | 9 | 23 |