Datakvalitet på 1-2-3

Her får du en kort innføring i begrepet datakvalitet og en oversikt over de seks datakvalitetsdimensjonene som benyttes for å beskrive datakvaliteten i de nasjonale kvalitetsregistrene.

Datakvalitet i et register defineres som: Alle trekk og karakteristika ved datasettet som påvirker dataenes evne til å oppfylle registerets formål.

Datakvaliteten defineres således av brukeren – data må være egnet til den ønskede bruken.

Data kan sies å være av god kvalitet når relevante, korrekte og komplette data er tilgjengelige for brukere når de trenger det og i egnet format. 

Det er mange ulike brukere av data fra registrene: klinikere, ledere, forskere, pasienter etc. Disse har ulike behov med tanke på hvilken informasjon de trenger, hvor ofte, og i hvilket format. Registeret skal evne å tilfredsstille alle brukernes ulike behov, så lenge bruken er forankret i formålet med registeret.

"Det ideelle kvalitetsregisteret" illustrerer et register med god datakvalitet på alle områder:

De seks datakvalitetsdimensjonene

Som illustrert over, er datakvalitet et bredt begrep som omfatter mange sider av registerdrift. Når vi skal undersøke og dokumentere datakvaliteten i registre (også kalt validering), operasjonaliserer vi begrepet datakvalitet ved hjelp av seks såkalte datakvalitetsdimensjoner. Her finner du en beskrivelse av disse seks dimensjonene, og sjekklister med råd og tips til hvordan du kan ta dem i bruk når du skal gjennomføre en validering. Servicemijøet i regionene er også behjelpelig med planlegging og gjennomføring av konkrete valideringsprosjekter i registrene.

Relevans

Definisjon: I hvilken grad oppfyller registeret nåværende og fremtidige behov hos brukere av data.

Det er mange ulike brukere av data fra registrene: klinikere, ledere, forskere, pasienter etc. Disse har ulike behov med tanke på hvilken informasjon de trenger, hvor ofte, og i hvilket format. Registeret skal evne å tilfredsstille alle brukernes ulike behov, så lenge bruken er forankret i formålet med registeret. Denne datakvalitetsdimensjonen er inndelt i tre underpunkter; tilgjengeliggjøring, tilpasningsdyktighet og nytteverdi. Dimensjonen beskriver i hvilken grad registeret har tilgjengeliggjort informasjon som er relevant for ulike brukere, om registeret evner å endre seg etter behov og i hvilken grad registeret har nytteverdi.

Kriterium

Beskrivelse

Tilgjengeliggjøring

 

All kjent bruk av data fra registeret er dokumentert.

Bruk av data fra registeret bør dokumenteres. Viktige elementer å beskrive er:

  • Form, tidspunkt og hyppighet for tilgjengeliggjøring/offentliggjøring av data fra registeret. Dette gjelder årsrapport, resultattjenester, og faste rapporter som sendes til definerte brukergrupper (f.eks. RHF).
  • Antall utleveringer av data til forskning/kvalitetsforbedring, inkludert mottakende organisasjon og tema.
  • Annen kjent bruk av data fra registeret, som f.eks. nasjonale indikatorer, analyser/bruk til styring, produktutvikling, pakkeforløp etc.

 

Tilpasningsdyktighet

 

Registeret evner å endre seg etter behov.

Et kvalitetsregister må evne å tilpasse seg endrede krav og behov. Registeret bør dokumentere hvilke mekanismer som eksisterer for å identifisere de ulike brukernes nåværende og fremtidige behov:

  • Beskriv hvilke mekanismer som bidrar til å identifisere nåværende og fremtidige behov for brukere av data (f.eks. arbeid gjennom fagråd, brukerorganisasjoner, eller andre kliniske eller styringsmessige grupper, brukerundersøkelser, samarbeid med forskere/forskningsinstitusjoner etc.).
  • Man kan gjerne også dokumentere hvordan konkrete endringsbehov har blitt identifisert og ført til endringer i registeret.
  • Eksisterer det hindringer som gjør det vanskelig for registeret å gjøre tilpasninger? Disse er viktige å identifisere. Eksempel:
    • IKT: Er registeret er designet slik at det enkelt kan endres ved fremtidige behov, og får registeret gjort nødvendige IKT-endringer innen rimelig tid?
    • Jus: Er det regelverk som gjør endringer og tilpasninger vanskelige?
    • Ressurser: Har registeret tilgang på de nødvendige ressurser for å gjøre tilpasninger?

 

Nytteverdi

 

Informasjon fra registeret fyller et kunnskapshull, og brukere av data får det de har behov for.

Et kvalitetsregister må inneholde data som gir viktig informasjon om pasientgruppen og om kvaliteten på behandlingen. Registeret bør kunne beskrive:

  • Hvordan informasjon fra registeret bidrar til å informere klinikere, ledere og befolkningen om kvaliteten ved pasientbehandlingen og om uønsket variasjon. Har registeret f.eks. relevante kvalitetsindikatorer?
  • Om registeret har dokumentasjon på innholdet i registeret (metadata) som er tilgjengelig for brukerne.

 

Det kan noen ganger være vanskelig å vurdere selv hvor stor nytteverdi registeret har. Det kan derfor være nyttig å gjennomføre en brukerundersøkelse for å måle i hvilken grad ulike brukere av data får det de har behov for fra registeret.

 

Dersom egenvurdering eller brukerundersøkelser avdekker at registeret har begrenset nytteverdi for noen av brukergruppene, er det nyttig å lage en plan for hvordan man skal bedre relevansen i registeret og møte kommende behov.

 


 

Kompletthet

Definisjon. I hvilken grad er alle data registrert som burde vært registrert.

Kompletthet har tre nivå; tilslutningsgrad, dekningsgrad og variabelkompletthet.

Kriterium

Beskrivelse

Tilslutningsgrad

 

Andel enheter som rapporterer til registeret av alle som burde ha rapportert.

 

 

  • Andel enheter som rapporterer til registeret av alle som burde ha rapportert, totalt og per RHF. Hvis relevant, angi også endring fra forrige år.

 

Dekningsgrad

 

Andel hendelser som er rapportert inn til registeret av alle som burde vært rapportert inn.

  • Andel hendelser (på individnivå) som er rapportert inn til registeret av alle som burde ha vært rapportert inn.  Oppgis nasjonalt, regionalt og på enhetsnivå og hvilket innrapporteringsår det gjelder for.
  • Beskriv metoden for beregning av dekningsgrad.
  • Hvis dekningsgrad mangler eller metoden for beregning er usikker: Beskriv konkret plan for beregning av dekningsgrad.

 

Variabelkompletthet

 

Andel komplette variabler.

  • For sentrale variabler: Andel registreringer hvor variabelen ikke er utfylt/besvart (manglende eller ugyldig verdi). Det er særlig viktig å angi dette for variabler som inngår i kvalitetsindikatorer og for sentrale justeringsvariabler.

 

Ressurser:

 

Korrekthet

Definisjon: I hvilken grad reflekterer registeret virkeligheten det skal måle.

Korrekthet kalles også ofte validitet. Dette handler om at data i registeret er sanne i henhold til den virkeligheten registeret ønsker å fange. Det er to nivåer som er interessante for kvalitetsregistre; korrekte pasienter og korrekt informasjon om pasientene.

Kriterium

Beskrivelse

Korrekte pasienter

 

Andel sanne positive i registeret.

 

Sanne positive er hendelser/pasienter i registeret som fyller inklusjonskriteriene (og som dermed skal være i registeret), mens falske positive hendelser er hendelser/pasienter som ikke fyller inklusjonskriteriene men som likevel er innrapportert. Andel sanne positive hendelser kan beregnes ved å sammenligne en gullstandard mot registeret. Gullstandarden kan være det som står i journal eller man kan etablere en ny gullstandard basert på ny vurdering av hendelsen/pasienten.

 

  • Andel sanne positive i registeret beregnes etter følgende formel: Antall sanne positive/antall registrerte * 100.  

 

 

 

Korrekt informasjon om pasientene

 

Andel korrekt eller «sann» informasjon i sentrale variabler.

 

Dette er særskilt viktig for variabler som inngår i kvalitetsindikatorer og sentrale justeringsvariabler. Andel sanne positive er tilfeller hvor det som står i registeret samsvarer med «sannheten». Dette kan beregnes ved å sammenligne en gullstandard mot innholdet i registeret. Gullstandarden kan være det som står i journal, eller man kan etablere en ny gullstandard basert på ny vurdering av hendelsen/pasienten eller det som er oppgitt i journal.

 

  • Per variabel: Andel sanne positive beregnes etter følgende formel:

Antall sanne positive/alle registreringer * 100. 

 

For kontinuerlige variabler (f.eks. høyde eller vekt) bør man også analysere hvor stort avviket er fra den sanne verdien. En variabel hvor avviket fra gullstandarden er stort er mer problematisk enn hvor avviket er lite.

 

Man kan også identifisere problemvariabler, dersom man finner at noen variabler gang på gang avviker fra den sanne verdien. Kan dette skyldes at informasjonen er vanskelig å få tak i for den som skal registrere? Kan det skyldes at variabelen ikke er entydig definert?

 

 

Ressurser:Erfaringer med undersøkelse av korrekthet i SoReg-N (280.77 KB)

 

Reliabilitet

Definisjon: I hvilken grad innholdet i registeret er reproduserbart.

Reliabilitet blir ofte brukt som mål på om scoringsverktøy gir det samme svaret ved gjentatte målinger. En vekt er reliabel hvis den viser samme antall kilo når du går opp på den gjentatte ganger rett etter hverandre. I kvalitetsregistersammenheng er reliabilitet en måte å undersøke om variablene i registeret er gode. Er de entydig definert, relevante og nyttige, slik at ulike registratorer tolker og forstår dem likt?

Kriterium

Beskrivelse

Innholdet i registeret er reproduserbart

 

Gode variabler som er entydig definert.

Gode variabler som er entydig definert øker sannsynligheten for korrekte data. Dette kan undersøkes ved å la flere personer fylle inn et skjema for de samme pasientene, for deretter å sjekke graden av enighet i registreringene, såkalt inter-rater reliabilitet. Dette kan gjennomføres på ulike måter:

  • La to eller flere registratorer fylle ut registerskjemaet for et utvalg reelle pasienter. Dette krever at registratorene i prosjektperioden får tilgang til journal.
  • Registeret lager et antall caser som ligner reelle journalnotater. To eller flere registratorer fyller deretter ut registerskjemaet for disse casene.

 

Ved å gjennomføre en inter-rater undersøkelse av et utvalg hendelser får man en pekepinn på hvilke variabler som er problematiske. Dette kan gjerne også gjøres i oppstartfasen av et register. Lav enighet mellom registratorer peker på problematiske variabler, f.eks. på grunn av:

  • Tvetydig tolkning av variabelen
  • Upresis definisjon og beskrivelse i brukermanual
  • Svaralternativene oppleves ikke dekkende eller relevante

 

Man kan også gjøre en intra-rater undersøkelse, det vil si å la samme person fylle ut samme skjema to ganger med litt tid imellom. Dette kan være særlig nyttig for å undersøke reliabiliteten til PROM-data, hvor det per definisjon ikke eksisterer en gullstandard man kan måle mot.

 

Ressurser:

 

Aktualitet

Definisjon: Tid fra hendelsen inntraff til informasjonen er tilgjengelig for brukere av data.

Aktualitet beskriver om og hvor hyppig registeret tilgjengeliggjør data. Dimensjonen er inndelt i tre; aktualitet for innrapportering, tilgjengeliggjøring av preliminære data og tilgjengeliggjøring av årsdata.

Kriterium

Beskrivelse

Aktualitet for innrapportering

 

Data innrapporteres fra sykehusene innen rimelig tid

To ulike måter å måle aktualitet på:

  • Andel hendelser som er rapportert innen rimelig tid siste hele år og endringer fra foregående år. Bør angis på nasjonalt, regionalt og enhetsnivå. Hva som er rimelig tid vil variere mellom ulike registre, tenk over hva ditt register bør definere som rimelig tid til innrapportering.
  • Median antall dager fra hendelsen/forløpet var ferdig til innregistrering i registeret, kan angis for siste hele år med endringer fra foregående år - på nasjonalt, regionalt og enhetsnivå.

 

Tilgjengeliggjøring av preliminære data

 

Preliminære data er tilgjengelige, og kvalitet og begrensninger er dokumentert for brukere.

Preliminære data betyr i denne sammenheng data som ikke er ferdig kvalitetssikret, for mange kvalitetsregistre vil dette altså gjelde all tilgjengeliggjøring av data før årsrapporten. Dette er data som er etterspurt av mange brukergrupper, fordi det noen ganger er et poeng å få ferskere data enn man får i en årsrapport. Registeret bør beskrive hvilke preliminære data som tilgjengeliggjøres, og gjennom hvilke kanaler:

 

  • Intern bruk i registeret
  • Resultatportalen
  • Rapporteket
  • Andre interaktive, elektroniske tjenester (hvilke)
  • Tilgjengelig for eksterne brukere på forespørsel (beskriv)

 

For preliminære data er det også viktig å dokumentere kjente begrensninger ved bruk og tolkning av data:

  • Kjente begrensninger ved preliminære data er beskrevet for brukerne. Hvis ikke, bør registeret ha en plan for å adressere dette.

 

Tilgjengeliggjøring av årsdata

 

Tilgjengeliggjøring av årsdata skjer til planlagt tid.

Alle kvalitetsregistre skal utarbeide en årsrapport. Registeret bør kunne beskrive:

  • Hvilket år data gjelder for
  • Planlagt dato for tilgjengeliggjøring
  • Faktisk dato for tilgjengeliggjøring
  • Tid fra slutten av referanseperioden (utgangen av året) til tilgjengeliggjøring

 

Ressurser:

 

Sammenlignbarhet

Definisjon: I hvilken grad er data sammenlignbare på tvers av tid, geografi og ulike datakilder.

Det ligger i kvalitetsregistrenes natur å endres over tid, f.eks. når det innføres en ny behandlingsmetode. Samtidig er det viktig for nytteverdien av registeret at man prøver å holde antall brudd i data på et minimum og at man benytter standard kodeverk der dette er tilgjengelig. Det viktigste er at alle endringer i registeret må dokumenteres, og slik dokumentasjon må gjøres tilgjengelig for brukere av data.  Intern sammenlignbarhet beskriver i hvilken grad registerets inklusjonskriterier, variabler og kodeverk er konsistente over tid, mens ekstern sammenlignbarhet beskriver i hvilken grad registeret er sammenlignbart (og mulig å koble) med andre datakilder.

Kriterium

Beskrivelse

Intern sammenlignbarhet

 

Sammenlignbarhet over tid innad i registeret.

Registeret bør kunne dokumentere og beskrive historiske endringer:

  • Hvilke år har registeret samlet data fra.
  • Har inklusjonskriteriene vært konsistente i alle år? Hvis ikke, beskriv på hvilken måte kriteriene har endret seg og tidspunkt for endring.
  • Beskriv historiske endringer for:
    • Populasjon
    • Innrapporterende enheter
    • Kodeverk og variabler.

 

Dersom man ikke har dokumentasjon på endringer over tid, anbefales det at registeret legger en plan for å adressere dette.

 

Ekstern sammenlignbarhet

 

Sammenlignbarhet på tvers av datakilder.

Ekstern sammenlignbarhet omhandler registerets evne til å sammenlignes/kobles med andre datakilder eller registre. For å dokumentere registerets potensial til slik kobling, bør registeret beskrive følgende:

  • Inneholder registeret en unik person-ID som muliggjør kobling med andre datakilder (f.eks. fødselsnummer)?
  • Inneholder registeret en unik enhets-ID som muliggjør identifisering av enheter/organisasjoner ved kobling mot andre datakilder?
  • Inneholder registeret en unik geografisk ID som muliggjør sammenligninger på geografisk nivå ved kobling mot andre datakilder (f.eks. region, fylke, kommune)?
  • Har registeret variabler som er definert etter en standard som gjør det mulig å sammenligne/koble med andre registre? F.eks. variabelstrukturer fra SSB, variabelbiblioteket eller samarbeid med et annet register om utforming av variabler.
  • Beskriv eventuelle begrensninger ved kobling mot andre datakilder, og en plan for å adressere dette.