Kasutatavuse küsitlus

Sissejuhatus

Käesoleva raporti eesmörk on näidata kasutatavuse küsitluse tulemusi. Küsitluse eesmärgiks oli teada saada, kas küsitlusega on võimalik hinnata kasutatavuse erinevaid komponente. Küsitlus viidi läbi 2014. aasta jaanuaris. Küsitleti järgnevate registrite/infosüsteemise kasutajaid: ehitisregister (EHR), majandustegevuse register (MTR), lennuohutuse infosüsteem (LOIS), sadamaregister (Sadamr), paberivaba ARK (PARK), Elektrooniline mereinfosüsteem (EMDE), tarbijakaitse infosüsteem (TAKIS, sisuliselt tarbijakaitseameti kodulehekülg), Tehnilise Järelevalve Ameti järelevalveinfosüsteem (JVIS).

Küsiti järgnevaid küsimusi (nurksulgudes kasutatavuse komponent, mille hindamiseks küsimus küsiti):

• Infosüsteemi kasutamine oli lihtne. (skaala 1-4 (1-pole üldse nõus… 4-olen täiesti nõus)) [lihtsus]

• Järgmine kord oskan infosüsteemi paremini kasutada. (1-4) [õpitavus]

• Infosüsteem vastas ootustele. (1-4) [vastavus ootustele]

• Jäin rahule infosüsteem ülesehitusega. (1-4) [rahulolu]

• Jäin rahule infosüsteemis olevate tekstidega. (1-4) [tekstide selgus]

• Sain infosüsteemis vajalikud toimingud kiiresti tehtud. (1-4) [kiirus]

• Mulle meeldis infosüsteemi kasutada. (1-4) [meeldivus]

• Kas olid sunnitud korduvalt kasutama infosüsteemi sama toimingu tegemiseks? (jah/ei)

• Kas kasutasid abi (juhendid, infotelefon jne) infosüsteemi kasutamiseks? (jah/ei) [vajadus abi kasutamiseks]

• Kui soovid midagi lisada, siis palun kirjuta sellest järgnevale tekstiväljale (vabatekstiväli)

Tulemid

Kuna vastajate arv on küllaltki väike, ei ole võimalik tulemeid üldistada infosüsteemide lõppkasutajate tasemele. Sellest hoolimata on võimlaik teha mõningaid järeldusi. Vastajate arv registrite lõikes:

andmed=read.csv("andmed(1).csv")
andmed$register=gsub("EHR_enim|EHR_uus", "EHR", andmed$register)
table(andmed$register)

## 
##     EHR    EMDE    JVIS    LOIS     MTR    PARK Sadamar   TAKIS 
##     357      15      52       2      30     137       4       8

Üldine rahulolu komponentide lõikes (punane joon näitab piiri, kus tinglikult allapoole on kasutatavus halb ning ülespoole hea):

library(reshape2)
data.melt=melt(andmed[,1:8])
library(plyr)
data.sum.variable=ddply(data.melt, c("variable"), summarize,
                        N    = length(value),
                        mean = mean(value),
                        sd   = sd(value),
                        se   = qt(0.975,df=N-1)*sd/sqrt(N),
                        left.ci=mean-se,
                        right.ci=mean+se)
#plot the mean values with CI
library(ggplot2)
ggplot(data.sum.variable, aes(x=variable, y=mean))+
        geom_point()+
        theme_minimal()+
        geom_errorbar(width=.1, aes(ymin=left.ci, ymax=right.ci))+
        geom_hline(yintercept=2, color="red", linetype=5)+
        ylab("")+
        xlab("")+
        ggtitle("Komponendi hinnangu 95%-line usaldusvahemik")+
  theme(axis.text.x = element_text(angle = 45, hjust = 1))

Rahulolu komponentide ja infosüsteemide lõikes:

data.sum.variable.reg=ddply(data.melt, c("variable","register"), summarize,
                        N    = length(value),
                        mean = mean(value),
                        sd   = sd(value),
                        se   = qt(0.975,df=N-1)*sd/sqrt(N),
                        left.ci=mean-se,
                        right.ci=mean+se)
#plot the mean values with CI
library(ggplot2)
ggplot(data.sum.variable.reg, aes(x=variable, y=mean))+
        geom_point()+
        theme_minimal()+
        geom_errorbar(width=.1, aes(ymin=left.ci, ymax=right.ci))+
        geom_hline(yintercept=2, color="red", linetype=5)+
        ylab("")+
        xlab("")+
        ggtitle("Komponendi hinnangu 95%-line usaldusvahemik")+
  theme(axis.text.x = element_text(angle = 45, hjust = 1))+
  facet_wrap(~register, scales = "free_y")

Jooniselt on näha, et EMDE puhul on usaldusvahemik väga lai (üle maksumumi ja miinimumi, mis reaalsuses olla saaks), kuna vastajaid oli vähe. Teiste infosüsteemide puhul on näha, et PARK ja TAKIS kipuvad olema parema kasutatavusega (üle punase joone) kui teised infosüsteemid.

Järgnealt vaatame, kas kasutatavuse puhul on oluline faktor abi kasutamise vajadus. Ehk kas vastused erinevad sõltuvalt sellest, kas kasutaja vajas abi või mitte.

andmed$help=as.factor(andmed$X.2_kasutasid_abi)
andmed$help <- revalue(andmed$help, c("0"="kasutas abi", "1"="ei kasutanud abi"))
data.melt2=melt(andmed[, c(1:8,11)])
##calculate mean, n, sd, se ja 95% CI for each question and 
#each help level (yes/no) 
library(plyr)
data.sum.variable3=ddply(data.melt2, c("help", "variable"), summarize,
                         N    = length(value),
                         mean = mean(value),
                         sd   = sd(value),
                         se   = qt(0.975,df=N-1)*sd/sqrt(N),
                         left.ci=mean-se,
                         right.ci=mean+se)
#plot different mean for each question depending on if person used help or not
ggplot(data.sum.variable3[data.sum.variable3$variable!="X.2_kasutasid_abi.",], aes(x=help, y=mean))+
        geom_point(size=2)+
        geom_errorbar(width=.1, aes(ymin=left.ci, ymax=right.ci))+
        theme_minimal()+
        geom_hline(yintercept=2, color="red", linetype=5)+
        facet_wrap(~variable,scales = "free_y")+
        geom_errorbar(width=.1, aes(ymin=left.ci, ymax=right.ci))+
        coord_cartesian(ylim = c(1, 2.5))+
        ylab("")+
        xlab("")+
        ggtitle("Kasutatavuse hinnang abi kasutajate ja mittekasutajate seas")+
  theme(axis.text.x = element_text(angle = 45, hjust = 1))

Jooniselt on näha, et need, kes abi ei kasutanud, hindasid kasutatavust kõrgemalt.

data.melt2$value=as.factor(data.melt2$value)
#calculate how many used/didn't use help in every variable and value level
data.levels=ddply(data.melt2, c("variable", "value"), summarize,
                  N    = length(value))
#calculate how many used/didn't use help in every variable, value, help level
data.levels2=ddply(data.melt2, c("variable", "value","help"), summarize,
                   N    = length(value))
#keep only those who didnt use help 
data.levels.no=subset(data.levels2, help=="ei kasutanud abi")
#calculate % of help users in every usability level
data.levels.no$all=data.levels$N
#calculate % of users who didn't use help
data.levels.no$percentage=data.levels.no$N/data.levels.no$all
#rename variable
names(data.levels.no)[1]="Komponent"
#plot % of users needed help in each usability rate
require(scales)
ggplot(data.levels.no, aes(x=value, y=percentage, group=Komponent))+
        geom_line(aes(color=Komponent), size=1)+
        geom_point(aes(color=Komponent), size=2)+
        ylab("")+
        xlab("Kasutatavus")+
        scale_x_discrete(breaks=c("0", "1", "2", "3"),
                         labels=c("Väga halb", "Halb", "Head", "Väga hea"))+
        #scale_y_continuous(labels=percent)+
        ggtitle("Kasutajate osakaal, kes abi ei kasutanud")+
        coord_cartesian(ylim = c(0.2, 0.75))+
        theme_minimal()

Jooniselt on näha, et nende grupis, kes hindasid kasutatavust madalaks, kasutasid abi rohkem kui need, kes hindasid kasutatavust kõrgemalt.