DESCRIPCIÓN DEL BANCO DE DATOS

Disponemos de las siguientes variables:

##  [1] "id"         "estacion"   "area"       "grupo"      "tipoprueba"
##  [6] "evaluador"  "tribunal"   "eval"       "tot"        "areasim"

area, describe el área competencial, en un total de 8 niveles (la variable areasim contiene abreviaturas para estas áreas):

## [1] "Anam: Anamnesis"                                                  
## [2] "AspEtic: Aspectos eticos/legales y profesionalismo"               
## [3] "ExpClin: Exploracion Clinica"                                     
## [4] "HabCom: Habilidades de Comunicacion"                              
## [5] "HabTec: Habilidades tecnicas/Procedimentales"                     
## [6] "JuiClin: Juicio Clinico, plan de manejo diagnostico y terapeutico"
## [7] "PrevSalu: Prevencion y promocion de la salud"                     
## [8] "RelInter: Relaciones interprofesionales"

estacion, un total de 20 estaciones clínicas en diferentes ámbitos
- E01. PMQ del aparato digestivo
- E02. PMQ del aparato digestivo
- E03. P de enfermedades infecciosas
- E04. medicina urgencias
- E05. medicina legal
- E06. M y C de urgencias
- E07. PMQ del sistema nefrourinario
- E08. Psiquiatría
- E09. PMQ aparato locomotor
- E10. pediatría
- E12. P de enfermedades infecciosas
- E13. PMQ del sistema endocrino
- E14. cirugía
- E15. ginecología y obstetricia
- E16. ginecología y obstetricia
- E18. pediatría
- E19. PMQ del sistema respiratorio
- E20. PMQ del sistema cardiovascular
- E21. PMQ del sistema cardiovascular
- E22. microbiología y medicina legal

No se evaluaron todas las áreas en todas las estaciones (en la tabla, los cruces distintos de cero).

	Anam	AspEtic	ExpClin	HabCom	HabTec	JuiClin	PrevSalu	RelInter
E01	117	0	117	117	0	0	0	0
E02	0	0	0	0	0	117	0	117
E03	0	117	0	0	0	0	117	0
E04	0	117	117	0	117	0	0	0
E05	0	117	0	0	0	0	0	117
E06	0	0	117	117	0	0	0	0
E07	0	117	0	0	117	117	0	0
E08	117	0	117	117	0	117	0	0
E09	0	0	117	0	117	117	0	0
E10	0	117	0	0	0	117	117	0
E12	117	0	117	117	0	117	0	0
E13	117	0	0	0	117	117	117	0
E14	0	117	0	0	117	0	117	0
E15	117	0	0	117	0	117	117	0
E16	0	0	117	0	117	117	117	0
E18	117	0	117	117	0	117	117	0
E19	0	0	0	0	0	117	0	117
E20	117	0	117	117	0	117	0	0
E21	0	0	0	0	0	117	0	0
E22	0	117	0	0	0	117	117	0

grupo, se refiere a los tres turnos utilizados para realizar la prueba, distribuyendo a los estudiantes: sábado mañana (SM), sábado tarde (ST) y domingo mañana (DM):

## [1] "1SM" "2ST" "3DM"

tribunal, se refiere a los 5 tribunales requeridos para evaluar cada estación durante los dos días de pruebas (Sábado/Domingo, Mañana/Tarde, rueda A/B)

## [1] "1SMA" "2SMB" "3STA" "4STB" "5DMA"

evaluador identifica al evaluador en cada estación

## [1] "actor"       "profesional"

tipoprueba identifica el tipo de evaluación realizada en cada estación,
- PE=paciente estandarizado, PEA (con actor) y PER (con profesional)
- EOE= Examen Oral Estructurado
- MP=Maniquí-Procedimiento
- EOE-MP= examen oral estructurado y maniquí procedimiento

Las estaciones se agrupan por tipoprueba (en la tabla, los cruces distintos de cero identifican; el valor en el cruce da el número de observaciones disponibles):

Table continues below
	E01	E02	E03	E04	E05	E06	E07	E08	E09	E10	E12
EOE	0	0	234	0	0	0	351	0	0	351	0
IC	0	234	0	0	234	0	0	0	0	0	0
MP	0	0	0	351	0	0	0	0	351	0	0
PEA	351	0	0	0	0	0	0	0	0	0	0
PER	0	0	0	0	0	234	0	468	0	0	468

	E13	E14	E15	E16	E18	E19	E20	E21	E22
EOE	468	0	0	0	0	0	0	0	0
IC	0	0	0	0	0	234	0	117	351
MP	0	351	0	468	0	0	0	0	0
PEA	0	0	468	0	0	0	468	0	0
PER	0	0	0	0	585	0	0	0	0

INCIDENCIAS CON EL BANCO DE DATOS

Problemas con el reparto de puntos evaluativos por estación

Teóricamente cada área tiene un peso determinado en cada estación (en la variable “eval”), de modo que la suma total de puntos asignados a los items vinculados a cada estación suma 100. El reparto de puntos utilizado (suma de eval en todos los items asociados a una determinada estación-area) se muestra a continuación, junto con los totales marginales por filas y columnas, utilizando como referencia el sujeto DMA1:

## Adding missing grouping variables: `estacion`, `areasim`

Anam	AspEtic	ExpClin	HabCom	HabTec	JuiClin	PrevSalu	RelInter	total	estacion
53	0	27	20	0	0	0	0	100	E01
0	0	0	0	0	34	0	66	100	E02
0	10	0	0	0	0	90	0	100	E03
0	10	34	0	52	0	0	0	96	E04
0	51	0	0	0	0	0	49	100	E05
0	0	93	7	0	0	0	0	100	E06
0	9	0	0	57	34	0	0	100	E07
27	0	33	18	0	22	0	0	100	E08
0	0	26	0	50	24	0	0	100	E09
0	11	0	0	0	44	45	0	100	E10
43	0	10	12	0	35	0	0	100	E12
25	0	0	0	20	25	25	0	95	E13
0	10	0	0	80	0	10	0	100	E14
40	0	0	15	0	32	13	0	100	E15
0	0	12	0	32	48	8	0	100	E16
32	0	29	15	0	14	10	0	100	E18
0	0	0	0	0	70	0	30	100	E19
40	0	36	18	0	6	0	0	100	E20
0	0	0	0	0	50	0	0	50	E21
0	35	0	0	0	35	30	0	100	E22
260	136	300	105	291	473	231	145	1941	total

Resulta pues, que se detectan varias estaciones en las que se han debido de producir errores en el registro de los puntos asignados a cada área. Verificamos esos casos, para rectificarlos.

Estación E04

Descubrimos que para la estación E04, las máximas calificaciones de alumnos (variable tot) son superiores a los puntos asignados

AspEtic	ExpClin	HabTec
10	36	54

	Anam	AspEtic	ExpClin	HabCom	HabTec	JuiClin	PrevSalu	RelInter	total	estacion
4	0	10	34	0	52	0	0	0	96	E04

Estos máximos sí suman 100, de donde derivamos que estas cifras debían de ser los puntos totales que proporcionaban en la E04 las tres áreas involucradas. Modificamos pues el banco de datos para corregir la variable eval con estos valores máximos.

Estación E13

Procedemos de igual modo para la estación E13, descubriendo una calificación superior a 20 en el área cuya máximo era éste (JuiClin).

Anam	HabTec	JuiClin	PrevSalu
25	25	21	25

	Anam	AspEtic	ExpClin	HabCom	HabTec	JuiClin	PrevSalu	RelInter	total	estacion
12	25	0	0	0	20	25	25	0	95	E13

Además, al visibilizar las calificaciones obtenidas por los alumnos (tabla a continuación), advertimos que deben de haberse producido varios errores:

en el área HabTec la máxima calificación registrada es de 25, mientras que el total de puntos consignado (eval) es de 20;
en el JuiClin, si bien la puntuación asignada es de 25, todos los registros de calificaciones son cero salvo dos de ellos;
tras la inspección de los datos, observamos que en el área HabTec hay calificaciones negativas.

##        Anam HabTec JuiClin PrevSalu
##   [1,]    0      5       0       23
##   [2,]   25      5       0       25
##   [3,]   25     -5       0       25
##   [4,]   25     15       0       25
##   [5,]   25     20       0       25
##   [6,]   12      5      21       15
##   [7,]   20      5       0       12
##   [8,]   25     10       0       16
##   [9,]   25     15       0       15
##  [10,]   25      0       0       14
##  [11,]   23     20       0        8
##  [12,]    0     -5       0       15
##  [13,]   20     10       0       12
##  [14,]   25      5       0       13
##  [15,]   25     15       0       19
##  [16,]    2      0       0       11
##  [17,]    0      0       0       25
##  [18,]    0      5       0       25
##  [19,]   17     10       0       25
##  [20,]   20     -5       0       18
##  [21,]   12      0       0       23
##  [22,]    7     15       0       19
##  [23,]   25      0       0       23
##  [24,]   10     10       0       23
##  [25,]   10      5       0       21
##  [26,]   10     10       0       14
##  [27,]   12     15       0       14
##  [28,]   12     10       0       15
##  [29,]   10      0       0       23
##  [30,]   25      5       0       21
##  [31,]   18     10       0       25
##  [32,]   10      5       0       21
##  [33,]   12     10       0       18
##  [34,]   10     10       0       17
##  [35,]   17     20       0       25
##  [36,]   18      5       0       23
##  [37,]   12      5       0       22
##  [38,]   10     15       0       25
##  [39,]   12      5       0       23
##  [40,]   10      5       0       25
##  [41,]   20     20       0       22
##  [42,]   12      5       0       25
##  [43,]   12     10       0       25
##  [44,]   23     10       0       25
##  [45,]   17     10       0       25
##  [46,]   12     10       0       18
##  [47,]   25      5       0       15
##  [48,]   25      0       0       15
##  [49,]   12      5       0       13
##  [50,]    2     10       0        7
##  [51,]   25      5       0        7
##  [52,]   25     15       0       18
##  [53,]   15     10       0       15
##  [54,]   25      5       0       15
##  [55,]   12      5       0       12
##  [56,]   25      5       0       11
##  [57,]   20      5       0       18
##  [58,]   25     15       0       14
##  [59,]   17      5       0       14
##  [60,]   17      0       0       11
##  [61,]   17      5       0       14
##  [62,]   17      0       0       11
##  [63,]   25     15       0       14
##  [64,]   25     15       0       15
##  [65,]   20     10       0       11
##  [66,]   25      5       0       14
##  [67,]   17     10       0       13
##  [68,]   12      5       0       15
##  [69,]   10      0       0        7
##  [70,]    0     25       0       22
##  [71,]   25     20       0       25
##  [72,]   12     10       0       25
##  [73,]    0      0       0       20
##  [74,]    0     20       0       17
##  [75,]   12      5       0       22
##  [76,]    0     20       0       23
##  [77,]   20     20       0       25
##  [78,]   25      5       0       25
##  [79,]   12     15       0       23
##  [80,]   25     15       0       25
##  [81,]   12     15       0       25
##  [82,]   12      0       0       23
##  [83,]   17     15       0       25
##  [84,]   17     15       0       18
##  [85,]    0     15       0       18
##  [86,]   18      5       0       22
##  [87,]   10     15       0       25
##  [88,]   15      5       0       25
##  [89,]    0      5       0       25
##  [90,]   12      0       0       25
##  [91,]   12     10       0       25
##  [92,]   12     15       0       25
##  [93,]    0     15       0       23
##  [94,]   25     20       0       15
##  [95,]   25      5       0       12
##  [96,]   17     15       0       15
##  [97,]   12     20       0       15
##  [98,]   12     15       0       12
##  [99,]   23     15      20       15
## [100,]   25     20       0       14
## [101,]   15     10       0       12
## [102,]   17      5       0       12
## [103,]   17     25       0       12
## [104,]   12     15       0       12
## [105,]   20     20       0       15
## [106,]   23     20       0       11
## [107,]   20     25       0       12
## [108,]   23     15       0       12
## [109,]   25     20       0       15
## [110,]   18     25       0       12
## [111,]   20     10       0       12
## [112,]   23     15       0       12
## [113,]   25     15       0       12
## [114,]   20      5       0       12
## [115,]   17     10       0       13
## [116,]   25     25       0       16
## [117,]   25     15       0       15

Resolución de incidencias estación E13

Para resolver la incidencia con la puntuación asignada a HabTec, registraremos eval=25 puntos asignados a la evaluación de esta área en esta estación.
Para resolver la incidencia con el área JuiClin procedemos a eliminar la evaluación de esta área en esta estación, repartiendo el peso de la evaluación de forma proporcional entre las restantes áreas (Anam 34/ HabTec 33/PrevSalu 33).

Ahora ya tenemos sólo evaluadas las áreas Anam (con un peso de 34), y las de HabTec y PrevSalu, con pesos cada una de 33.

##     
##      Anam AspEtic ExpClin HabCom HabTec JuiClin PrevSalu RelInter
##   33    0       0       0      0    117       0      117        0
##   34  117       0       0      0      0       0        0        0

Suponemos que las calificaciones negativas son errores de registro en el signo, por lo que modificaremos éstos para obtener calificaciones positivas, verificando previamente que no hay valores negativos en ningún otro cruce estación-área (aptdo Calificaciones negativas).

Estación E21

En la estación E21 sólo se evaluó el área JuiClin, con lo que el total de puntos a asignar en dicha área debería de ser 100 y no 50 como aparece en los datos.

	Anam	AspEtic	ExpClin	HabCom	HabTec	JuiClin	PrevSalu	RelInter
50	0	0	0	0	0	117	0	0

50

	Anam	AspEtic	ExpClin	HabCom	HabTec	JuiClin	PrevSalu	RelInter	total	estacion
19	0	0	0	0	0	50	0	0	50	E21

Puesto las notas de los sujetos (variable tot) también han sido calificadas sobre 50 puntos, procedemos a trasladar de escala a 100 tanto los valores de los puntos evaluativos como los puntos totales obtenidos por los alumnos.

Registros negativos

Consideramos que los registros negativos en las calificaciones de los alumnos (variable tot) son errores de registro en el signo. La solución propuesta es convertir todas esas calificaciones a positivas. Comprobamos que este hecho no afecta a más datos en el global de estaciones además de los tres registros detectados en la estación E13. Así resulta y procedemos con el cambio de signo

Existencia de un registro “inventado”

De los 117 sujetos registrados, identificamos el inventado por los profesores para evaluar el sistema, con el id “DMA23”.

Quedan pues 116 sujetos evaluados.

Calificaciones: cómo se calculan

Reevaluamos la matriz de pesos de las áreas en cada estación y obtenemos lo siguiente:

## Adding missing grouping variables: `estacion`, `areasim`

Anam	AspEtic	ExpClin	HabCom	HabTec	JuiClin	PrevSalu	RelInter	total	estacion
53	0	27	20	0	0	0	0	100	E01
0	0	0	0	0	34	0	66	100	E02
0	10	0	0	0	0	90	0	100	E03
0	10	36	0	54	0	0	0	100	E04
0	51	0	0	0	0	0	49	100	E05
0	0	93	7	0	0	0	0	100	E06
0	9	0	0	57	34	0	0	100	E07
27	0	33	18	0	22	0	0	100	E08
0	0	26	0	50	24	0	0	100	E09
0	11	0	0	0	44	45	0	100	E10
43	0	10	12	0	35	0	0	100	E12
34	0	0	0	33	0	33	0	100	E13
0	10	0	0	80	0	10	0	100	E14
40	0	0	15	0	32	13	0	100	E15
0	0	12	0	32	48	8	0	100	E16
32	0	29	15	0	14	10	0	100	E18
0	0	0	0	0	70	0	30	100	E19
40	0	36	18	0	6	0	0	100	E20
0	0	0	0	0	100	0	0	100	E21
0	35	0	0	0	35	30	0	100	E22
269	136	302	105	306	498	239	145	2000	total

De modo que ahora sí hay congruencia de 100 puntos asignados a las diferentes áreas en cada una de las estaciones.

Calificación por estación para cada sujeto

En esta situación atendemos a los pesos que reciben cada una de las áreas en cada estación, y utilizamos el peso total de puntos susceptibles de ser conseguidos en cada estación, que es de 100.

El modo de proceder para calcular las calificaciones en cada estación de cada uno de los sujetos evaluados, en una escala 0-10 es la siguiente: en cada estacion sumamos el total de puntos (tot) conseguidos en la evaluación y lo dividimos por 10.

## Las calificaciones para el sujeto DMA1 fueron:

id	estacion	grupo	tipoprueba	tribunal	nota
DMA1	E01	3DM	PEA	1SMA	5.9
DMA1	E02	3DM	IC	1SMA	5.0
DMA1	E03	3DM	EOE	1SMA	5.9
DMA1	E04	3DM	MP	1SMA	6.2
DMA1	E05	3DM	IC	1SMA	8.8
DMA1	E06	3DM	PER	1SMA	9.1
DMA1	E07	3DM	EOE	1SMA	9.2
DMA1	E08	3DM	PER	1SMA	8.9
DMA1	E09	3DM	MP	1SMA	4.7
DMA1	E10	3DM	EOE	1SMA	10.0
DMA1	E12	3DM	PER	1SMA	6.0
DMA1	E13	3DM	EOE	1SMA	3.7
DMA1	E14	3DM	MP	1SMA	8.4
DMA1	E15	3DM	PEA	1SMA	4.6
DMA1	E16	3DM	MP	1SMA	7.3
DMA1	E18	3DM	PER	1SMA	9.5
DMA1	E19	3DM	IC	1SMA	7.2
DMA1	E20	3DM	PEA	1SMA	8.7
DMA1	E21	3DM	IC	1SMA	4.6
DMA1	E22	3DM	IC	1SMA	8.6

Calificación final para cada sujeto

Promediamos las 20 calificaciones obtenidas en cada una de las estaciones y utilizamos el promedio como calificación final del sujeto.

## Y la calificación final del sujeto DMA1, el promedio de las anteriores:

## [1] 7.115

Calificación por estación y área para cada sujeto

En esta situación hemos de prescindir por completo de los pesos de las áreas en cada estación y utilizar como calificación el ratio entre los puntos conseguidos tot/eval

id	estacion	area	grupo	tipoprueba	evaluador	tribunal	eval	tot	areasim	nota
DMA1	E01	Anamnesis	3DM	PEA	actor	1SMA	53	33	Anam	6.226
DMA1	E01	Exploracion Clinica	3DM	PEA	actor	1SMA	27	10	ExpClin	3.704
DMA1	E01	Habilidades de Comunicacion	3DM	PEA	actor	1SMA	20	16	HabCom	8.000
DMA1	E02	Juicio Clinico, plan de manejo diagnostico y terapeutico	3DM	IC	profesional	1SMA	34	26	JuiClin	7.647
DMA1	E02	Relaciones interprofesionales	3DM	IC	profesional	1SMA	66	24	RelInter	3.636
DMA1	E03	Aspectos eticos/legales y profesionalismo	3DM	EOE	profesional	1SMA	10	5	AspEtic	5.000

Calificación por área para cada sujeto

Para calcular la calificación por área obtenida para cada sujeto, promediaremos todas las calificaciones obtenidas sobre las 20 estaciones en cada área, para cada sujeto (olvidamos los pesos que reciben las distintas áreas en cada estación)

## Las calificaciones del sujeto DMA1 en el área Anamnesis resultó pues:

id	areasim	grupo	tribunal	nota
DMA1	Anam	3DM	1SMA	6.895

Calificación por tipoprueba para cada sujeto

Utilizaremos las calificaciones de cada sujeto en cada estación, y promediaremos las correspondientes a las estaciones que se han realizado con el mismo tipo de prueba.

id	tipoprueba	grupo	tribunal	nota
DMA1	EOE	3DM	1SMA	7.200
DMA1	IC	3DM	1SMA	6.840
DMA1	MP	3DM	1SMA	6.650
DMA1	PEA	3DM	1SMA	6.400
DMA1	PER	3DM	1SMA	8.375

Informe ECOE 2017: DEPURACIÓN DE DATOS

A.M.MAYORAL

19/02/2017