Lista de verificación describe los puntos esenciales en el proceso de diseño de encuestas. Cada uno de los puntos se desarrolla y analiza en detalle en las siguientes secciones.
• Los OBJETIVOS DE LA EVALUACIÓN y las NECESIDADES DE INFORMACIÓN se han acordado con todos los actores implicados.
• Se cuenta con un MARCO ANALÍTICO y un PLAN DE ANÁLISIS integral y detallado.
• La planificación incluye las PRUEBAS, la FORMACIÓN y, si es necesario, la TRADUCCIÓN. FORMATO Y CONTENIDO
• El formato del cuestionario es FÁCIL DE USAR.
• El cuestionario empieza con METADATOS y preguntas de CLASIFICACIÓN.
• El FLUJO de las preguntas y su ORDEN son efectivos.
• Las preguntas generales se plantean antes que las preguntas específicas.
• Las preguntas están ordenadas según su importancia.
• Las preguntas sobre el comportamiento (qué hacen las personas) se emplazan antes de las preguntas sobre la actitud (cómo se sienten las personas).
• Las preguntas abiertas se emplazan antes que las preguntas con opciones de respuesta.
• Las preguntas sensibles se sitúan al final del cuestionario.
• Se incluyen aclaraciones cuando se pase a un nuevo tema, una nueva unidad de medida u otro marco temporal.
• Los cuestionarios para informantes clave o hogares no superan los 50 MINUTOS de duración total, los 20 minutos en el caso de ser encuestas telefónicas. Los cuestionarios para grupos de discusión o grupos comunitarios de discusión no superan los 90 MINUTOS de duración.
• Se proporcionan INSTRUCCIONES claras sobre cómo preguntar y responder cada una de las cuestiones.
• Las preguntas se agrupan por secciones RECONOCIBLES DE FORMA VISUAL. Hay suficiente ESPACIO
• para que el encuestador pueda completar las respuestas.
• Las preguntas han sido TESTEADAS y MEJORADAS en base a la retroalimentación obtenida
• Las PREGUNTAS ABIERTAS solo se utilizan si son realmente necesarias
• Las preguntas se ENTIENDEN con facilidad
• Las preguntas se formulan de manera directa y sencilla
• Cada pregunta tiene una unidad de medida claramente definida, por ejemplo: cambiar “Cuánto tiempo” por “Cuántas horas”
• No hay términos o plazos ambiguos
• La pregunta coincide y es coherente con las opciones de respuesta
• Cada cuestión pregunta sobre un único concepto
• Las preguntas pueden RESPONDERSE
• Las preguntas se han adaptado a los conocimientos e idioma de la persona encuestada
• Las preguntas condicionadas (preguntas que se incluyen o excluyen según las respuestas de los encuestados) se usan cuando es necesario y las instrucciones de condición son correctas)
• Las categorías de respuesta incluyen “no sabe” y “no contesta”
• Las opciones de respuesta son mutuamente excluyentes, tan exhaustivas como sea posible, tan precisas como sea necesario y significativas para los encuestados
• El encuestador es claro en las preguntas que incluyen porcentajes o ratios
• Las preguntas son IMPARCIALES y no determinan una respuesta
• El sesgo relacionado con convencionalismos sociales se ha minimizado, lo que significa que las preguntas no se presentan de una manera que pueda llevar al encuestado a pensar que una respuesta es preferible a otra
• Las preguntas sensibles se plantean y formulan de forma cuidadosa
• En la práctica, cuando se realizan investigaciones que involucran la recoleción de información por medio de formularios bien sea de manera presencial o remota, es común encontrar cuestionarios demasiado largos, complejos o incapaces de generar respuestas de utilidad. El arte de desarrollar cuestionarios eficientes es objeto de estudios de posgrado y doctorados.
• El cuestionario es un instrumento crítico y requiere tiempo, recursos y una comprensión detallada del contexto, factores que escasean durante una emergencia.
Los cuestionarios son herramientas especializadas y estructuradas de la interacción humana.
Están pensados para hacer la comunicación más efectiva y predecible.
El objetivo principal de un cuestionario es traducir lo que los actores necesitan saber (necesidades de información) a un conjunto de preguntas que los entrevistados sean capaces de contestar y estén dispuestos a hacerlo. Más concretamente, un cuestionario persigue:
• Hacer las preguntas adecuadas, de manera adecuada, a la persona adecuada
• Aportar una estructura al entrevistador que le permite proceder de forma sistemática y fluida
• Sistematizar las respuestas y la manera como se graban para facilitar el procesamiento de los datos y, más importante, su análisis
Para alcanzar estos objetivos, cuatro principios son esenciales al diseñar un cuestionario:
• Recordar los objetivos
• Aplicar un diseño centrado en el usuario
• Minimizar el riesgo de error
• Respetar los estándares éticos
En todos los pasos del proceso de evaluación, hay que tener en cuenta sus objetivos.
Los problemas que surgen durante el desarrollo del cuestionario muy a menudo tienen que ver con la falta de claridad en los objetivos de la evaluación.
Un cuestionario que no logra representar los objetivos de forma clara supone inevitablemente pasar por alto cuestiones importantes y una pérdida de recursos y de tiempo de los participantes con preguntas irrelevantes.
Adherirse estrictamente a lo que la evaluación pretende medir, y a lo que no, ayuda a mantener focalizado el cuestionario.
Todos los cuestionarios tienen cuatro tipos de usuarios, cada uno de ellos con roles y objetivos diferentes:
• Los equipos en terreno realizan la misma encuesta varias veces. Disponen de recursos y tiempo limitados. Por ello, los equipos en terreno necesitan cuestionarios cortos, bien estructurados, fáciles de entender y de rellenar.
• Las personas encuestadas, participantes en el sondeo, estarán interesadas en cuestionarios sencillos que les permitan expresar sus necesidades y al mismo tiempo no les toman mucho tiempo.
• Los responsables de la gestión y el análisis de la Información están a cargo de procesar los datos y convertirlo en información viable. Este grupo de usuarios esperan un cuestionario que genere un conjunto de datos estructurados y precisos que puedan ser procesados de forma eficiente y comparables con otra información.
• Las personas encargadas de tomar decisiones son los “consumidores” de la evaluación y buscan cuanta más información sea posible para completar las lagunas de información pendientes. Exigen información relevante y precisa que oriente las decisiones programáticas y estratégicas.
Para que un cuestionario tenga un resultado útil, su diseño debe procurar minimizar los errores previsibles y de medición1. Los errores se producen cuando hay una diferencia entre la situación registrada durante la evaluación y la situación real. Hay varias fuentes de error que tienen lugar en diferentes fases de la evaluación, incluidos los errores en la fase de muestreo, en la medición y en el procesamiento de los datos.
Los errores de medición en las evaluaciones humanitarias se producen principalmente por cuatro causas:
• Errores inducidos por el contenido y formato del cuestionario: preguntas inductivas, preguntas que pueden interpretarse de formas diferentes, orden inapropiado de las preguntas, etc.
• Errores inducidos por el encuestador: reformular preguntas de forma inadecuada, omitir preguntas, cometer errores durante la grabación de las respuestas, etc.
• Errores inducidos por el encuestado: malinterpretar una pregunta, querer contestar siempre a una pregunta, aunque no conozca la respuesta, tener dificultades para recordar información, deducciones erróneas, etc.
• Errores inducidos por la técnica utilizada en la recogida de datos: los encuestados responden a preguntas sobre temas sensibles de forma distinta cuando el entrevistador está presente en comparación a cunado se trata de un cuestionario para autocompletar, etc.
Validez: La encuesta será poco válida si no mide lo que se pretendía medir. Esto puede ocurrir cuando los encuestados no entienden las preguntas.
• Una buena encuesta debe permitir obtener respuestas válidas ayudando a los encuestados a entender qué información se les está solicitando.
• Para encontrar y corregir errores inducidos por el propio cuestionario, puede triangularse la información obtenida con distintas herramientas. Por ejemplo, comparar los hallazgos obtenidos mediante la observación directa con aquella información recogida mediante una encuesta a los hogares.
Fiabilidad: La fiabilidad se refiere a la coherencia y precisión de la herramienta.
• Una encuesta fiable genera respuestas similares cuando se realiza de forma repetida en las mismas circunstancias.
• La fiabilidad de las preguntas críticas se puede comprobar usando dos preguntas diferentes que midan el mismo concepto dentro de una encuesta.
• En una encuesta fiable, las respuestas a estas dos preguntas deberían ser similares.