A continuación se presenta una metodología para evaluar el estado de preparación de una organización del gobierno para establecer la función de GCIO, que implica implementar la primera actividad del sistema de GCIO [15]. La metodología se basa en el modelo conceptual de GCIO (definido en el capítulo 4) y se compone de un conjunto de áreas de evaluación (estudiadas en la sección 6.1), y se acompaña con un proceso que guía paso a paso la evaluación de la preparación en estas áreas. El proceso fue definido a partir de [121] y se compone de nueve pasos secuenciales que cubren todo el ciclo de vida, desde la planificación de la evaluación, pasando por la construcción y prueba de los instrumentos de evaluación, hasta la aplicación de los instrumentos, y el análisis y la presentación de los resultados. Estos pasos están representados en la Figura 25.
Figura 25: Proceso de Evaluación del GCIO
Los pasos del proceso se describen a continuación, incluyendo sus objetivos, entradas requeridas, resultados esperados, y un enfoque de cómo se puede realizar la actividad.
1) Planificación de la Evaluación – el propósito de este paso es definir los objetivos, el público objetivo y los posibles riesgos que se enfrentarán durante el ejercicio de evaluación. La entrada que requiere es un acuerdo entre el director del proyecto y el dueño del proyecto – un funcionario de gobierno responsable del ejercicio, indicando las áreas de evaluación y de las instituciones que participan en el ejercicio. Los resultados que se esperan son: los objetivos se persiguen con el ejercicio, las posibles fuentes de información (incluyendo la lista de stakeholders) y los factores de riesgo junto con medidas adoptadas para hacerles frente. Un enfoque para la realización de la actividad puede ser especificar los objetivos para cada área de evaluación y, para cada objetivo, identificar las fuentes de información. Luego, para cada par (objetivo, fuente de información) y para el proceso en general, determinar los posibles riesgos y los planes para mitigar con ellos.
2) Diseño de la Evaluación – el objetivo de este paso es definir una estrategia para llevar a cabo el ejercicio de evaluación de necesidades sobre la base de los objetivos de evaluación y las fuentes de información. Los insumos requeridos son: la lista de objetivos y fuentes de información producidos en la actividad 1, la lista de los métodos de recolección de datos obtenidos de la literatura y los candidatos para conformar el equipo de evaluación. Los resultados esperados son: el método de recolección de datos seleccionado para cada par
(objetivo, fuente de información) y el equipo de evaluación para llevar a cabo el ejercicio. Un enfoque para la realización de la actividad puede ser identificar el método de recolección de datos más eficaz para cada par (objetivo, fuentes de información) e identificar el equipo de evaluación a partir de la lista de candidatos. Por lo general, la recolección primaria de datos se basa en cuestionarios, observaciones y entrevistas [122]. Los métodos de recolección de datos se seleccionan en función del tipo de los datos, las fuentes de información y las habilidades que posee el equipo de evaluación. El equipo de evaluación ya tiene que estar conformado en este momento.
3) Diseño del Instrumento – basado en el diseño de la evaluación, el resultado esperado de este paso es un conjunto de decisiones que sirvan para guiar el desarrollo de los instrumentos de evaluación. La entrada requerida es la lista de los métodos de recolección de datos producidos en la actividad 2 junto con los procedimientos de aplicación para cada método. Por ejemplo, las guías para el desarrollo de cuestionarios deben establecer el número máximo y los tipos de las preguntas [122]: cerradas – los encuestados deben seleccionar las respuestas de un grupo de opciones, o abiertas – los encuestados dan sus respuestas libremente. Las guías para las observaciones deben especificar: el tipo de actividades que deben observarse, si las actividades deben grabarse, las personas para que actuarán como observadores, y el rol de los observadores – si deben participar en las actividades. Finalmente, las pautas para las entrevistas deben determinar: el tipo de entrevista (por ejemplo una entrevista en profundidad con una persona o una entrevista con un grupo de personas que comparten una experiencia común), el estilo de la entrevista (por ejemplo estructurada o no estructurada), y si se grabó la entrevista.
4) Desarrollo del Instrumento – esta actividad tiene como objetivo el desarrollo de los instrumentos que se utilizarán en la recolección de datos, condicionados por las decisiones de diseño de los instrumentos. Las entradas comprenden: los objetivos producidos en el paso 1, los métodos de recolección de datos obtenidos en el paso 2 y las guías preparadas en el paso 3. La salida son los instrumentos de evaluación. Independientemente del método de recolección de datos adoptado, se propone el siguiente enfoque de top- down para el desarrollo de los instrumentos de evaluación [122]:
a. definir una lista de objetivos (preguntas de alto nivel) a ser consultados, donde al menos una pregunta de alto nivel debe ser formulada por cada área de evaluación;
b. para cada objetivo, formular todas las preguntas asociadas para las que se buscan respuestas; c. para cada pregunta asociada, identificar todos los elementos información necesarios para
responderlas; y
d. formular las preguntas para obtener la información (c).
Las preguntas obtenidas en (d) representan los resultados esperados de esta actividad, listos para ser utilizados directamente como instrumentos para los cuestionarios o las entrevistas estructuradas, o indirectamente para la comprensión de los datos recogidos durante las observaciones o las entrevistas no estructuradas. Las herramientas de soporte – por ejemplo para realizar cuestionarios en línea – deben ser instaladas y configuradas en este paso.
5) Validación del Instrumento – el objetivo de esta actividad es poner a prueba los instrumentos antes de que se utilicen oficialmente. Las entradas incluyen los instrumentos desarrollados en el paso 4, las herramientas de soporte para los instrumentos y valores representativos de las fuentes de información – stakeholders, documentos, etc. El resultado de esta actividad son todas las devoluciones que se obtienen de las pruebas, las cuales deben ser utilizadas para la corrección y la mejora de los instrumentos. Un enfoque puede consistir en ejecutar un ejercicio piloto con un número reducido de participantes (seleccionados para maximizar la oportunidad de las devoluciones) y analizar los datos recogidos para determinar si los instrumentos son adecuados para obtener toda la información requerida.
6) Recolección de Datos – el propósito de esta actividad es reunir los datos del grupo encuestado. Las entradas son: fuentes de información, instrumentos, herramientas de soporte y un cronograma para la recolección de los datos. La salida es un repositorio de datos. Dependiendo del método y de los instrumentos, los datos pueden ser recolectados a través de los canales tradicionales – cara a cara, teléfono, formularios de papel; o electrónicamente – formularios en línea, correos electrónicos, blogs, etc.
7) Consolidación de los Datos – el objetivo de esta actividad es reunir y preparar los datos recogidos en el paso 6 para su posterior procesamiento. La entrada son los datos recolectados en el paso 6. La salida es una base de datos con datos limpios y normalizados. Los registros espurios deben ser identificados y corregidos o eliminados; los datos inconsistentes deben ser normalizados (por ejemplo, realizando formateos de fechas o estandarización de escalas) y se deben seguir procedimientos para el procesamiento de los datos incompletos.
8) Análisis de los Datos – en este paso se deben clasificar, sintetizar, comparar y resumir los datos recogidos para producir los conocimientos esperados. Los insumos requeridos incluyen la base de datos que se logró en el paso 7 y las herramientas seleccionadas para el análisis de los datos. La salida es una lista con los resultados de la evaluación. Muchas herramientas pueden servir para facilitar el análisis de los datos – hojas de cálculo, herramientas de análisis, herramientas estadísticas, herramientas de análisis de redes sociales, etc. Dependiendo del volumen de datos, se pueden utilizar también herramientas de data warehousing y data mining.
9) Difusión de los Resultados – el objetivo de esta actividad es compartir los resultados del ejercicio de evaluación de necesidades con los stakeholders principales. Los insumos requeridos incluyen los hallazgos producidos en el paso 8 y la lista de los interesados a quienes se les deben compartir los resultados. La salida es la publicación de los resultados. Los métodos para la difusión incluyen la distribución de reportes y documentos a los funcionarios gubernamentales, talleres para presentar los resultados, discusiones grupales para planificar acciones futuras y crear conciencia, etc. El valor principal de los hallazgos es contar con una localización que sirve de base para el resto de actividades del sistema de GCIO.