3. ESTRATEGIA DE LA EVALUACIÓN
3.4. I MPLEMENTACIÓN DE LA M ETODOLOGÍA
Con el fin de poder implementar las diferentes metodologías propuestas por Fedesarrollo, en esta sección se hace un breve recuento de los métodos propuestos y se describe como, con la información recolectada hasta el momento, y suponiendo que en el futuro las condiciones de aprobación de proyectos y de recolección de información serán por lo menos similares a las actuales, se podría realizar la evaluación de impacto de los proyectos financiados por el Fondo de Ciencia, Tecnología e Innovación.
3.4.1. Implementación de la Metodología de Evaluación de Departamentos Tamaño de Muestra
Uno de los productos de la presente línea de base, es la línea de base de indicadores departamentales de Ciencia, Tecnología e Innovación. Para esto, Fedesarrollo ha construido una serie de indicadores que permiten caracterizar a los departamentos en aspectos relacionados con la articulación institucional, la formación y vinculación de capital humano altamente calificado, innovación, investigación, servicios científicos y tecnológicos, competitividad y dinamismo económico. Tal como se presentó en la sección 3.1, con la construcción de estos índices será posible analizar el avance de los departamentos en las capacidades de Ciencia, Tecnología e Innovación, y como las inversiones desarrolladas por el Fondo, las cuáles se materializan en los proyectos, inciden en estas capacidades.
Si bien en este caso el tamaño de muestra para realizar la estimación tiene una cuota superior de 33 departamentos, año a año variará el número de proyectos para los cuales se cuenta con información suficiente para desarrollar el ejercicio. Por tanto, para la implementación de la metodología de impacto departamental deberá utilizarse la misma agrupación de proyectos de la que se habla en la sección 5.1.2, y examinar cómo estas inversiones en las diferentes áreas tienen un impacto en los diversos componentes de las capacidades departamentales.
El aspecto crucial en la implementación de esta metodología es sobre los rezagos de las inversiones anuales (pagos), que deberán construirse agregando las inversiones para los
76
proyectos de acuerdo a las tipologías que se definen en la sección 5.1.2; estos rezagos deberán ser utilizados como instrumentos en la estimación del panel dinámico con el fin de corregir por la endogeneidad de las múltiples inversiones y por el sesgo de los efectos no observados. Dado que el periodo de ejecución de los proyectos difiere de proyecto en proyecto, estas inversiones deberán anualizarse con el fin de obtener información comparable año a año.
Variables de Resultado
Las variables de resultado para la evaluación de impacto departamental son los indicadores compuestos que se presentan en la sección 4.4. Es importante que se recolecte la información con la que se construyó la línea de base departamental, al menos, cada dos años en vista de las dificultades para la recolección de información que pueden surgir.
Inicialmente cinco períodos de tiempo pueden dar lugar a un panel de datos con la suficiente información para realizar las estimaciones.
3.4.2. Implementación de la Metodología de Evaluación de Proyectos
Tamaño de Muestra
Fedesarrollo trabajó con 75 proyectos, los cuales constituían proyectos próximo a iniciar ejecución al momento del inicio del levantamiento de la línea de base que se presenta en el capítulo 5. Si el proceso de aprobación de proyectos sigue el ritmo actual (para el total del presente año se cuenta con 226 proyectos listos para ejecutar cargados en la base de Gesproy), en 8 años se tendrá una muestra de más de 1,300 proyectos con los cuáles realizar la estimación del impacto de las inversiones del Fondo (ver Tabla 14).
Tabla 14. Distribución de Proyectos Aprobados para Ejecución y Proyección 5 Años Adelante
Región Número de Proyectos Actual Proyección en 8 años
Caribe 44 264
Centro Oriente 29 174
Centro Sur 40 240
Eje Cafetero 43 258
Llanos 24 144
Pácifico 46 276
Total general 226 1,356
Fuente: Cálculos Propios con Base en GESPROY
77
Este número total de proyectos permitiría tener información suficiente para realizar la evaluación de impacto del Fondo de Ciencia Tecnología e Innovación, y además permitirá realizar agrupaciones no solo por regiones, como la presentada en la Tabla 14, sino adicionalmente, agrupar de acuerdo a la caracterización presentada en la sección 5.1.2 según la cual los proyectos pueden clasificarse en tres grupos: i) proyectos tipo; ii) los proyectos de formación; y iii) los proyectos de apropiación del conocimiento.
Si se aplican las proporciones de proyectos clasificados en cada uno de los grupos definidos en la sección 5.1.2 a los 226 proyectos aprobados hasta el momento, y adicionalmente se supone que la evolución de los grupos al interior de los proyectos cada año será igual, al final de los 5 años, dentro de los cuáles se propone que se haga el levantamiento de la línea de seguimiento, se tendrá suficiente información para agrupar los proyectos y realizar la evaluación de impacto de los mismos de acuerdo a la tipología en la cual se encuentran (ver Tabla 15).
Tabla 15. Distribución de Proyectos Según Grupos
Grupo
Número de Proyectos Actual Proyección 5 años
Tipo o Estándar 184 1103
Formación 18 108
Apropiación de
Conocimiento 24 145
Fuente: Cálculos Propios con Base en GESPROY
Variables de Resultado
La definición de las variables sobre las cuáles se pretende medir algún impacto es de vital importancia para cualquier evaluación de impacto. En el caso de la futura evaluación del impacto de los proyectos financiados por el Fondo de Ciencia, Tecnología e Innovación, Fedesarrollo propone que se tomen como variables de impacto los outcomes definidos en la sección 3.2.1 que tengan una tasa de no respuesta inferior al 10%. Es decir, no deben emplearse para la evaluación de impacto aquellas variables de resultado que tengan más del 10% de la muestra como valores missing.
En el Anexo 10 se encuentran las variables de impacto que se identificaron para los grupos de investigación y centros de investigación y sobre las cuales es posible estimar impactos.
Hay que aclarar que no se incluyen variables de empresas ni organizaciones porque se
78
podrían recoger muy pocas observaciones (ver sección 3.5). En dicho anexo puede encontrarse: i) el número de observaciones en la línea de base (encuesta de Fedesarrollo);
ii) los beneficiarios; iii) las variables de control con su respectiva fuente; iv) los posibles sesgos al momento de realizar la evaluación y la forma en que podrían superarse; y v) el método de evaluación propuesto.