DATOS GENERALES DEL PROGRAMA

(1)

DATOS GENERALES DEL PROGRAMA

1. Nombre del Programa: Fomento a la realización de proyectos que incrementen la capacidad científica y tecnológica, a nivel sectorial y regional

2. Dependencia: CONACYT.

3.Unidad Administrativa Responsable: Consejo Nacional de Ciencia y Tecnología 4. Datos del(a) Titular 1

Nombre: Jorge Alberto Romero Hidalgo Teléfono: 53227700

Correo electrónico: [email protected] Datos del(a) Titular 2

Nombre: José Antonio de la Pena Mena Teléfono: 53227700

Correo electrónico: [email protected] Datos del(a) Titular 3

Nombre: Leonardo Rios Guerrero Teléfono: 53227700

Correo electrónico: [email protected]

5. Datos del(a) Responsable Operativo(a) del Programa 1 Nombre: Francisco Lozano Martínez

Teléfono: 53227700

Datos del(a) Responsable Operativo(a) del Programa 2 Nombre: Genaro Acevedo García

Teléfono: 53227700

Datos del(a) Responsable Operativo(a) del Programa 3 Nombre: Ma. Luisa Patricia Franco Gutiérrez

(2)

Teléfono: 53227700

Correo electrónico: [email protected] 6. Modalidad: S - 192

7. Año de inicio del programa: 2002 8. Presupuesto (MDP):

Año

Presupuesto

Aprobado Autorizado Ejercido

2008 1350.0 1350.0 1350.0

2009 540.0 0.0 0.0

Alineación con Planeación Nacional 1

Objetivo: Tener una economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles, mediante el aumento de la productividad, la competencia económica, la inversión en infraestructura, el fortalecimiento del mercado interno y la creación de condiciones favorables para el desarrollo de las empresas, especialmente las micro, pequeñas y medianas. Eje: Economía Competitiva y Generadora de Empleos -Tema: Promoción de la Productividad y la Competencia

(3)

Fin

Contribuir al incremento de la competitividad del país, mediante el desarrollo científico, tecnológico e innovación.

Propósito

Mejorar en calidad y cantidad la generación de conocimiento, productos, procesos y/o servicios en el país para mejorar el nivel de vida de la población.

Componentes

Apoyo otorgado a organizaciones y personas físicas para la inversión en desarrollo tecnológico e innovación. Apoyo otorgado a organizaciones y personas físicas para transferencia del conocimiento.

Las instituciones de Educación Superior, los Centros de Investigación y empresas han producido conocimiento científico básico y aplicado de excelencia.

Redes temáticas y Laboratorios Nacionales Científicos y Académicos han producido conocimiento científico de excelencia.

Resumen de Componentes

Mediante apoyos económicos a Instituciones de Educación Superior, Centros de Investigación y personas físicas para transferir conocimiento, inversión en innovación y desarrollo tecnológico.

Actividades

1. Aprobación de proyectos de IDT. 2. Medición de resultados e impactos. 3. Ministración de recursos.

4. Seguimiento a los proyectos.

5. Aprobación de proyectos de investigación. 6. aplicada y desarrollo tecnológico. 7. Medición de resultados.

8. Ministración de recursos. 9. Seguimiento a los proyectos. 10. Evaluación de proyectos. 11. Formalización.

12. Evaluación de solicitudes para integración de grupos a las Redes Temáticas. 13. Formalización de integración de grupos a las Redes Temáticas.

(4)

RESULTADOS/PRODUCTOS

Principales 5 Indicadores Estratégicos

- Indicador 1

1. Nombre del Indicador: Posición del Indice Global de Competitividad

2. Definición: Posición del Indice Global de Competitividad que ocupa México. 3. Método de Cálculo: Metodología del Foro Económico Mundial.

4. Unidad de Medida: Unidad de información 5. Frecuencia de Medición del Indicador: Anual

6. Meta del indicador 2008: Lugar 56 en el Indice Global de Competitividad 7. Valor del indicador 2008 (%): 92.9

8. Valoración del Indicador: El indicador es pertinente ya que está relacionado con el Fin del programa. Es factible y consistente porque la fórmula es pública, los datos son públicos y replicables. Sin embargo, el indicador no es relevante porque no mide los aportes del programa a la competitividad del país. Por lo tanto, los esfuerzos de México no se estarían comparando respecto a México en sí, sino con respecto a los demás paises.

9. Porcentaje de Avance:

2008 : 107.1

- Indicador 2

1. Nombre del Indicador: Factor de impacto de artículos mexicanos (análisis

quinquenal)

2. Definición: Número de citas promedio que recibe cada artículo en un periodo de tiempo. 3. Método de Cálculo: Publicado por: ISI, Institute for Scientific Information.

(5)

5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 3.08

7. Valor del indicador 2008 (%): 105.19

8. Valoración del Indicador: El indicador es pertinente y relevante ya que está relacionado con el Propósito del Programa. Es factible porque los datos son públicos. Además es claro, ya que la metodología empleada por el ISI está definida, haciéndolo consistente. También es relevante. Sin embargo, la unidad de medida no es la correcta, ésta debería de ser número de citas promedio.

2008 : 105.1

- Indicador 3

1. Nombre del Indicador: Tasa porcentual de variación de solicitud de patente

asociadas a proyectos apoyados.

2. Definición: Comparación del número de solicitudes de patente asociadas a los proyectos apoyados en el año n con respecto al año n-1.

3. Método de Cálculo: (((Nº de patentes solicitadas (asociadas a proyectos apoyados) en año n / Nº de patentes solicitadas (asociadas a proyectos apoyados) en año n-1))-1) *100 4. Unidad de Medida: Porcentaje

5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 6.5

(6)

8. Valoración del Indicador: El indicador es pertinente, claro y consistente. Sin embargo, no es relevante debido a que sólo mide la generación de conocimiento a través de

proyectos patentados, excluyendo otras figuras de protección. Aunado a esto la frecuencia de la medición debería de ser mayor, ya que para poder patentar se requiere un periodo de tiempo mayor. Además el indicador podría crear incentivos a registrar patentes destinadas al fracaso para obtener resultados favorables. La meta está subestimada. 9. Porcentaje de Avance:

2008 : 795.1

- Indicador 4

1. Nombre del Indicador: Porcentaje de variación de la producción tecnológica e

innovación en la empresas.

2. Definición: Comparación del número de nuevos productos, procesos o servicios generados por las empresas a partir de proyectos apoyados al año n con respecto al año n-1

3. Método de Cálculo: (((Nº de nuevos productos, procesos y/o servicios generados (asociados a proyectos apoyados) al año n / Nº de nuevos productos, procesos y/o servicios generados (asociados a proyectos apoyados) al año n-1))-1) *100

4. Unidad de Medida: Porcentaje

5. Frecuencia de Medición del Indicador: Anual 6. Meta del indicador 2008: 25

(7)

8. Valoración del Indicador: El indicador es pertinente y factible. No es relevante por dos razones; la primera es que no toma en cuenta factores externos es decir resulta difícil atribuir los productos generados por las empresas al Programa; la segunda es que sería conveniente dividir en tres indicadores, uno de productos, otro de servicios y otro de procesos, debido a que entre ellos no tienen el mismo peso. Además es conveniente aclarar la forma de medir innovación y producción tecnológica.

2008 : -245.0

- Indicador 5

1. Nombre del Indicador: Crecimiento de las empresas que hacen desarrollo

tecnológico e innovación

2. Definición: Cuantificación del número de empresas apoyadas que realizan desarrollo tecnológico e innovación.

3. Método de Cálculo: Número de empresas nuevas apoyadas en el año n 4. Unidad de Medida: Empresa

8. Valoración del Indicador: El indicador es pertinente debido a que se relaciona con el Componente. Es factible debido a que la dependencia cuenta con un registro (RENIECYT). Sin embargo, no es relevante, debido a que sólo mide las empresas nuevas que reciben recursos. Además no es claro ya que no especifica cómo se mide la producción

tecnológica e innovación, esto ocasiona problemas de consistencia, y tampoco define si empresas nuevas son las que reciben apoyo por primera vez o que se acaban de constituir.

(8)

9. Porcentaje de Avance: 2008 : 16.0

Principales 5 Indicadores de Gestión - Indicador 1

1. Nombre del Indicador: Porcentaje de proyectos que alcanzan resultados

2. Definición: Porcentaje de proyectos que cumplen con los entregables comprometidos con respecto al total de proyectos terminados.

3. Método de Cálculo: (Número de Proyectos terminados que cumplen con los entregables de la convocatoria X1+ X2+...+Xn)/(Número total de proyectos terminados de la

convocatoria X1+ X2+...+Xn) 4. Unidad de Medida: Porcentaje

8. Valoración del Indicador: Este indicador es pertinente ya que se asocia con la Actividad al medir los resultados. Es relevante ya que es el que mejor mide los resultados obtenidos de los proyectos terminados. Además, es factible porque la forma de medirlo es fácil y se cuenta con la información. Sin embargo, no es claro al no especificar en el método de cálculo la temporalidad del indicador; es decir si se está midiendo todos los años o solo un período específico, ocasionando problemas de consistencia.

(9)

- Indicador 2

1. Nombre del Indicador: Cantidad de apoyos para consolidación grupo

investigación

2. Definición: Mide el incremento de los apoyos otorgados a las instituciones para la consolidación de grupos de investigación a través de repatriación y retención de jóvenes investigadores mexicanos.

3. Método de Cálculo: N° de apoyos a las instituciones con respecto a repatriaciones, retenciones y consolidación de jóvenes investigadores en el año a medir.

4. Unidad de Medida: Persona

8. Valoración del Indicador: Este indicador es pertinente y factible. Sin embargo,no es relevante ya que no mide si se han incrementado y consolidado investigadores, solamente mide el número de apoyos otorgados. Además la forma de medirlo no es clara, ya que no se define que es un grupo consolidado, ni el tipo de apoyos que se otorga, lo cual hace que a lo largo del tiempo se pierda consistencia. Aunado a esto, no se compara con años anteriores.

(10)

- Indicador 3

1. Nombre del Indicador: Porcentaje de proy. apoyados a inv. en consolidación

2. Definición: Mide el nivel de apoyo a investigadores en proceso de consolidación mediante proyectos de investigación científica.

3. Método de Cálculo: (Proyectos apoyados en el año de medición) / (Total de proyectos evaluados)

4. Unidad de Medida: Proyecto

8. Valoración del Indicador: Este indicador es pertinente y factible. Sin embargo, el indicador no es relevante debido a que al apoyar proyectos no se garantiza que se produzca conocimiento. Además tiene problemas de claridad, ya que no se define que es un grupo consolidado, ni el tipo de apoyos que se otorga, lo cual hace que a lo largo del tiempo se pierda consistencia. La unidad de medida debería de ser porcentaje, en vez de ?proyecto?. Este mismo problema lo presenta la meta.

- Indicador 4

1. Nombre del Indicador: Porcentaje de proyectos de calidad

2. Definición: Cuantificación del porcentaje de proyectos con calidad respecto a total de proyectos recibidos para las convocatorias de los distintos fondos

3. Método de Cálculo: Número de proyectos aprobados técnicamente en la convocatoria (X1+X2+...+Xn) / Total de proyectos recibidos en la convocatoria (X1+ X2+...+Xn)

(11)

8. Valoración del Indicador: El indicador es pertinente y relevante al medir el desempeño del Programa a través de apoyar proyectos de calidad. Es factible ya que se cuenta con la información necesaria en las bases de datos del Programa. Además es claro al especificar cómo se mide la calidad lo que lo hace consistente a través de los años. La fórmula muestra una razón en vez de un porcentaje, es decir la formula debería de estar multiplicada por cien.

- Indicador 5

1. Nombre del Indicador: Porcentaje de proyectos apoyados

2. Definición: Porcentaje de proyectos que reciben recursos con respecto al total de proyectos que recibieron una evaluación técnica favorable

3. Método de Cálculo: (Número de proyectos que reciben recursos en la convocatoria X1+ X2+?+Xn)/(Total de proyectos aprobados técnicamente en la convocatoria X1+X2+...+Xn) 4. Unidad de Medida: Porcentaje

8. Valoración del Indicador: Este indicador es medianamente pertinente ya que muestra la asignación de los recursos; es decir, si los recursos invertidos en el Programa se están asignando a productos con valoración técnica positiva. Es factible debido a que el CONACYT cuenta con la información necesaria. No es relevante ya que no mide la eficiencia de la asignación de recursos. El método de cálculo del indicador esta expresado

(12)

a. Existe evidencia de Resultados: Si 1. Tipo de Resultados Documentados 1:

Fuente: Evaluación de programa de fomento a la investigación científica. Tipo de Evaluación: Otros Resultados Relevantes

Institución Evaluadora: Universidad Autónoma Metropolitana de Xochimilco. Nombre del(a) Coordinador(a): ND

Año de la Evaluación: 2006 2. Resultados Finales Documentados:

Algunos Fondos han logrado descentralizar los apoyos hacia instituciones de las entidades federativas, otros han apoyados proyectos en áreas nuevas o poco atendidas en años anteriores.

3. Califique la evaluación de acuerdo con su rigor técnico y metodológico: Mala

Valoración de los Resultados/Productos

En el 2007, la única evaluación externa que se realizó fue de diseño, por lo que no se encontraron resultados relevantes. En el año 2006 y 2005 se realizaron Evaluaciones Externas al programa, sin embargo en el SED no se encuentran completas.

Fuentes de Información

Evaluación de diseño, consistencia y resultados (2007), evaluación de diseño, consistencia y resultados (2006), evaluación de diseño, consistencia y resultados (2005).

(13)

Comentarios y Observaciones

Se recomienda hacer una evaluación de resultados que muestre el cumplimiento del Fin y Propósito.

En la evaluación de diseño realizada en 2007 se detectó que se elaboró una matriz de indicadores, en la que se incluyeron dos indicadores de Fin, ocho de propósito, 16 para Componentes y ocho de Actividades. Sin embargo la matriz sugerida por los evaluadores no es la que se está utilizando.

En la evaluación de diseño (2005) uno de los resultados encontrados fue que los Fondos han mejorado en relación a los años anteriores, sobre todo en lo que se refiere a la reducción de tiempo en la emisión de convocatorias y en los procedimientos de evaluación y selección de propuestas.

(14)

VALORACIÓN GENERAL DE LOS INDICADORES

Valoración de los Indicadores del Programa

El indicador de Fin se encuentra planteado de manera pertinente, es factible, claro y consistente. Sin embargo, no es relevante al ser relativo a otros países. Los indicadores de Propósito son medianamente pertinentes pero se complementan de manera que se tiene información completa sobre los avances del Propósito. Los indicadores de gestión son demasiados lo que les resta relevancia.

MIR, matriz de cuenta pública, evaluación de diseño, resultado y consistencia (2007).

Algunos de los indicadores presentan un problema de claridad en la manera de estimarlos, debido a que no se define que es lo que se está midiendo con exactitud, ocasionando problemas de consistencia. El indicador de Fin, aun cuando es pertinente, depende de factores exógenos y no permite aislar el incremento de la competitividad del país. De esta manera, aun cuando el país haya incrementado su nivel de competitividad, existe la posibilidad que ésta no se refleje debido a los cambios en otros países. Sería conveniente incluir otro indicador complementario al indicador del Fin, al igual que los relacionados con patentes, como de modelos de utilidad. Además la innovación toma tiempo desarrollarse por lo que no es relevante incluir indicadores anuales.

(15)

EVOLUCIÓN DE LA COBERTURA

4.1 Población Potencial

a.Se encuentra claramente definida: No

b.Unidad de medida para la población potencial: Inst. Educ. Sup c.Cuantificación de la población potencial: 4824

4.2 Población Objetivo

b.Unidad de medida para la población objetivo: Inst. Educ. Sup c.Cuantificación de la población objetivo: 4824

4.3 Población Atendida

b.Unidad de medida para la población atendida: Inst. Educ. Sup c.Cuantificación de la población atendida: 453

Localización de la población atendida:

Entidades sin atender Entidades atendidas Municipios atendidos

(16)

4.4 Evolución de la Cobertura del Programa:

1. Población Atendida / Población Objetivo 2. Población Objetivo/ Población Potencial

Año 2008: 9.39% Año 2008: 100.0%

Valoración de la Evolución de Cobertura

La información sobre la cobertura del Programa está desagregada por tipo de apoyo. El Programa no realiza directamente la cuantificación ni la caracterización de las poblaciones potencial y objetivo. La evolución de la cobertura muestra que en el 2008 se cubrió 9.39%, sin embargo este número no es robusto debido a la falta de claridad en la definición de la población objetivo.

Documento de cobertura, evaluación de consistencia y resultados (2007), ROP.

La población objetivo y potencial muestran problemas de definición e inconsistencia, ya que en las tres fuentes de información las definen de manera diferente; en las ROP el programa está dirigido a las personas físicas o morales que participen en proyectos científicos y editores de publicaciones de investigación científica; en la evaluación externa, además de cumplir con lo indicado en las ROP, tienen que estar inscritos en el RENIECYT; mientras que en el documento de cobertura son instituciones de educación superior y/o universidades.

(17)

SEGUIMIENTO A ASPECTOS DE MEJORA

a. Existe un documento de trabajo adecuado para atender o mejorar el programa: Si

b. Principales 5 aspectos susceptibles de mejora contenidos en el Documento de Trabajo Aspecto 1. Construir los indicadores que permitan medir el costo-beneficio de lo proyectos. Acciones de solución:

1. A.Realizar sesiones periódicas de trabajo durante los próximos 9 meses, para contar con un grupo de indicadores adicionales hacia el tercer trimestre de 2009.

Aspecto 2. Hacer eficientes aquellos procesos en los cuales el CONACYT participa y contribuye para la entrega de los recursos.

Acciones de solución:

1. Se recomendará al grupo de trabajo del PMG del sistema de procesos eficientes la inclusión de los procesos en los cuales interviene la entrega de recursos.

Valoración de los Seguimiento a Aspectos de Mejora

Los aspectos se pueden clasificar en dos rubros: Construcción de indicadores para incrementar su eficacia y eficiencia; y hacer eficientes los procesos. Se basan en recomendaciones planteadas por la evaluación externa de 2007. Las actividades relacionadas no son claras al no especificar las acciones por realizar, además de no ser suficientes para el logro del aspecto a mejorar.

Documento de trabajo, documento institucional, evaluación de consistencia y resultados (2007).

(18)

El documento institucional y el de trabajo se mencionan aspectos de mejora distintos entre sí. En la evaluación de consistencia y resultados 2007 se hicieron cuatro recomendaciones concretas, de las cuales dos fueron tomadas en cuenta para los aspectos de mejora. Las relacionadas con mayor difusión y divulgación de los resultados y la matriz de marco lógico que se sugirieron no formaron parte de los aspectos a mejorar y en ninguno de los dos documentos se justifica la razón por las que fueron omitidas. Se recomienda para el aspecto de mejora referente a medir el costo-beneficio incluir un ponderador debido a la alta probabilidad de fracasos.

(19)

CONCLUSIONES DE LA EVALUACIÓN

Consideraciones de la Evaluación: Hasta el momento el programa no cuenta con una evaluación de impacto o seguimiento a beneficiarios. Por esta razón, no es posible conocer sus resultados o impacto. En cuanto a sus indicadores, es importante destacar que el de Fin no refleja el aporte del Programa a la competitividad nacional. Además sería conveniente tomar en cuenta que ciertos indicadores requieren más de un año para mostrar resultados. Las evaluaciones realizadas en el 2006 y 2005 deberían de mostrar resultados, sin embargo los documentos están incompletos en el SED.

Fuente de Información General: Evaluación de consistencia y resultados (2007), MIR, documento de cobertura, institucional y de trabajo, matriz de cuenta pública.

Resumen de Resultados: No se han realizado evaluaciones de impacto ni de seguimiento a beneficiarios. Sólo se han realizado evaluaciones de diseño en 2005, 2006 y 2007. Las evaluaciones realizadas en el 2006 y 2005 deberían de mostrar resultados.

Fortalezas: El programa cuenta con planes estratégicos de corto, mediano y largo plazo que garantizan la planeación de las actividades de forma periódica.

Debilidades: El Programa contempla pocos espacios (foros, mesas redondas, discusión de resultados, etc.) que permitan la difusión y divulgación adecuada de los resultados. Conclusiones del Evaluador Externo: Se recomienda incorporar en la MIR un indicador que complemente la medición del Fin para poder medir de manera objetiva la competitividad de país y el impacto del Programa. Además de realizar una evaluación de resultados que mida el cumplimiento del Fin y del Propósito. Existen ciertas dificultades para medir la innovación, además de que tarda mucho tiempo en desarrollarse, por lo que seria conveniente incluir indicadores de largo plazo. También se podrían incluir indicadores de modelos de utilidad.

(20)

DATOS DE LA INSTITUCIÓN EVALUADORA

1. Institución Evaluadora: C-230 Consultores, S. C.

2. Nombre del(a) Coordinador(a) de la Evaluación: Lucrecia Santibañez / Raúl Abreu 3. Correo Electrónico: [email protected]