EVALUACIÓN ESPECÍFICA DE DESEMPEÑO / EJERCICIO 2015 Informe Ejecutivo

(1)

EVALUACIÓN ESPECÍFICA DE

DESEMPEÑO / EJERCICIO 2015

Informe Ejecutivo

Proneval del Sureste, S.C.

(2)

Proneval del Sureste, S.C. Correo: [email protected] Tel. 9831109004 2 Í N D I C E Pág. 1. Objetivos 3 2. Metodología 4 3. Planeación y Diseño 4 4. Cobertura 5 5. Presupuesto 6

6. Aspectos Susceptibles de Mejora 8

7. Principales hallazgos de la Evaluación 8

8. Análisis FODA 9

9. Conclusiones y Recomendaciones 14

10. Datos de identificación de los programas evaluados 17

(3)

Proneval del Sureste, S.C. Correo: [email protected] Tel. 9831109004 3 1. Objetivos Objetivo General:

Realizar una Evaluación Específica de Desempeño a los indicadores estratégicos y de gestión utilizados para medir el nivel de cumplimiento de objetivos y metas de los programas realizados con recursos públicos Federales, Estatales e Ingresos Propios, que son ejecutados por el Colegio de Bachilleres del Estado de Quintana Roo, correspondiente al ejercicio fiscal 2015.

Objetivos Específicos:

1. Determinar el origen y destino de las fuentes de financiamiento de los programas y del comportamiento de su presupuesto.

2. Analizar el proceso de planificación para el cumplimiento de los objetivos de los fondos y programas.

3. Presentar los principales hallazgos de la operación de cada uno de los fondos y programas en términos de eficacia y eficiencia.

4. Presentar la evolución en el tiempo de la cobertura de los programas.

5. Presentar el avance y evolución de los indicadores de resultados que se encuentran establecidos en su MIR, en base a la Metodología del Marco Lógico.

6. Dar seguimiento a los aspectos susceptibles de mejora identificados en Evaluaciones anteriores.

7. Realizar recomendaciones sobre la Evaluación Específica realizada, en base al análisis FODA (Fortalezas, Oportunidades, Debilidades y Amenazas). 8. Cuantificar el nivel de Implementación del Presupuesto Basado en

(4)

Proneval del Sureste, S.C.

Correo: [email protected]

Tel. 9831109004

4

2. Metodología

La Evaluación Específica de Desempeño se realizó mediante trabajo de gabinete y tomando como guía los Términos de Referencia para la Evaluación Específica del Desempeño de Fondos y Programas 2016 del Gobierno del Estado de Quintana Roo.

Para ello, se llevó a cabo una recopilación, organización, análisis e interpretación de información concentrada en registros, bases de datos, documentación pública e información proporcionada por el COBAQROO y otras fuentes oficiales. Durante este proceso, se realizaron reuniones de trabajo, cuestionarios y entrevistas con las personas encargadas de la operación de los programas.

3. Planeación y Diseño

En base a la información proporcionada por el Colegio de Bachilleres del Estado del Estado de Quintana Roo con respecto a la Planeación y Diseño de los Programas Presupuestarios operados en el Ejercicio Fiscal 2015, se validó que estos guardan una alineación estratégica con los objetivos del Plan Nacional, específicamente con la meta “Un México con Educación de Calidad”, y a nivel Estatal, con el Eje Estratégico 1 “Quintana Roo Solidario” pues corresponden ambos a los aspectos relacionados con la educación.

Para cada uno de los Programas, el COBAQROO tiene una Matriz de Indicadores para Resultados diseñada de acuerdo a la Metodología del Marco Lógico, pues cuenta con los niveles Fin, Propósito, Componente y Actividades, así como los Objetivos, Indicadores, Medios de Verificación y Supuestos.

Con respecto a los indicadores diseñados para medir el avance de los metas programadas, éstos cuentan con una ficha técnica con todos los elementos

(5)

Tel. 9831109004

5

necesarios para su identificación, tales como nombre, definición, método de cálculo, unidad de medida, meta del indicador, año base del indicador, medios de verificación, etc.

4. Cobertura

El Colegio de Bachilleres del Estado de Quintana Roo tiene una cobertura estatal, mediante la operación de 23 Planteles, 21 Centros de Educación Media Superior a Distancia (EMSaD) y 3 Centros de Servicios Académicos Integrales (CSAI).

Los Programas Presupuestarios operados por El COBAQROO tienen focalizada su cobertura a través de la población potencial y objetivo a la que van dirigidos, de la siguiente manera:

Programa Población Potencial Población Objetivo

Programa de Mejora de los Resultados de la Educación Media Superior.

Estudiantes de Educación Media Superior.

Aproximadamente 17,000 alumnos del Colegio de Bachilleres.

Programa de Gestión Escolar con Resultados.

49 instancias educativas: 23 planteles, 21 EMSaD, 3 CSAI, 1 preparatoria abierta y 1 Dirección General.

17,000 estudiantes de Educación Media Superior. Programa de Eficacia de la

Operatividad Administrativa. 49 instancias educativas.

16,950 estudiantes del COBAQROO.

En base al Anuario Estadístico del Colegio de Bachilleres del Estado de Quintana Roo 2014-2015, la cobertura alcanzada en este periodo fue del 21.9%, posicionándose el COBAQROO como el Subsistema de Educación Media Superior con mayor cobertura en el Estado.

Para efectos de medir las estadísticas de los servicios proporcionados por el COBAQROO, se tienen diseñados indicadores institucionales enfocados en su

(6)

Tel. 9831109004

6

cobertura, absorción, matrícula, aprobación, reprobación, deserción, eficiencia terminal y aprovechamiento.

En base a la información proporcionada por el COBAQROO, los porcentajes de sus indicadores institucionales durante el ciclo escolar 2015-B, fueron los siguientes:

Indicador Porcentaje Cobertura 20.9 % Absorción 27.8 % Aprobación 61.1 % Reprobación 38.9 % Deserción 1.6 % Eficiencia Terminal 67.0 % 5. Presupuesto

El COBAQROO, durante el ejercicio 2015, recibió recursos públicos federales, estatales e ingresos propios para la operación de sus Programas Presupuestales. Con respecto a las fuentes de financiamiento federal, éstas provienen del Apoyo Financiero Extraordinario no Regularizable (U080) y del Subsidio para Organismos Descentralizados Estatales (U006).

Concepto Estimado Ampliaciones _/Reducciones Modificado Devengado Recaudado / _Pagado

Ingresos Totales $643,444,959.00 $32,407,267.92 $675,852,226.92 $651,998,824.43 $651,506,409.43 Egresos Totales 643,444,959.00 32,407,267.92 675,852,226.92 657,475,160.67 573,596,226.36 Economía / Déficit 0.00 0.00 0.00 -5,476,336.24 77,910,183.07

Se observa que los recursos programados y autorizados para el ejercicio fiscal 2015 no se recibieron en su totalidad al cierre del Ejercicio Fiscal, ya que únicamente se captó el 97%, en tanto que los gastos se ejercieron en un 98% situación que originó un déficit.

(7)

Tel. 9831109004

7

Concepto _Modificado _Devengado

Servicios Personales _{$ 606,695,156.34 $ 602,269,603.56} Materiales y Suministros _{15,030,035.00} _{10,763,892.98} Servicios Generales _{44,749,279.58} _{41,534,653.63} Transferencias, Asignaciones, Subsidios y Otras Ayudas _1,300,000.00 _1,363,174.00 Bienes Muebles, Inmuebles e Intangibles _8,077,756.00 _1,543,836.50

TOTALES _{$ 675,852,226.92 $ 657,475,160.67}

Se observa que del total del presupuesto ejercido, el 91.60% corresponde al capítulo de Servicios Personales; en segundo lugar se encuentra el capítulo de Servicios Generales con un 6.32%, en el capítulo de Materiales y Suministros se ejerció el 1.64%, y en lo que respecta a los capítulos Transferencias, Asignaciones, Subsidios y Otras Ayudas, y Bienes Muebles, Inmuebles e Intangibles, el porcentaje ejercido fue menor al 1% en comparación con el total de los recursos ejecutados.

Con respecto al comportamiento del presupuesto a través del tiempo, se realizó un comparativo presupuestal del periodo 2013-2015, pudiendo observarse una tendencia a incrementarse año con año; sin embargo, estos incrementos en términos de valores reales, no son significativos, pues solo cubren el impacto de la inflación. Concepto Presupuesto Ejercido 2013 Presupuesto Ejercido 2014 Presupuesto Ejercido 2015 Servicios Personales $ 568,928,706.88 $ 578,581,961.00 $ 602,269,603.56 Materiales y Suministros 8,151,409.52 9,817,286.00 10,763,892.98 Servicios Generales 38,859,259.83 43,082,720.00 41,534,653.63 Transferencias, Asignaciones,

Subsidios y Otras Ayudas 2,479,735.00 1,333,493.00 1,363,174.00 Bienes Muebles, Inmuebles e

Intangibles 11,110,554.83 4,951,573.00 1,543,836.50

(8)

Tel. 9831109004

8

6. Aspectos Susceptibles de Mejora

En base a la Evaluación Específica de Desempeño del Ejercicio 2014, las principales recomendaciones estuvieron basadas en mejorar la redacción de los elementos que integran las Matrices de Indicadores para Resultados, es decir, el resumen narrativo de los Objetivos y el nombre de los Indicadores, tomando como referencia lo establecido en la Metodología del Marco Lógico y tener un mejor nivel de entendimiento de los elementos de las Matrices.

Si bien se realizaron algunas modificaciones en las Matrices de Indicadores para Resultados de los Programas Presupuestarios para el ejercicio 2015, éstas continúan presentando algunas deficiencias de redacción en algunos niveles de las Matrices; por lo que se enfatiza la recomendación de la Evaluación anterior y continuar con la adecuación de la narrativa de los elementos de las Matrices basados en las recomendaciones de la Metodología del Marco Lógico y mejorar el contenido de las mismas.

7. Principales Hallazgos de la Evaluación

En este apartado se mencionan los principales Hallazgos detectados en la Evaluación Específica de Desempeño de los Programas Presupuestarios ejecutados por el COBAQROO en el ejercicio 2015.

 No se presentaron evaluaciones ex ante o diagnósticos que avalen la planeación y el diseño de las Matrices de Indicadores para Resultados de los Programas Presupuestarios correspondiente al ejercicio fiscal 2015.

 El Diagnóstico Institucional realizado por el COBAQROO está desactualizado, ya que corresponde al periodo 2007-2012.

(9)

Tel. 9831109004

9

Indicadores para Resultados, presentan errores de sintaxis de acuerdo a lo establecido en la Metodología del Marco Lógico.

 Existen Indicadores que no guardan una coherencia con el objetivo del nivel.

 La mayoría de los Medios de Verificación, que proporcionan los datos necesarios para el cálculo del Indicador, son generados por el COBAQROO, sin embargo, estas fuentes de información no son de acceso público, lo que disminuye la veracidad y transparencia de la misma.

 En algunos casos, los Supuestos establecidos para los niveles de las Matrices, no cumplen con la sintaxis recomendada por la Metodología del Marco Lógico.

 Existen Actividades para un mismo Componente que cuentan con el mismo Indicador y método de cálculo, lo que ocasiona que el resultado sea repetitivo y de poca utilidad.

 Se detectaron indicadores del nivel Componente, que registraron un logro positivo en el cumplimiento de sus metas aun cuando los indicadores de sus Actividades no presentaron ningún avance en sus logros.

 Los recursos presupuestales asignados al COBAQROO no fueron entregados en tiempo y forma, situación que afectó en la realización de algunas actividades de los programas presupuestarios.

8. Análisis FODA

En base a la información recolectada, se presenta el análisis sobre las principales Fortalezas, Oportunidades, Debilidades y Amenazas, detectadas en la operación de los Programas Presupuestarios.

Fortalezas:

 Los Programas Presupuestarios (Pp) tienen definido claramente los objetivos a que pretenden contribuir con su ejecución.

(10)

Tel. 9831109004

10

 Los Pp se encuentran alineados estratégicamente al Plan Nacional y Estatal de Desarrollo y a los objetivos de la Dependencia.

 Los programas operados por el COBAQROO tienen diseñada una MIR en base a la Metodología del Marco Lógico, que les permite medir los resultados obtenidos y compararlos con las metas programadas a fin de detectar y corregir posibles deficiencias en su operatividad.

 La cobertura de la población a la que se pretende atender con la operación de los Pp se encuentra claramente definida.

 Los Pp operados por El COBAQROO tienen diversas fuentes de financiamiento (Federal, Estatal e Ingresos Propios) para su ejecución.

 El COBAQROO, para la operación de los Pp, tiene infraestructura académica y administrativa en todo el Estado. (Planteles, laboratorios multidisciplinarios, unidades deportivas y culturales, oficinas administrativas, etc.)

 El COBAQROO ofrece diversas modalidades en servicios de Educación Media Superior mediante sistema escolarizado (planteles), a distancia (EMSaD) y abierto (CSAI).

 Los Pp tienen contemplados dentro de sus componentes y/o actividades la implementación de un sistema de gestión de la calidad mediante la capacitación continua y la evaluación al desempeño del personal docente y administrativo de la Institución.

 El COBAQROO goza de buen prestigio a nivel estatal, en virtud de ser el Subsistema de Educación Media Superior con mayor cobertura en el Estado.

 El COBAQROO ofrece diversas capacitaciones que apoyan a los jóvenes para estar preparados en alguna especialidad y continuar con sus estudios a nivel profesional.

 El COBAQROO tiene incorporado en su página Web oficial, un portal del Programa de Transparencia y Rendición de Cuentas, el cual contiene información desagregada por plantel, EMSaD y CSAI correspondiente al ciclo

(11)

Tel. 9831109004

11

escolar 2015, referente a la situación académica, información del personal docente, directivo y administrativo, sobre la gestión financiera y administrativa del plantel e infraestructura, equipamiento y conectividad.

Oportunidades:

 Gestionar la asignación de recursos federales mediante la elaboración y presentación de proyectos por parte de la comunidad académica y estudiantil.

 Promover la coordinación entre las instituciones de Educación Media Superior y con su eje de sector para la homologación de objetivos de sus programas presupuestarios con la finalidad de contribuir al logro de un objetivo de nivel superior.

 Fundamentar la planeación y diseño de los programas presupuestarios en base a diagnósticos, evaluaciones o estudios ex ante realizados por el COBAQROO o por dependencias externas relacionadas a la educación (S.E.P.).

 Considerar el uso de Indicadores de instituciones oficiales (SEP, INEGI, SEDESOL, SEGURIDAD PUBLICA, etc.) para medir el impacto que genera la operación de los programas presupuestarios del COBAQROO en la población.

 Diversificar las capacitaciones ofrecidas considerando la oferta de estudios de nivel superior y la demanda laboral de la zona geográfica a la que se pertenezca.

 Promover la oferta educativa del COBAQROO mediante el uso de las nuevas tecnologías y las redes sociales.

 Impulsar la inclusión de la comunidad estudiantil en el sector laboral mediante la celebración de convenios de servicio social con el sector gubernamental y empresarial.

 Fomentar la cultura emprendedora en los jóvenes, mediante la impartición de cursos y talleres relacionados con el tema.

(12)

Tel. 9831109004

12

 Fomentar la creación de programas de becas con participación del sector privado y de Asociaciones Civiles.

Debilidades:

 El diagnóstico institucional realizado por el COBAQROO está desactualizado, ya que corresponde al periodo 2007-2012.

 No se presentaron evaluaciones ex ante o diagnósticos que avalen la planeación y el diseño de los programas presupuestarios correspondiente al ejercicio fiscal 2015.

 La Matriz de Indicadores para Resultados (MIR) de los Programas Presupuestarios no cumplen en su totalidad con la lógica horizontal y vertical establecida en la Metodología del Marco Lógico.

 La mayoría de los indicadores diseñados son de gestión.

 Existen actividades incluidas en la MIR, las cuales su realización es inherente a otra actividad previamente registrada.

 Existen actividades que no son necesarias de medir ya que no aportan información relevante.

 Existen indicadores que contienen errores en el método de cálculo y no corresponden al resultado que se pretende medir.

 La mayoría de los medios de verificación de los indicadores son de acceso limitado, debido a que no son publicados a través de medios oficiales.

 La población con edad mayor a 18 años que cursa estudios de nivel media superior no está considerada dentro de la fórmula del indicador de cobertura.

 La ejecución de los recursos no está clasificada por fuente de financiamiento.

 Se detectaron gastos ejercidos en partidas sin suficiencia presupuestal.

 Se detectaron gastos programados no ejecutados.

(13)

Tel. 9831109004

13

(EMSaD).

 Aumento del porcentaje del indicador de deserción escolar en algunos EMSaD durante el ciclo escolar 2015-B.

 Disminución del porcentaje de cobertura con respecto al ciclo escolar anterior.

 Disminución del porcentaje de absorción con respecto al ciclo escolar anterior.

 La Matriz de Indicadores para Resultados de los Programas Presupuestarios y los reportes de indicadores no están publicados en la página web oficial del COBAQROO.

Amenazas:

 Falta de recursos para la operación de los programas presupuestales ocasionados por ajustes económicos a nivel federal, estatal y por la disminución de la recaudación de ingresos propios.

 Incremento del rezago educativo en el Estado.

 Desigualdad socioeconómica en las zonas que integran el Estado.

 Falta de interés y compromiso de los alumnos, padres de familia, docentes, directivos y administrativos para la formación educativa de los jóvenes.

 Clima y ambiente escolar.

 Descomposición familiar.

 Trabajo en los adolescentes.

 Vulnerabilidad social (desempleo, alcoholismo, drogadicción, delincuencia, etc.).

 Incremento de la oferta educativa del nivel medio superior y crecimiento de la competencia.

 Contingencias climatológicas, sociales, laborales y políticas.

 Difícil acceso a los Servicios de Educación Media Superior por no existir o por distancias lejanas al lugar de residencia de los jóvenes.

(14)

Tel. 9831109004

14

9. Conclusiones y Recomendaciones

El Colegio de Bachilleres del Estado de Quintana Roo (COBAQROO) durante el Ejercicio Fiscal 2015, presto servicios de Educación Media Superior a la población con capacidad para cursar este nivel de formación académica mediante la operación de tres Programas Presupuestales (Pp):

 Programa de Mejora de los Resultados de la Educación Media Superior.

 Programa de Gestión Escolar con Resultados.

 Programa de Eficacia de la Operatividad Administrativa.

 Conclusiones

La planeación y diseño de los Pp del COBAQROO, se realizó en base a la Metodología del Marco Lógico. Del análisis realizado, se observó que cuentan con una Matriz de Indicadores para Resultados con sus cuatro niveles (Fin, Propósito, Componente y Actividad), y con indicadores por cada nivel para medir el cumplimiento de objetivos y metas. Sin embargo, se detectaron algunas deficiencias en su elaboración tales como la falta de sustento documental oficial (diagnósticos, evaluaciones ex ante, estudios) para la identificación del problema u oportunidad que se pretende potencializar con la ejecución de los Pp, errores de sintaxis en la descripción narrativa de los objetivos y supuestos, falta de relevancia y coherencia en algunos indicadores y limitaciones en sus medios de verificación.

En términos de cobertura, los programas tienen identificado y definido claramente a la Población Potencial y la Población Objetivo al que van dirigidos. Con respecto a la Población Atendida, el COBAQROO utiliza indicadores institucionales para medir los resultados obtenidos en la ejecución de los Pp. El COBAQROO tiene una cobertura a nivel Estatal, ya que cuenta con planteles, Centros de Educación Media

(15)

Tel. 9831109004

15

Superior a Distancia (EMSaD) y Centros de Servicios Académicos Integrales (CSAI) distribuidos en la geografía estatal.

Con respecto al presupuesto asignado para la ejecución de los Pp, el COBAQROO, durante el ejercicio fiscal 2015, recibió recursos federales provenientes del Apoyo Financiero Extraordinario No Regularizable (U080) y del Subsidio Federal para Organismos Descentralizados Estatales (U006), en conjunto con las ministraciones estatales y los ingresos propios recaudados. Del análisis realizado a este rubro, se observó que al cierre del ejercicio fiscal, los recursos programados no fueron asignados en su totalidad, lo cual tuvo impacto en el cumplimiento de metas y objetivos. Referente a los reportes trimestrales del avance financiero de los recursos federales ejecutados por el COBAQROO, estos se encuentran reportados en el Portal Aplicativo de la Secretaria de Hacienda (PASH) y publicados en la página web de la Secretaria de Finanzas y Planeación del Gobierno del Estado de Quintana Roo (www.sefiplan.qroo.gob.mx).

Con respecto a los aspectos susceptibles de mejora derivados de evaluaciones anteriores, no se presentó ningún documento institucional que avale alguna acción realizada.

 Recomendaciones

Con respecto a la Planeación de los programas presupuestarios, se recomienda que estén basados y/o fundamentados por diagnósticos, evaluaciones ex ante y/o estudios, con la finalidad de identificar plenamente el problema que se pretende solucionar o la oportunidad a desarrollar con la creación y ejecución de los programas. Cabe mencionar que el COBAQROO cuenta con información institucional sobre la situación del Colegio respecto a su cobertura, infraestructura, estadísticas de desempeño, evaluaciones, etc., la cual puede ser útil para la

(16)

Tel. 9831109004

16

elaboración o actualización de un diagnostico institucional oficial, que justifique la existencia de sus programas, tal como lo establece la Metodología del Marco Lógico. En referencia al diseño de las Matrices de Indicadores para Resultados de los Programas presupuestarios operados por el COBAQROO, se recomienda que se realicen adecuaciones sobre los elementos siguientes:

 A nivel Fin se recomienda que el objetivo de los programas este alineado al eje estratégico del sector que pertenece, es decir, a la “Educación Media Superior”, por lo que el objetivo descrito en este nivel, debería ser el mismo para todos los programas presupuestarios e inclusive para todas las Escuelas de Nivel Medio Superior, en virtud de que el éxito de los programas contribuyen al logro de un objetivo de nivel superior.

 Se recomienda que los funcionarios responsables de la construcción de la MIR, realicen una validación de la lógica horizontal y vertical de esta herramienta, en apego a la Metodología del Marco Lógico, con la finalidad de corregir o mejorar la calidad de los elementos que la integran.

Con respecto al presupuesto asignado al COBAQROO y a la ejecución de los mismos, se recomienda que se considere la presentación de estos reportes por fuente de financiamiento (Federal, Estatal, Ingresos Propios) y desagregada por tipo de Fondo, Apoyo, Convenio o Subsidio (U080, U006, PAAGES) etc., con finalidad de facilitar su identificación, monitoreo y evaluación, además de fomentar la transparencia en la ejecución de los recursos públicos asignados.

Para finalizar, se recomienda darle seguimiento a los hallazgos detectados en la presente evaluación, como parte de las acciones a seguir dentro de los aspectos susceptibles de mejora, con la finalidad de fortalecer los mecanismos

(17)

Tel. 9831109004

17

implementados para medir el nivel de cumplimiento de objetivos y metas de los programas operados por el COBAQROO y ayudar a la toma de decisiones de la alta dirección pertenecientes a la Institución.

10. Datos de identificación de los Programas evaluados

Durante el ejercicio 2015, el COBAQROO ejecutó tres Programas Presupuestales, cada uno cuenta con una Matriz de Indicadores para Resultados, y las unidades responsables de la ejecución fueron las siguientes:

Programa Presupuestario Unidad Responsable

E042. Programa de Mejora de los Resultados de la

Educación Media Superior. Dirección Académica

E054. Programa de Gestión Escolar con Resultados. Dirección de Planeación, Programación y Presupuesto

E055. Programa de Eficacia de la Operatividad

Administrativa. Dirección Administrativa

11. Datos del Despacho Evaluador

La Evaluación Específica de Desempeño 2015 estuvo a cargo del Despacho Proneval del Sureste, S.C.

El equipo evaluador estuvo integrado por:

L.C. Silvia Marín Carrillo. Responsable de la Evaluación I.G.E. Ángel Geovanny Castillo Luna. Evaluador