El diseño del proceso de evaluación y seguimiento, se basa en las buenas prácticas internacionales de la evaluación y acreditación de programas de posgrado, respeta la diversidad institucional tomando en cuenta la misión y visión de cada institución. En el PNPC se optó por la evaluación de expertos académicos (pares académicos), teniendo éstos la responsabilidad de dictaminar sobre el ingreso o permanencia en el PNPC. El experto debe reunir el perfil adecuado y ser competente para desempeñar su tarea.
El punto de partida del proceso de evaluación y seguimiento son los Comités de Pares, como se mencionó anteriormente, los expertos académicos. Por lo que CONACYT apela para integrar una cartera de evaluadores potenciales de las distintas IES que apoyarán de una manera desinteresada e imparcial, como una actividad académica con miras a mejorar el posgrado nacional. Los cursos de capacitación son presenciales y a distancia o proporcionan el material para que las instancias los impartan.
El proceso de evaluación y seguimiento está integrado por tres etapas: la autoevaluación, la evaluación de pares y la evaluación de resultados o impacto, como se ilustra en la Figura 2: Etapa 1. La evaluación ex - ante
La autoevaluación (evaluación ex - ante o intema), es la que realiza la institución conforme a sus lincamientos internos y con base en el Marco de Referencia para la Evaluación y el Seguimiento de los Programas de Posgrado; y da como resultado el Plan de Mejora del programa de posgrado. En la EPL se tuvieron 3 evaluaciones ex - ante que permitieron hacer muchísimos ajustes para la mejora del proceso de evaluación.
La i La evaluación ex-ante evaluación externa
y
Auto-evaluación Plan de mejora Las pre-evaluaciones (J 5 La evaluación plenaria 4 V La evaluación ¡n-situ El seguimiento o evaluación intermedia La evaluación ex-post Resultados Evaluación del impactoFigura 2. Etapas del proceso de evaluación del PNPC (CONACYT, 2014).
a) La auto-evaluación
Es la etapa más importante en el proceso de evaluación ya que permitirá el mejoramiento de la calidad, debido a que está orientada a fortalecer la capacidad de reflexión, análisis y gestión de los responsables del programa de posgrado. Deben involucrarse todos los actores del programa de posgrado, en un ejercicio de reflexión participativa e incluyente, en un ejercicio colegiado, para describir y valorar su realidad cotidiana en comparación con las categorías y criterios propuestos en el Marco de Referencia. El objetivo principal es lograr un mejor conocimiento de las condiciones reales en las que un programa de posgrado se desarrolla. Permitirá identificar fortalezas y debilidades y conducir a una planeación sistemática de acciones de mejoramiento y hacer un seguimiento de las mismas.
Realizar una autoevaluación implica una motivación interna para emprender acciones con objetivos claros, que permitan la mejora continua del programa de calidad; un análisis y 27
valoración de metas, logros e impacto del programa de posgrado; debe además, incluir la opinión de la comunidad y la formulación de propuestas concretas de acción para mejorar la calidad, y definir las estrategias para su logro y la disponibilidad de información confiable. Refleja la visión institucional de las categorías y criterios contenidos en el Marco de Referencia, dejando establecida la opinión sobre el grado en que el programa de posgrado satisface las exigencias planteadas. El Marco de Referencia precisa los requerimientos de información, así como también los medios de verificación.
La auto-evaluación del programa comprende dos apartados:
a) El compromiso institucional, es el que asume la institución para su incorporación al PNPC y se describen los procedimientos y las normas que facilitan el fortalecimiento y desarrollo del posgrado. Este compromiso permite a los comités de pares tener un establecer una relación de los medios que garanticen la calidad en la formación de los recursos humanos de alto nivel. b) El diagnóstico del estado que guarda el programa de posgrado, se ve reflejado una vez analizadas las categorías y criterios del modelo del PNPC, es en donde los actores del programa elaboran un diagnóstico, mediante el análisis y valoración de las categorías y criterios establecidos por el modelo del PNPC. Para facilitar este análisis, el modelo incluye una serie de preguntas y medios de verificación. Es en la auto-evaluación en donde se logran detectar a través de una revisión exhaustiva del programa y aplicando un análisis de Fortalezas, Oportunidades, Debilidades y Amenazas (FODA), con las acciones para afianzarlas y superarlas, acciones concretas a corto y mediano plazo que permitirán garantizar un programa de calidad. Los medios de verificación son las evidencias para validar el proceso de reflexión, análisis e interpretación, realizado mediante las preguntas.
Con las observaciones que se asienten en los criterios de cada categoría como resultado de la auto-evaluación, se deben describir las fortalezas y debilidades identificadas, además de las acciones propuestas, aprovechando las fortalezas y minimizando las debilidades, a través de las acciones para apuntalarlas o en su caso para superarlas.
La autoevaluación en la EPL, permitió conocer específicamente el punto de partida del cada criterio, con el fin de establecer metas y compromisos que reforzaran la calidad del programa. Se revisó una y otra vez, hasta determinar que el conocimiento de las fortalezas y debilidades a través de una visión profunda de las condiciones en las que se iniciaba y lo que se tenía que hacer de manera inmediata y a largo plazo para el logro de los objetivos. Estas recomendaciones, fueron muy oportunas para redefinir algunos criterios hasta cumplir con lo requerido por CONACYT,
Etapa 2. La evaluación externa
Si bien se ha comentado que la auto-evaluación es sustancial en el proceso de ingreso al PNPC, es necesario que medie una mirada externa. Esta designación la lleva a cabo la Dirección de Posgrado, a través de un equipo de evaluadores que reúnen experiencia académica y profesional y conocimiento de los procesos de aseguramiento de la calidad, es realizada por pares académicos expertos en las áreas afines al programa de posgrado.
Validan los informes de la pre-evaluación como documento de trabajo y se auxilian con los medios de verificación y toda la información estadística presentada por el programa. Se suma a esta parte, el resultado de la entrevista entre el Coordinador Académico del programa y las observaciones que surjan de la misma.
Este trabajo colegiado cuestiona la calidad, pertinencia y efectividad del proceso del programa y con este análisis se expresa en juicios de valor el diagnóstico del programa. Se resume lo anterior en un informe de evaluación del comité de pares con el dictamen del estado del programa de posgrado, recomendaciones para su mejora en la calidad y la valoración que asignan al plan de mejora del programa.
Etapa 3. La evaluación ex - post
Consiste en una valoración del impacto académico del programa, a través de la recolección y análisis sistemático de evidencias, con el propósito de mejorar el entendimiento del objetivo evaluado, así como tener la capacidad de emitir opiniones al respecto. El propósito es
determinar la pertinencia, eficiencia, efectividad, impacto y la sostenibilidad a la luz de los objetivos específicos que se plantearon en el programa. Una evaluación ex post debe proveer información útil y verosímil.
La Figura 3, muestra las etapas del proceso de evaluación y seguimiento del PNPC (Marco de Referencia PNPC-2, 2014).
Figura 3. Proceso de evaluación del PNPC, 2014).
Etapa 4. Decisión final del Consejo Nacional de Posgrado (CNP)
El dictamen final emitido por el Consejo Nacional de Posgrado (CNP), incluye el fallo, los juicios de valor y las recomendaciones formuladas por los expertos en relación al programa, en base al análisis del programa, a los informes estadísticos, a los informes de pre-evaluación y de evaluación plenaria y su relación con el cumplimiento de los criterios establecidos en el Marco de Referencia, emite su decisión acerca de la calidad del programa y la pertinencia respecto al ingreso o permanencia en el PNPC. Este pronunciamiento se emite a través de un dictamen que incluye las principales recomendaciones y observaciones de los comités de pares.
En el sitio web de CONACYT, existen diversas bases de datos que permiten la integración de la información de los programas de posgrado, así como de los integrantes del NAB y de todos aquellos que tienen una relación activa (Sistema Nacional de Investigadores, becarios, proyectos de investigación, entre otros).
El dictamen final del CNP se estructura de modo que incluye la descripción analítica de la realidad basada en evidencias. Las recomendaciones contienen las justificaciones que permiten comprender su contenido, los criterios utilizados, los argumentos clave y las conclusiones, mismas que podrán publicarse para el conocimiento de la comunidad institucional y de la sociedad en general, quedando a criterio de la institución esta decisión.
III. 1. 4 Contenido de las solicitudes de programas que aspiran a ingresar al