27/10/2016. Máster en Evaluación de Programas y Políticas Públicas (Universidad Complutense de Madrid)

(1)

Joaquín Ruiz López Director del Departamento de Calidad de los Servicios Instrumentos y metodologías para la gestión y

evaluación de la calidad Máster en Evaluación de Programas y

Políticas Públicas (Universidad Complutense de Madrid)

(2)

"Mucho más importante que el tamaño del gobierno es su calidad… Hay una

correlación muy fuerte entre la calidad del gobierno y los buenos resultados

económicos".

Profesor Francis Fukuyama, Orden y Decadencia de la Política.

(3)

Conjuntos de instituciones del desarrollo político. El triángulo virtuoso.

•

Estado (impersonal)

•

Principio de legalidad/imperio de la ley (reglas vinculantes para todos)

•

Responsabilidad democrática (rendición de cuentas ante representantes)

• Principios y valores de la buena gobernanza

• Elaboración de políticas públicas

• Prácticas éticas y anticorrupción

• Instituciones profesionales y competentes

• Mejora de la prestación del servicio

• Mejora del entorno empresarial

• Fortalecimiento de la calidad de los sistemas judiciales

• Gestión eficaz de los fondos públicos

http://ec.europa.eu/esf/toolbox

¿Qué dice la Comisión Europea?

Elementos de la calidad de la administración pública

(4)

1. Determinar estrategias, estructuras o mecanismos de apoyo para integrar la calidad en la gobernanza y gestión de las instituciones 2. Instituciones accesibles, abiertas y cercanas a sus grupos de interés 3. Instituciones económicamente eficientes y sostenibles

4. Mejora en la gestión mediante la dotación de infraestructuras y la incorporación de instrumentos y tecnologías orientadas a la ciudadanía

5. Fórmulas organizativas y de coordinación interadministrativa para garantizar la ejecución efectiva de las políticas de calidad

6. Análisis y evaluación permanente de la actividad 7. Participación de los grupos de interés y usuarios 8. Desarrollo de las capacidades de los empleados públicos 9. Elaboración y difusión de cartas de servicios

10. Adopción de sistemas de gestión de la calidad (Modelos Excelencia, Normas ISO) y desarrollo de fórmulas de reconocimiento externo 11. Rendir cuentas a la sociedad

12. Establecer mecanismos para la innovación

¿Qué dice España?

Carta de compromisos con la calidad de las Administraciones públicas españolas

(Conferencia Sectorial de Administración Pública, 16 de noviembre de 2009)

NECESIDADES SOCIALES - PROBLEMAS PÚBLICOS - DERECHOS DE LOS CIUDADANOS

ACCIÓN DE GOBIERNO = POLÍTICA PÚBLICA

TAREAS DE GOBIERNO

FUNCIONES DE EJECUCIÓN, GESTIÓN Y SERVICIO

SERVICIOS PÚBLICOS que son prestados por FORMULACIÓN DE LAS

POLÍTICAS 1

2

3

IMPLEMENTACIÓN DE LAS POLÍTICAS

ORGANIZACIONES GESTIÓN Y EVALUACIÓN DE

POLÍTICAS PÚBLICAS (Nivel macro)

GESTIÓN Y EVALUACIÓN DE SERVICIOS PÚBLICOS (Nivel meso y micro)

RESULTADOS E IMPACTOS RESULTADOS

E IMPACTOS

¿A qué responden esas caracterizaciones?: Niveles de la acción pública

GESTIÓN Y EVALUACIÓN DE PROGRAMAS (Nivel meso)

(5)

Estructuras Personas Procesos Productos

Gestión interna

ORGANIZACIONES G. INTERÉS

CALIDAD DEMOCRÁTICA

SS.PP

Binomio Servicios‐UsuariosBinomio Estado‐Sociedad

MICROCALIDAD

MESOCALIDAD

PP.PP

MACROCALIDAD

Legitimación social Gobernanza

Apertura Responsabilidad Eficacia Participación Coherencia Análisis Necesidades‐

Expectativas Evaluación Satisfacción

Modelos Excelencia Estudios de percepción ciudadana

Relación entre Políticas y Servicios

10 Analizar la calidad, la eficacia y

eficiencia  ajuste entre objetivos propuestos y resultados del despliegue de políticas y programas y prestación de servicios públicos

Niveles tradicionales en el análisis de la calidad en el ámbito de la gestión pública (Pollit & Bouckaert, 1995) Relación entre Políticas y Servicios

(6)

11 Analizar la calidad, la eficacia y eficiencia  ajuste entre objetivos propuestos y resultados del despliegue de políticas y programas y prestación de servicios públicos

Niveles tradicionales en el análisis de la calidad en el ámbito de la gestión pública (Bouckaert, 1995)

• Relaciones Estado – Sociedad Civil (servicio público y la ciudadanía)

• Eficacia y legitimación social de la acción pública

• Evaluación de Políticas Públicas Relación entre Políticas y Servicios

• Productores y gestores de servicios en el ámbito público – Receptores

• Satisfacción de la ciudadanía para contribuir a la mejora de los servicios

• Organizaciones y su relación con los usuarios

(7)

13

• Relaciones internas de la organización

• Diagnóstico de la gestión

• Funcionamiento del servicio

14 Políticas

• Líneas de acción

• Persiguen que las prioridades gubernamentales se consigan con éxito

• Responden a decisiones políticas

Programas

• Conjuntos organizados de actividades, proyectos, procesos o servicios

• Orientados a la consecución de objetivos específicos

• Despliegue de Políticas

Servicios Públicos

• Procesos de gestión más básicos

• Finalidad prioritariamente prestacional

• Procesos estructurados

• Fuerte componente de formalización administrativa

Evaluación

Redefinición más precisa del problema

público Evaluación

Consistencia con políticas y programas Políticas Programas y Servicios

(8)

CALIDAD DE LOS SERVICIOS Satisfacción

usuarios

Expectativas

• Usuarios

• Grupos de interés, internos y externos

Organizaciones Perspectivas en la Evaluación

La perspectiva subjetiva

(9)

La perspectiva objetiva

18

Perspectiva SUBJETIVA

(usuarios)

OBJETIVA (Organización) Objeto Medición satisfacción de clientes y grupos

de interés

Diagnóstico de la gestión y los resultados de la Organización

Fines

Mejora de la prestación del servicio

Aumento satisfacción de usuarios

Ayudar a evaluación impacto políticas

Mejora global de la organización y de su impacto en los grupos de interés (clientes, empleados, sociedad, …) Fuentes de información

Normalmente externas

Usuarios / Sector Público

Internas y externas

Documentales (Memorias)

Análisis Referencial (Benchmarking) Técnicas

•Estudios de Satisfacción

•Observación Directa

•Comprobación Programas Calidad (Check List)

•Evaluación de Calidad en la gestión

Fuente: AEVAL. Guía para la evaluación de la calidad de los Servicios Públicos (2009)

Perspectivas en la Evaluación

(10)

(Norma ISO 9000:2005)

DEFINICIÓN DE CALIDAD

GRADO EN EL QUE UN CONJUNTO DE CARACTERÍSTICAS INHERENTES

CUMPLE CON LOS REQUISITOS

Rasgos diferenciadores (físicos,

sensoriales, temporales, funcionales, etc.) de la entidad de que se trate (producto, servicio, etc.) relacionados con un requisito.

DEFINICIÓN DE CARACTERÍSTICAS

( Norma ISO 9000:2005)

(11)

DEFINICIÓN DE REQUISITOS

Necesidades y expectativas establecidas, implícita u obligatoriamente, en

consonancia con los valores o utilidad aceptados por quienes prestan, reciben o se ven afectados por el producto o

servicio.

(Norma ISO 9000:2005)

Cartas de Servicios

Reconocimiento Observatorio

Rendición cuentas

1

2 3

4 6 5

Evaluación Calidad Quejas y Sugerencias

Ciudadanos Parlamento C. Ministros

Análisis de la Demanda y Evaluación de la Satisfacción

Marco General para la Mejora de la Calidad en la AGE

(12)

Las Cartas de Servicios

Cuando era joven, había un puro llamado La Preferencia que prometía “treinta minutos en La Habana”. Era un cigarro de los de a diez centavos, así que compré uno y fui a mi habitación, me metí en la cama y lo encendí. Puse el reloj. Después de veinte minutos el puro se apagó. Así que volví a la tienda y les dije: “Anuncian ustedes media hora en La Habana y sólo ha durado veinte minutos. Quiero otro puro.” Y me dieron otro puro.

Definición ideal

(13)

Las cartas de servicios son documentos que constituyen el instrumento a través del cual los órganos, organismos

y entidades de la Administración General del Estado informan a los ciudadanos y usuarios sobre los

servicios que tienen encomendados, sobre los derechos que les asisten en relación con aquellos y sobre los compromisos de calidad en su prestación.

Definición Legal

Elementos esenciales de una Carta de Servicios

Compromisos

Medidas de Subsanación Servicios

(14)

Diagrama proceso elaboración

1. Constitución del equipo de trabajo

2. Identificación de los datos generales y legales 3. Establecimiento compromisos calidad 4. Identificación datos complementarios

6. Redacción de la Carta 7. Plan de comunicación 8. Seguimiento de la Carta 9. Actualización

5. Establecer medidas de subsanación

(15)

EL MODELO EFQM DE EXCELENCIA

2013

(16)

Método científico

REALIDAD, DATOS, HECHOS, ...

HIPÓTESIS, CONJETURAS, MODELOS, ...

INDUCCIÓN DEDUCCIÓN

“Arquetipo o punto de referencia para imitar o reproducir”

MODELOS PRESCRIPTIVOS DE ASEGURAMIENTO DE

LA CALIDAD:

NORMAS ISO 9000

“Esquema teórico de un sistema o de una realidad

compleja, que se elabora para facilitar su

comprensión y el estudio de su

MODELOS DE EVALUACIÓN/

AUTOEVALUACIÓN BASADOS EN LA

EXCELENCIA:

EFQM FUNDIBEQ

MODELOS

Los modelos en la gestión de calidad

(17)

Esquema de describe el rendimiento óptimo de una organización de acuerdo con unos parámetros o dimensiones considerados relevantes.

Modelos de Excelencia

CONCEPTOS FUNDAMENTALES DE LA EXCELENCIA APLICADOS A LAS ADMINISTRACIONES PÚBLICAS

(18)

LIDERAZGO 100 puntos (10%)

RESULTADOS CLAVE 150 puntos

(15%) PROCESOS,

PRODUCTOS Y SERVICIOS 100 puntos (10%) PERSONAS

100 puntos (10%)

RESULTADOS EN LAS PERSONAS 100 puntos (10%)

POLÍTICA Y ESTRATEGIA 100 puntos (10%)

ALIANZAS Y RECURSOS 100 puntos

(10%)

RESULTADOS EN LOS CLIENTES

150 puntos (15%)

RESULTADOS EN LA SOCIEDAD

100 puntos (10%)

AGENTES FACILITADORES RESULTADOS

500 puntos (50%) 500 puntos (50%)

APRENDIZAJE, CREATIVIDAD E INNOVACIÓN

Factores causales

Materialización de los factores causales.

Son los logros obtenidos

Estructura dinámica del Modelo EFQM

AGENTES FACILITADORES

(19)

El Modelo EFQM de Excelencia es un marco de trabajo no-prescriptivo basado en nueve criterios.

Cinco de ellos son “Agentes Facilitadores” y cuatro son “Resultados”.

9 CRITERIOS

32 subcriterios que incluyen

Ejemplos de buenas prácticas que ayudan a entender su significado 9 CRITERIOS

32 subcriterios que incluyen

Ejemplos de buenas prácticas que ayudan a entender su significado

5 Agentes Facilitadores Lo que la organización hace 24 subcriterios

4 Resultados

Lo que la organización logra 8 subcriterios

4 Resultados

Lo que la organización logra 8 subcriterios

Las Organizaciones Excelentes hacen realidad su misión y avanzan hacia su visión mediante la planificación y el logro de un conjunto equilibrado de resultados que satisface las necesidades a corto y largo plazo de sus grupos de interés y, cuando conviene las supera.

FUNDAMENTO

CRITERIOS:

Factores críticos en el funcionamiento de la organización.

CRITERIOS:

Factores críticos en el funcionamiento de la organización.

SUBCRITERIOS:

Explican y desarrollan el contenido de los criterios.

SUBCRITERIOS:

Explican y desarrollan el contenido de los criterios.

ELEMENTOS :

Propuestas orientativas de análisis.

ELEMENTOS :

Propuestas orientativas de análisis.

Criterio 2 Estrategia

Criterio 3 Personas

S 3e

S 2b S 2c S 2d S 3a S 3b S 3c S 3d

S 2a

Elementos a considerar Elementos a considerar

ESTRUCTURA DEL MODELO EFQM DE EXCELENCIA 2013

(20)

6 Resultados en los

Clientes

7 Resultados en las

Personas

8 Resultados en la

Sociedad

9 Resultados Clave

6a (75%) Percepciones

6b (25%) Indicadores de

rendimiento Se determina el impacto de la estrategia en la percepción en lugar de sólo “medirla”.

rendimiento Percepción de las personas sobre la eficacia de la estrategia.

rendimiento Mejor orientación para incluir aspectos sociales y MA de la estrategia.

9a (50%) Resultados clave de

actividad

9b (50%) Indicadores claves

de actividad Integración directa con

“propósito de la estrategia”. Mejor definición de áreas y medidas posibles para mejorar.

RESULTADOS

EL CICLO PDCA  Esquema Lógico REDER

Planificar y Desarrollar ENFOQUES

DESPLEGAR Enfoques

EVALUAR, REVISAR Y PERFECCIONAR Enfoques y

Despliegue RESULTADOS

Requeridos

LA MEDICIÓN

R

esultados,

E

^nfoque,

D

espliegue,

E

valuar,

R

evisar y Perfeccionar

 Los elementos Enfoque, Despliegue, Evaluación y Revisión, deben abordarse en cada uno de los Subcriterios Facilitadores.

(21)

1.LIDERAZGO Definición

Las Organizaciones Excelentes tienen líderes que dan forma al futuro y lo hacen realidad, actuando como modelo de referencia de sus valores y principios éticos e inspirando confianza en todo momento. Son flexibles, permitiendo a la organización anticiparse y reaccionar de manera oportuna con el fin de asegurarse un éxito continuo.

Guías de actuación

Implicación interna

Comportamiento

Implicación externa

 Evaluación resultados

 Capacidades

 Confianza Grupos de Interés  Referencia

 Apoyo a las personas

 Reconocimiento

 Comunicación

 Ejemplo de Integridad

 Colaboración

 Liderazgo compartido

 Transparencia

 Participación G.I. externos

Gestión del cambio

Evaluación, Revisión y Mejora

• Definición

• Supervisión

• Revisión

• Impulso

SISTEMAS DE GESTIÓN:

Clientes, aliados y sociedad Clientes, aliados y

sociedad 1c

Definición e Impulso del cambio

1e

 Flexibilidad

 Capacidad de toma de decisiones

DESARROLLO:

Misión, Visión, Valores y Principios Éticos

1a

CULTURA DE EXCELENCIA 1d 1b

1. Liderazgo

(22)

5. PROCESOS, PRODUCTOS y SERVICIOS

Definición

Las organizaciones excelentes diseñan, gestionan y mejoran sus procesos, productos y servicios públicos para generar cada vez mayor valor para sus clientes y otros grupos de interés.

Relaciones con clientes

5e

Producción, Distribución,

Gestión 5d Diseño,

Gestión 5a

Promoción y puesta en el

mercado Enfoque clientes 5c

Productos y Servicios

 Segmentación

 Diálogo

 Percepción del cliente

 Uso responsable

 Satisfacción

 Aportar valor a G.I.

 Apoyo a estrategia

 Indicadores de rendimiento

 Innovación y mejora

 Necesidades y Expect. G.I.

 Modelo de gestión

 Marketing

 Cumplir compromisos 6, 9

5b

 Innovar

Productos y Servicios 2

5. PROCESOS, PRODUCTOS Y SERVICIOS

Valor a clientes Productos y servicios Procesos

(23)

6. RESULTADOS EN LOS CLIENTES Definición:

Las organizaciones excelentes alcanzan y mantienen en el tiempo resultados sobresalientes que satisfacen o exceden los derechos, necesidades y expectativas de sus clientes

Imagen Percepciones

6a Opinión 2, 5

Resultados Organización Indicadores de

Rendimiento 6b

Servicios y Fidelidad

Distribución

Atención y apoyo 6. RESULTADOS EN CLIENTES

 Opinión clientes

 Eficacia despliegue

 Estrategia clientes

 Eficacia

 Eficiencia

 Rendimiento

Tendencias

Objetivos

Comparaciones

Confianza

 Relevancia y Utilidad

Ámbito y Relevancia

Integridad

Segmentación

75%‐25%

(24)

EL ESQUEMA LÓGICO REDER

ENFOQUE

Sólidamente Fundamentado (los enfoques tienen una lógica clara, se basan en las necesidades y expectativas de los G.I. relevantes y se fundamentan en procesos)

Integrado (los enfoques apoyan la Estrategia y están vinculados a otros enfoques)

DESPLIEGUE ^Implantado (Los enfoques están implantados en las áreas relevantes)

Estructurado (La ejecución está estructurada y permite flexibilidad y agilidad organizativa)

EVALUAR, REVISAR Y PERFECCIONAR

Medición (Se miden adecuadamente la eficacia y eficiencia de los enfoques y su despliegue)

Aprendizaje y creatividad (Aprendizaje y creatividad se utilizan para generar oportunidades de mejora e innovación)

Mejora e innovación (los resultados de las mediciones, el aprendizaje y la creatividad se utilizan para evaluar, establecer prioridades e implantar mejoras e innovaciones)

Criterios agentes

RELEVANCIA Y UTILIDAD

Ámbito y relevancia (Se ha identificado un conjunto coherente de resultados de los G.I.

relevantes que demuestra el rendimiento de la organización en cuanto a su estrategia, objetivos y sus necesidades y expectativas)

Integridad (Los resultados son oportunos, fiables y precisos)

Segmentación (Los resultados se segmentan de forma adecuada para aportar un conocimiento en profundidad de la organización)

RENDIMIENTO

Tendencias (Tendencia positivas o rendimiento bueno y sostenido en al menos 3 años)

Objetivos(Para los resultados clave se han establecido objetivos relevantes y se alcanzan de manera continuada, de acuerdo con los objetivos estratégicos)

Comparaciones (Para los resultados clave se realizan comparaciones externas relevantes y son favorables, de acuerdo con los objetivos estratégicos)

Confianza(Basándose en las relaciones causa/efecto establecidas, hay confianza en que los niveles de rendimiento se mantendrán en el futuro)

EL ESQUEMA LÓGICO REDER Criterios resultados

(25)

(26)

Para que la calidad sea creíble hay que …

 Evaluar en serio

 Voluntad política

 Honestidad

 Sistemáticamente

 Científicamente

 Con especialistas en métodos y técnicas +

 Capaces de buscar explicaciones a los datos +

 Pensar en posibilidades de mejora +

 Innovar (o al menos copiar lo bueno que hacen otros)

+ Sensibles con

◦los valores democráticos

◦Los valores del servicio público

Los “riesgos” de la Calidad

Neo-Burocratización

Instrumentalización

Frustración ciudadana

(27)

Políticas y Estrategias bien diseñadas +

Unidades débiles o no alineadas

Fracaso

A modo de conclusión (I)

Políticas y Estrategias mal diseñadas +

Unidades excelentes

Fracaso

A modo de conclusión (II)

(28)

Políticas y Estrategias bien diseñadas +

Unidades excelentes y alineadas

ÉXITO DE LA ACCIÓN PÚBLICA

A modo de conclusión (III)

(29)

Referencias metodológicas

http://www.aeval.es/es/difusion_y_comunicacion/publicaciones/

Guias/index.html

http://www.aeval.es/es/cooperacion_y_redes/red_interadministr ativa/carta_compromisos/

Guias/Guias_Marco_General_Mejora_Calidad/Caf_2013.html

Guias/Guias_Evaluacion_Politicas_Publicas_y_Calidad_SSPP/index .html

www.aeval.es

Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios

(30)

(31)

(32)

¿Qué es un proceso?

Una secuencia de actividades repetitivas, sistemáticas y medibles en las que a partir de una petición se consigue el resultado solicitado, con incremento del valor añadido.

INPUT TRANSFORMACIÓN OUTPUT INICIO

PERSONAS

RECURSOS

TECNOLOGÍA MÉTODOS

Valor añadido

Procesos estratégicos

Política y Estrategia. Comunicación externa e interna. Estudio de expectativas de los usuarios. Control de la gestión

Procesos operativos

Específicos de la organización. Satisfacción de los usuarios

Procesos de apoyo

Gestión de compras. Asesorías varias. Formación.

Sistemas de información. Contabilidad Ejemplos:

(33)

Objetivo.

Propietario

Subprocesos Actividades

Proveedores y clientes Inputs/Outputs

Documentación Procedimiento

Equipos de mejora del proceso

Controles

Indicadores

Requisitos del Proceso

FICHA-TIPO DE PROCESO

Información incluida:

Misión u objeto: Es el propósito del proceso. Hay que preguntarse ¿cuál es la razón de ser del proceso?

¿Para qué existe el proceso?.

Propietario del proceso: Es la función a la que se le asigna la responsabilidad del proceso y, en concreto, de que éste obtenga los resultados esperados (objetivos). Es necesario que tenga capacidad de actuación y debe liderar el proceso para implicar y movilizar a los actores que intervienen.

Límites del proceso: Los límites del proceso están marcados por las entradas y las salidas, así como por los proveedores (quienes dan las entradas) y los clientes (quienes reciben las salidas).

Alcance del proceso: Aunque debería estar definido por el propio diagrama de proceso, el alcance pretende establecer la primera actividad (inicio) y la última actividad (fin) del proceso, para tener noción de la extensión de las actividades en la propia ficha.

Indicadores del proceso: Son los indicadores que permiten hacer una medición y seguimiento de cómo el proceso se orienta hacia el cumplimiento de su misión u objeto.

(34)

FICHA-TIPO DE PROCESO (2)

Información incluida (CONT):

Documentos y/o registros: Se pueden referenciar en la ficha de proceso aquellos documentos o registros vinculados al proceso. En concreto, los registros permiten evidenciar la conformidad del proceso y de los productos con los requisitos.

Recursos: Se pueden también reflejar en la ficha (aunque la organización puede optar en describirlo en otro soporte) los recursos humanos, la infraestructura y el ambiente de trabajo necesario para ejecutar el proceso.