INFORME FINAL. Estudio evaluación de la satisfacción de los usuarios del Programa de Alimentación Escolar JUNAEB. Cliente Elaborado por:

(1)

INFORME FINAL

“Estudio evaluación de la satisfacción de los usuarios del Programa de Alimentación Escolar – JUNAEB”

Cliente Elaborado por:

Diciembre 2013

(2)

Informe Final Satisfacción de los Usuarios del Programa de Alimentación Escolar (PAE)

1

Tabla de Contenidos

I. Introducción ... 4

II. Objetivos del informe ... 6

1. Objetivo General ... 6

2. Objetivos Específicos ... 6

III. Evaluación de la satisfacción usuaria del PAE ... 8

1. Diseño Metodológico ... 8

1.1. Dimensiones de análisis ... 8

1.2. Fórmula de cálculo del Indicador de Satisfacción del PAE ... 10

1.3. Definición del indicador H ... 11

1.4. Metodología de muestreo... 12

2. Estrategia de terreno ... 13

3. Análisis de los resultados ... 15

3.1. Validación de la base datos ... 15

3.2. Caracterización de la muestra ... 16

3.3. Análisis de resultados ... 22

3.3.1. Análisis nacional de los indicadores de satisfacción generales ... 24

3.3.2. Indicadores de satisfacción desagregados por macrozonas ... 31

3.3.3. Indicadores de satisfacción desagregados por sexo ... 41

3.3.4. Indicadores de satisfacción desagregados por dependencia administrativa ... 47

3.3.5. Indicadores de satisfacción desagregados por área geográfica ... 55

3.3.6. Indicadores de satisfacción desagregados por licitación ... 63

3.3.7. Indicadores de satisfacción desagregados por el tipo de comida u servicio ... 70

3.3.8. Indicadores de satisfacción desagregados por empresa prestadora ... 78

3.3.9. Establecimientos con las mejores evaluaciones del PAE ... 87

4. Análisis Inferencial ... 88

4.1. Análisis de Tipologías ... 91

4.1.1. Tipologías de estudiantes con mayor y menor nivel de satisfacción usuaria. ... 91

4.1.2. Tipología de establecimientos en función de su satisfacción obtenida. ... 95

4.1.3. Tipología de empresas prestadoras en función a variables que dependen de ellas, a excepción de la comida. ... 96

4.1.4. Tipología de empresas prestadoras en relación a la satisfacción que tienen los estudiantes de las comidas ... 97

4.2. Análisis de Correlaciones ... 99

5. Conclusiones y Recomendaciones – Fortalezas y Debilidades ... 101

IV. Definición de satisfacción usuaria de acuerdo a los lineamientos de Gobierno y ajustado a la realidad del PAE ...113

(3)

2 1. Marco teórico asociado a modelos de satisfacción vinculados a programas públicos de

alimentación escolar. ... 113

1.1. Revisión teórico-conceptual ... 113

1.2. Modelos implementados a nivel internacional ... 118

2. Modelo de satisfacción propuesto ... 125

2.1. Conceptualización de Satisfacción usuaria ... 125

2.2. Ponderadores de las dimensiones y variables ... 129

2.3. Propuesta de modelo de satisfacción usuaria ... 132

V. Metodología que permita evaluar la satisfacción usuaria ...133

1. Definición de la muestra ... 133

1.1. Estrategia de muestreo ... 133

1.2. Diseño Muestral ... 134

1.3. Niveles de representatividad y error... 136

1.4. Tamaño de la muestra ... 136

1.4.1. Definición de imperativos muestrales... 136

1.4.2. Definición del número muestral... 137

2. Definición de las fuentes de información y análisis ... 142

2.1. Unidades de Muestreo ... 142

2.2. Unidades de análisis ... 142

3. Definición del tipo y modalidad de Aplicación ... 143

3.1. Tipo de aplicación ... 143

3.2. Modalidad de aplicación ... 143

4. Plan de análisis... 144

VI. Instrumentos para la metodología planteada ...149

VII. Pre test ...153

1. Objetivos del Pre test ... 153

Los objetivos del presente apartado son los que se presentan a continuación:... 153

2. Diseño Pre test ... 154

2.1. Diseño del Pre test de los Instrumentos ... 154

2.2. Proceso de Contacto ... 156

3. Aplicación pre test ... 157

4. Resultados del pre test ... 159

4.1. Observaciones de comprensión y lenguaje utilizado ... 159

4.2. Observaciones a las variables y modalidad de respuesta ... 160

4.3. Instrumento ajustado ... 176

(4)

3

VIII. Anexos ...180

1. Anexo 1: Instrumento de Aplicación para la medición de Satisfacción Usuaria – Año 2013 (Indicador H) ... 180

2. Anexo 2: Protocolo de Contacto con el establecimiento ... 183

3. Anexo 3: Protocolo de visita al establecimiento ... 185

4. Anexo 4: Protocolo de Resolución de Conflicto ... 190

5. Anexo 5: Ranking de establecimientos por satisfacción con el PAE ... 191

(5)

4

I. Introducción

En el marco de la misión de la Junta Nacional de Auxilio Escolar y Becas (JUNAEB), entendida como: “Favorecer la mantención y éxito en el sistema educacional de estudiantes en condición de desventaja social, económica, psicológica y/o biológica, entregando para ello productos y servicios integrales de calidad, que contribuyan a hacer efectiva la igualdad de oportunidades, el desarrollo humano y la movilidad social”¹, se constata como uno de aquellos productos al Programa de Alimentación Escolar. Dicho programa se basa en la entrega de servicios diarios de alimentación a estudiantes matriculados en establecimientos educacionales, que se encuentran en condición de vulnerabilidad.

La implementación de este tipo de Programa se basa en la premisa de que una adecuada alimentación incide positivamente en la retención y desempeño puesto que “busca mejorar la asistencia a clases y retener a los estudiantes en el sistema educacional asegurando que cuenten con los requisitos básicos de nutrientes de tal manera de que les permite asimilar los contenidos escolares”².

En esa medida se plantea necesario realizar una evaluación periódica de la satisfacción que les proporciona el programa a los estudiantes beneficiados, a modo de conocer la experiencia y percepción respecto del servicio proporcionado. A su vez, permite proyectar mejoras y controles al programa, acorde a las necesidades y exigencias que plantean los beneficiarios en la actualidad.

En este contexto, este informe dará a conocer, los principales resultados asociados a la aplicación de la encuesta de satisfacción a beneficiarios, en específico, a estudiantes de los cursos del 2° ciclo básico de una serie de establecimientos educacionales a nivel nacional, además de desarrollar una propuesta de optimización metodológica (marco metodológico, instrumento y análisis) de la medición de satisfacción de los usuarios y usuarias de los distintos ciclos educativos (segundo ciclo básico y enseñanza media) que reciben el servicio de Alimentación entregado por el Programa de Alimentación Escolar (PAE).

La estructura de este informe está definida de la siguiente manera:

1. En una primera instancia, describir los objetivos, el marco metodológico y estrategia de terreno que da origen a la evaluación de satisfacción para el año 2013, especificando aspectos como dimensiones de análisis, indicador H, fórmula de cálculo

1Extraído de: http://www.junaeb.cl/quienes-somos

2 JUNAEB-MINEDUC, Balance de Gestión Integral, 2012, pp. 9.

(6)

5 de indicador de satisfacción para el PAE, la metodología de muestreo y la estrategia de terreno utilizada.

2. En segunda instancia, se presentarán los resultados obtenidos de la aplicación de las encuestas de satisfacción, donde se presentará la descripción de la muestra y los diferentes indicadores de satisfacción desagregados para cada una de las variables definidas como relevantes para el estudio. Adicionalmente y complementando los hallazgos derivados del análisis descriptivo, se presentará análisis de tipologías en torno a las satisfacciones obtenidas y correlaciones entre variables independientes, tipos de análisis que permitirán construir conclusiones y recomendaciones en torno al Programa de Alimentación Escolar.

3. Habiendo definido los niveles de satisfacción del Programa de Alimentación Escolar 2013, se presentará una serie de modelos a nivel internacional, los cuales permitirán entender satisfacción usuaria en programas de estas características y definir este concepto de acuerdo a los lineamientos de Gobierno y ajustado a la realidad del PAE.

4. En cuarto lugar, se presentará una propuesta en torno a la metodología que permitirá evaluar y obtener hallazgos importantes de satisfacción usuaria en el Programa de Alimentación Escolar en los próximos años. Esta propuesta definirá aspectos como diseño muestral, fuentes de información, tipo de aplicación y plan de análisis, además del instrumento de medición de satisfacción con todas las dimensiones y variables definidas anteriormente.

5. Por último, el instrumento propuesto fue pre testeado, proceso que se describirá en un apartado especial, referenciando los ajustes y cambios que fueron posible de visualizar en terreno y por medio del análisis de los datos.

Todo lo anterior, configurará el escenario estratégico y operacional bajo el cual se ejecuta el Programa de Alimentación Escolar, permitiendo reflexionar en torno a cómo ir generando mayor satisfacción a los beneficiarios y como fortalecer la gestión del programa a nivel territorial, ya sea con los establecimientos educacionales, empresas prestadoras y Direcciones Regionales de JUNAEB.

(7)

6

II. Objetivos del informe

Los objetivos del presente estudio son los que se detallan a continuación:

1. Objetivo General

Los objetivos generales están estructurados bajo tres líneas:

1. Evaluar el nivel de satisfacción de los usuarios y usuarias del servicio de alimentación entregado por el Programa de Alimentación Escolar (PAE), mediante la aplicación de un cuestionario a estudiantes pertenecientes al 2° ciclo básico (5° a 8° básico).

2. Desarrollar una propuesta de optimización metodológica de la medición y del cuestionario, para evaluar el nivel de satisfacción de los usuarios y usuarias de los distintos ciclos educativos (segundo ciclo básico y enseñanza media) que reciben el servicio de Alimentación entregado por el Programa de Alimentación Escolar (PAE) 3. Desarrollar una propuesta de cuestionario, de acuerdo a los objetivos expuestos en

los números 1 y 2, para aplicar a partir del 2014.

2. Objetivos Específicos

Los objetivos específicos para los focos de investigación definidos anteriormente son los siguientes:

Para el objetivo general 1 se estima:

 Determinar el grado de satisfacción de los usuarios y usuarias del servicio de alimentación entregado por el PAE desagregado por género, región y empresa prestadora.

 Analizar los resultados de la encuesta de satisfacción de usuarios del programa de alimentación escolar por ítem y dimensión, explorando las posibles relaciones entre ellos.

 Caracterizar los usuarios del programa de alimentación escolar de 5° a 8° básico, a nivel nacional, por género, región y empresa prestadora, de acuerdo a los resultados obtenidos en la medición de la satisfacción, de tal manera de crear perfiles de usuarios(as)

Para el objetivo general 2 y 3, se espera:

(8)

7

 Desarrollar una propuesta metodológica para la medición cuantitativa de la satisfacción usuaria de los y las estudiantes de los diferentes ciclos educativos (1° ciclo básico, 2° ciclo básico y enseñanza media) que reciben el PAE, que contenga como mínimo la construcción de un cuestionario que permita evaluar satisfacción de usuarios del programa de alimentación escolar, el cálculo y selección de la muestra, y construcción del índice que mide la satisfacción.

 Desarrollar una propuesta de análisis estadísticos (en base al objetivo anterior) que permita evaluar la satisfacción usuaria del servicio del PAE, desagregada por región, género, empresa prestadora y licitación.

 Entregar listado con las principales fortalezas y debilidades del Servicio de Alimentación entregado por el PAE enfocado en la satisfacción usuaria, detectadas en el análisis y en virtud del cuestionario aplicado

(9)

8

III. Evaluación de la satisfacción usuaria del PAE

En este primer apartado se presentará el diseño metodológico, estrategia de terreno y los principales resultados obtenidos de la aplicación de la encuesta de satisfacción usuaria a alumnos beneficiados del Programa de Alimentación Escolar (PAE) pertenecientes al segundo ciclo básico durante el año 2013, aspectos que se detallan a continuación:

1. Diseño Metodológico

El diseño metodológico, utilizado en el presente estudio, está definido sobre la base de estudios de satisfacción que se han realizados por JUNAEB en años anteriores, respetando principalmente el instrumento³ a aplicar, con sus dimensiones y variables.

A continuación se presentarán cada uno de los ámbitos del marco metodológico que guiaron este estudio; en específico, se describirán las dimensiones de análisis, fórmulas de cálculo de los indicadores, presentación del indicador H y la metodología de muestreo.

1.1. Dimensiones de análisis

Las dimensiones y variables⁴ constituyentes de la satisfacción usuaria del programa de alimentación escolar, son presentadas a continuación:

 Dimensión N° 1

D1: Limpieza del comedor, utensilios y presentación personal de la manipuladora En esta dimensión se busca indagar en la satisfacción que se tiene respecto de la limpieza y presentación del comedor (salón o casino), incluyendo los utensilios ocupados y el equipamiento a disposición, sumado a la limpieza y presentación del personal que asiste en el servicio.

En específico las variables consideradas en el análisis son las siguientes:

o P1A: Limpieza y presentación del comedor.

o P1B: Limpieza y presentación de sillas y mesas.

o P1C: Limpieza y presentación de las cucharas, tenedor, jarros.

o P1D: Limpieza y presentación de las bandejas.

o P1E: Presentación personal de la manipuladora (limpia, ordenada, etc.).

3 Ver Anexo 1.

4 Una DIMENSIÓN es un área de investigación que constituye satisfacción para los estudiantes beneficiarios del PAE, la cual es medida a partir de una suma ponderada de variables relevantes de la dimensión.

(10)

9 Tanto las variables P1A y P1B, no son de responsabilidad directa de JUNAEB, puesto que las empresas prestadoras del Servicio no están obligadas a ocuparse de la limpieza del comedor en general. En cuanto a las variables restantes, JUNAEB sí posee responsabilidad directa ya que está obligada, por contrato, a realizar control y seguimiento a estos puntos. No obstante lo mencionado, todas las variables que componen esta dimensión son constituyentes de satisfacción y por lo tanto, debe formar parte del indicador a calcular, más allá de que si es JUNAEB la responsable directa de ella o no.

D2: Del comedor y atención que recibes de las personas que te atienen a diario

En esta dimensión se busca indagar en la satisfacción que se tiene respecto de las condiciones de infraestructura y ambientales en las que se sirve las comida, comprendiendo la percepción con la que se evalúa el ambiente del comedor y del servicio entregado.

o P2A: El tiempo que tienes para comer

o P2B: La presencia del profesor encargado en el comedor.

o P2C: La temperatura ambiental del comedor (frío, caluroso, etc.).

o P2D: La luminosidad del comedor (claro, oscuro, etc.).

o PDE: La atención y/o trato de la manipuladora.

Al igual que en el caso de la D1, tanto las variables P2A, P2B, P2C y P2D, no son de responsabilidad directa de JUNAEB, puesto que las empresas prestadoras del Servicio no están obligadas a ocuparse de estos puntos. En cuanto a la variable restante, JUNAEB sí posee responsabilidad directa ya que está obligada, por contrato, a realizar control y seguimiento al comportamiento de la manipuladora frente a los estudiantes. No obstante lo mencionado, todas las variables que componen esta dimensión son constituyentes de satisfacción y por lo tanto, debe formar parte del indicador a calcular, más allá de que si es JUNAEB la responsable directa de ella o no.

D3: Menú de las comidas, las últimas dos semanas

En esta dimensión se busca indagar la satisfacción que tiene el o la estudiante respecto de la calidad y variedad percibida frente a las comidas entregadas por el programa, es decir, la entrada o ensalada, el plato de fondo o guiso, y el postre.

o P3A: La variedad de comidas en las últimas dos semanas.

(11)

10 o P3B: La calidad de las ensaladas o entradas (sabor, olor, presentación,

cantidad, etc.).

o P3C: La calidad de los platos de fondo o guisos (sabor, olor, presentación, cantidad, etc.).

o P3D: La calidad de los postres (sabor, olor, presentación, cantidad, etc.)

En el caso de esta dimensión, JUNAEB posee una responsabilidad directa sobre todas las variables debido a que es la Institución quien adjudica y contrata los Servicios de Alimentación entregados, por cuanto no sólo establece los parámetros de calidad que deben presentar sino que también es responsable de realizar las supervisiones correspondientes a las empresas prestadoras y así certificar el cumplimiento de lo establecido en las bases de licitación con respecto al menú de las comidas.

D4: Nivel de importancia de la comida entregada por PAE

Esta última dimensión alude a la importancia que le otorgan los estudiantes beneficiados a la existencia del Programa de Alimentación Escolar en su establecimiento. Es importante evaluar esta medición ya que posiblemente para muchos de ellos, este servicio puede representar la única oportunidad de alimentación del día y por tanto, su medición ayuda a contextualizar la importancia del programa en el entorno escolar y familiar de los beneficiarios.

Importante comentar que el o la estudiante debió evaluar cada variable con una nota en escala de 1 a 7 (Escala de Lickert)⁵.

1.2. Fórmula de cálculo del Indicador de Satisfacción del PAE

El cálculo de la nota global de la satisfacción por estudiante, está determinada a partir de la siguiente fórmula:

Ilustración 1: Fórmula cálculo del indicador de Satisfacción del PAE por estudiante.

Fuente: ClioDinámica

5 Ver ANEXO N° 1 (P1A+…+P1E)

n

(P^2A+…+P^2E) n

(P^3A+…+P^3D) n

P4

30%

20% 20%

(12)

11

 La nota de cada dimensión está determinada por un promedio simple de las variables que la componen y que fueron descritas en detalle, anteriormente.

 Para calcular la nota global de la satisfacción usuaria del PAE, se realiza un promedio ponderado de las dimensiones que la componen. Los pesos relativos⁶ de cada dimensión son los siguientes:

o D1 pesa un 20% sobre la nota general de satisfacción general del programa.

•

Para determinar la satisfacción usuaria de cada estudiante, se aplica el siguiente criterio a la nota global⁷:

o La condición de Satisfacción del estudiante corresponde a una nota igual o superior a 5⁸.

o La condición de Insatisfacción del estudiante corresponde a una nota inferior a 5.

1.3. Definición del indicador H

Este indicador es del tipo calidad/producto y está definido por el porcentaje de estudiantes usuarios(as) del Programa de Alimentación Escolar (PAE) que están satisfechos con el programa, equivalente al porcentaje de alumnos encuestados que obtuvieron una nota de satisfacción general del PAE igual o superior a 5 sobre el total de alumnos encuestados.

La fórmula de cálculo es la que se presenta a continuación:

N de estudi tes o AE ue e o so e e su i e de s tis i o e se i io de AE e e o t

N tot de estudi tes o AE ue o test E uest E u i de id d de e i io e e o t

Fuente: FORMULARIO INDICADORES DE DESEMPEÑO AÑO 2013 - JUNAEB

6 El peso relativo está determinado por el nivel de responsabilidad que le compete a JUNAEB sobre cada dimensión que compone la nota global de satisfacción usuaria.

7 El mismo criterio se aplica para las notas de las variables y las dimensiones que componen la nota global de satisfacción usuaria

8Cabe señalar que si bien el 75% de satisfacción, en un rango de notas del 1 al 7, queda definido por una nota de 5,2, se opta por determinar la satisfacción como igual o superior a la nota 5, en tanto se comprende que las notas de los estudiantes con las que evalúan, son realizadas en números absolutos.

(13)

12

1.4. Metodología de muestreo

Muestra

El universo para este estudio corresponde a una estimación de 631.806⁹ estudiantes de 2°

ciclo básico que son beneficiarios del PAE.

La muestra teórica a nivel nacional está compuesta de 5.800 casos, calculada con un 95% de nivel de confianza mediante Muestreo Aleatorio Simple (MAS), determinado con un ±1,28% de error de muestreo.

Luego, se procedió a definir el n° de encuestas por nivel, correspondiente a 10-11 encuestas por nivel de segundo ciclo básico (5°, 6°, 7° y 8°) con lo cual se proyectó una aplicación de 40 a 44 alumnos por establecimiento.

Una vez conocido el n° de encuestas por establecimiento y la muestra definida a nivel nacional, se determinó una muestra de 131 establecimientos (5800 casos/44 encuestas por establecimientos).

Diseño de muestreo

Se planteó un diseño muestral de tipo probabilístico y polietápico, con afijación proporcional, cuya unidad de información corresponde a todos los estudiantes, hombres y mujeres, de los establecimientos que reciben servicios de alimentación de las empresas prestadoras que operan en el país.

Al considerar que este tipo de muestreo es probabilístico se refiere a que todos los casos del universo del Programa de Alimentación Escolar tienen la misma probabilidad de ser seleccionados para la muestra. A partir de lo cual, se definieron ciertos criterios de representatividad:

 La selección de establecimientos fue aleatoria respondiendo proporcionalmente a.

o Tipo de dependencia o Ruralidad

o Cobertura de medición para cada una de las empresas involucradas en la entrega de la alimentación.

 La selección de 11 alumnos por nivel fue de manera aleatoria, la cual quedó bajo el alero de los directores y encargados PAEs de cada establecimiento.

9 Cifra estimada de beneficiarios PAE fue obtenida a partir de la base de datos entregada por la contraparte técnica

(14)

13 Se concibe como polietápico puesto que la selección de los casos implica distintas fases, a saber:

 Primera fase: Selección al azar de los establecimientos educacionales.

 Segunda fase: Al interior de cada establecimiento, los cursos fueron seleccionados al azar, dependiendo de si existía más de un curso por nivel (Ej.: 5°B ó 5°C).

 Tercera fase: Una vez definido el curso, se procedió a seleccionar de manera aleatoria a los alumnos que serían encuestados.

Finalmente la consideración de que el diseño muestral sea por afijación proporcional con una base de medición por establecimiento de 44 casos, implica que al determinar un mínimo de 10 a 11 encuestas por curso aproximadamente y 40 a 44 a nivel de establecimiento, permite representar aquellos casos de menor marco muestral, sin necesariamente ser representativa estadísticamente dicha medición, por tanto los hallazgos obtenidos en dichos segmentos no pueden considerarse concluyentes por el alto nivel de error (caso de regiones extremas y empresas prestadoras que tienen baja cobertura).

2. Estrategia de terreno

Revisión de la base de datos

La primera etapa consistió en revisar la base de datos de establecimientos incorporados al estudio, determinando las variables de control que nos permitieran desarrollar el estudio en terreno de la manera más fluida posible. En este caso, las variables fueron:

 N° de alumnos del segundo ciclo básico que reciben el beneficio del programas de alimentación escolar, seleccionando aquellos establecimientos que tenían más de 100 alumnos beneficiados. Este criterio se adoptó para lograr aplicar el número mínimo de encuestas por establecimiento (44 encuestas).

 Datos de contacto y dirección de los establecimientos.

 Nombre de los directores de cada uno de los establecimientos, ya que ellos entregan la autorización de ingreso al establecimiento para la ejecución del estudio.

 Ruralidad y dependencia de los establecimientos.

Preparación de la muestra

En función de la revisión de la BBDD entregada por la contraparte técnica de JUNAEB, se procedió a construir la muestra de establecimientos, entendiendo que por cada establecimiento se aplicará un total de 44 encuestas. Esta definición fue generada aleatoriamente y sufrió de algunos ajustes para resguardar el levantamiento de la información en los diferentes establecimientos, respondiendo a la distribución por ruralidad y dependencia establecida.

(15)

14 Esta muestra fue presentada a las Direcciones Regionales de JUNAEB y validada junto con ellos para gestionar los contactos con cada uno de los establecimientos seleccionados.

Nivel de contactabilidad de los establecimientos

Luego de dicha revisión y generación de la muestra, se procedió a la construcción de un protocolo de contacto con los establecimientos, en el cual se describe cómo el equipo encargado de la aplicación de las encuestas debe realizar los llamados telefónicos y presentar adecuadamente el estudio. Junto con lo anterior, se plantea al establecimiento acordar una fecha tentativa de aplicación. De esta manera, la elaboración del protocolo¹⁰ permitió el planteamiento de acciones predefinidas ante la variedad de respuestas posibles de parte de los establecimientos.

En esta etapa se definió expresamente la importancia de que el primer contacto con el establecimiento sea con el director de éste para contar con la autorización pertinente de la operacionalización de la visita o, en su defecto, referir a un contacto dentro del establecimiento que pudiera prestar la ayuda necesaria para el buen desarrollo del estudio.

Selección de niveles y alumnos

Una vez autorizado el acceso a los establecimientos para la ejecución del estudio por parte del director del establecimiento, se le solicitó que gestionara la selección de un curso por nivel y de dicho curso, escoger a 11 estudiantes, idealmente, con paridad de género.

Una vez seleccionada la muestra a encuestar dentro del establecimiento, se le solicitó al director que facilitara el acceso a una sala que permitiera la correcta aplicación de las encuestas.

Es importante recalcar que el proceso en terreno estuvo bajo la estricta supervisión de un gestor territorial de la empresa consultora y la presencia de un funcionario del establecimiento.

Capacitación del equipo de terreno

Una vez estructurado el instrumento definitivo y durante el desarrollo del proceso de contactabilidad, el equipo consultor procedió a la planificación y ejecución de la etapa de capacitación del equipo de supervisores y gestores territoriales, cuyo objetivo general se remite a obtener una comprensión cabal de la encuesta y sus objetivos, de las explicaciones contenidas en el cuestionario y del modo de completar la encuesta por parte de los

10 Anexo N° 2

(16)

15 estudiantes. Adicionalmente, se expuso la importancia y funcionalidad de la información recabada, junto con recalcar la toma de los resguardos necesarios en las preguntas y módulos de especial dificultad.

La capacitación se realizó de manera presencial y vía remota (regiones extremas), acorde a una metodología de taller u conversación activo-participativo con foco en los protocolos¹¹, la cual incluyó actividades teórico-prácticas. Asimismo, fueron estudiados los protocolos de terreno, a modo de manejar a cabalidad los procedimientos a realizar durante el desarrollo de éste. Adicionalmente, se efectuó una revisión completa de los instrumentos, en conjunto con la explicación de las condiciones de una auto-aplicación simulada dirigida, y una explicación detallada de la estrategia de terreno.

Finalmente luego de haberse efectuado la capacitación, se procedió a la etapa en terreno con la realización de la aplicación del instrumento, y posterior recolección de la información.

3. Análisis de los resultados

Habiendo definido todo el marco metodológico y la estrategia de terreno, este punto abarcará los hallazgos generales y específicos que se desprendan de la aplicación de la encuesta de satisfacción del PAE, estableciendo conclusiones preliminares y reflexiones temáticas en torno a cada una de las variables y dimensiones bajo análisis.

En primera instancia, se describirá la composición de la muestra, para luego realizar un análisis descriptivo a nivel nacional y desagregado por cada una de las variables relevantes para el estudio.

Por último, se establecerá un apartado de conclusiones en torno a cada uno de los puntos analizados, identificando fortalezas y debilidades del Programa, además de recomendaciones que permitan poder construir mayor satisfacción futura entre los alumnos beneficiarios.

3.1. Validación de la base datos

Antes de abordar los resultados de las dimensiones y variables incorporadas en el estudio, es necesario definir cuál será la base de datos definitiva. Este proceso resulta especialmente importante en la medida en que, al ser una encuesta auto-aplicada, existe la probabilidad de que no todos las variables hayan sido contestados por los estudiantes, imposibilitando el

11 Anexo N°2 y Anexo N°3.

(17)

16 cálculo de la nota global de la satisfacción del encuestado o encuestada¹², y por ende, perder sujetos de estudio.

Habiendo realizado esta aclaración, es de suma importancia definir cuáles serán los parámetros mediante los cuales se definirá un dato como válido y cuáles serán los ajustes a la fórmula de cálculo, si correspondiera.

Estos parámetros fueron definidos de la siguiente forma:

 Para las dimensiones 1 y 2, las cuales poseen un total de 5 variables cada una, se descartarán los casos con una tasa de respuesta menor a 3 variables. La nota promedio de esta dimensión se calculará mediante un promedio simple de las variables validadas.

 Para el caso de la dimensión 3, la cual posee 4 variables, la exclusión se definió a en base a una tasa de respuesta menor a 2. La nota promedio de esta dimensión se calculará mediante un promedio simple de las variables validadas.

 Para el caso de la dimensión 4, al poseer una sola variable, el criterio de exclusión se redujo a la opción de si ésta fue o no respondida.

A modo de aclaración, cabe indicar que el trabajo en terreno consideró la realización de 65 casos por sobre la muestra teórica de 5800 encuestas. El mayor número de casos realizados, se efectuó a modo de prevenir y suplir aquellos casos con información parcial.

De este modo, se aplicaron en terreno 5865 encuestas en 133 establecimientos a nivel nacional. Luego de la validación de la BBDD, la muestra efectiva fue de 5816 encuestas, es decir, 49 inválidas, con las que finalmente se procedió a realizar los análisis respectivos.

3.2. Caracterización de la muestra

Para la caracterización de la muestra, fueron incorporadas a la base de datos, diversas variables, tales como macrozona (norte, centro, sur y metropolitana), región, género, ruralidad, dependencia, licitación, tipo de alimentación, entre otros.

El objetivo de este apartado, es poder determinar a partir de la descripción de la muestra cómo están conformados cada una de las categorías y si al analizarlas, es posible generar conclusiones respecto de cada una de las dimensiones y variables bajo análisis.

12 Al existir una fórmula que calcula la satisfacción general del alumno respecto del PAE, donde cada una de las variables poseen un peso específico, es necesario que se genere el proceso de validación de dato, ya que al no considerar una variable y sacar el indicador bajo condiciones normales, el promedio baja afectando los niveles generales calculados.

(18)

17 El cálculo de los niveles de error de la muestra son importantes pues entregan la posibilidad de generar inferencia estadística, es decir, la confianza para extraer los resultados de la muestra a la población total, con niveles de representatividad adecuados que permitan comparar sus resultados con un nivel aceptable de confianza.

A continuación se presentarán de manera gráfica las principales características de la muestra:

Distribución por MACROZONA

La distribución por macro zona es la que se presenta a continuación:

Tabla 1: Distribución por Macrozona

Esta distribución es heterogénea, debido a que la muestra de los establecimientos se concentró principalmente en la región Metropolitana y en la Macrozona Centro, la cual reúne a dos regiones importantes como son la V y la VIII región. No obstante lo anterior, es posible observar en la tabla N° 1 que los errores de precisión, en todas la macro zonas, son menores al 4%, por tanto se establecen condiciones adecuadas para generar conclusiones bajo esta variable.

Distribución por SEXO

Respecto de la distribución por sexo, el comportamiento de la muestra se muestra en la siguiente tabla:

Tabla 2: Distribución por Sexo

MACROZONA Marco muestral N° de Enc. % Error

CENTRO 72154 717 12,3% 3,6%

NORTE 220578 2179 37,5% 2,1%

SUR 131186 1039 17,9% 3,0%

RM 207888 1881 32,3% 2,3%

Nacional 631806 5816 100% 1,3%

Distribución por Macrozona

SEXO N° de Enc. %

Femenino 2738 47,1%

Masculino 3052 52,5%

Sin información 26 0,4%

Nacional 5816 100%

Distribución por Sexo

(19)

18 En este caso, no fue posible obtener los marcos muestrales por sexo, pero la muestra generada entrega niveles de error de alrededor del 2% (Ley de los Grandes Números)¹³. En la Tabla N° 2 es posible observar que la muestra se comportó bajo parámetros de paridad entre hombre y mujer.

Distribución por EDAD

Respecto de la edad, la distribución es coherente con el público objetivo, debido a que las edades van desde los 10 a los 14 años en proporciones similares de encuestas (levemente más bajos en los extremos), edades que corresponden al segundo ciclo básico. La distribución por tramo de edad es la que se presenta a continuación.

Tabla 3: Distribución por Edad

Fuente. ClioDinámica

Distribución por REGIÓN

Respecto de la distribución por región, ésta se comportó de manera muy heterogénea, debido a que la muestra fue construida con afijación proporcional, es decir, el marco muestral de cada región es proporcional respecto de la muestra nacional. Por lo anterior, en regiones como Aysén y Magallanes, fueron realizadas 42 y 44 encuestas respectivamente, mientras que en la Región Metropolitana, por ser la región más importante, fueron encuestados 1881 estudiantes.

La distribución por región es la que se presenta en la siguiente tabla:

13 En la teoría de la probabilidad, bajo el término genérico de La ley de los grandes números se engloban varios teoremas que escriben el comportamiento del promedio de una sucesión de variables aleatorias conforme aumenta su número de ensayos

EDAD N° de Enc. %

10 años 790 14%

11 años 1233 21%

12 años 1367 24%

13 años 1479 25%

14 años 947 16%

Nacional 5816 100%

(20)

19 Tabla 4: Distribución por Región

Los errores de precisión que se presentan por región, no permiten generar análisis bajo esta variable, debido a que los errores en la precisión de los resultados alcanzan al 15%, los cuales se consideran como parámetros de baja confiabilidad. Indistintamente de ello, a partir de este análisis es posible describir algunos comportamientos exploratorios que pudiesen ser profundizados a futuro.

Distribución por DEPENDENCIA ADMINISTRATIVA

Otra de las variables incorporadas en la base de datos es la dependencia administrativa, en la cual se han identificado tres categorías: establecimientos de la Corporación Municipal de Educación, establecimientos municipales (DAEM) y finalmente los establecimientos particulares subvencionados.

Tabla 5: Distribución por Dependencia Administrativa

Las tres categorías referenciadas representan niveles de error estadísticos que permiten generar conclusiones relevantes para el estudio, por lo que en los siguientes puntos se presentarán los indicadores de satisfacción desagregados por esta variable.

REGION Marco muestral N° de Enc. % Error

1 10784 79 1% 10,9%

2 12376 85 1% 10,6%

3 7991 79 1% 11,0%

4 30737 306 5% 5,6%

5 65380 567 10% 4,1%

6 34208 439 8% 4,7%

7 45540 400 7% 4,9%

8 75450 773 13% 3,5%

9 49100 421 7% 4,8%

10 51621 452 8% 4,6%

11 6240 42 1% 15,1%

12 5694 44 1% 14,7%

13 207888 1881 32% 2,3%

14 18531 80 1% 10,9%

15 10266 168 3% 7,5%

Nacional 631806 5816 100% 1,3%

Distribución por Región

DEPENDENCIA Marco muestral N° de Enc. % Error

CORPORACION MUNICIPAL 121327 1443 25% 2,6%

MUNICIPAL DAEM 277375 1930 33% 2,2%

PARTICULAR SUBVENCIONADO 233104 2443 42% 2,0%

Nacional 631806 5816 100% 1,3%

(21)

20 Distribución por ÁREA GEOGRÁFICA

La ruralidad se transforma en otra variable relevante de análisis, entendiendo que los estudiantes beneficiarios del PAE de establecimientos rurales y urbanos, poseen diferentes expectativas y necesidades respecto de servicio, aspecto que es relevante de estudiar bajo la lógica de la comparación. La distribución por área geográfica es la que se presenta a continuación:

Tabla 6: Distribución por Área Geográfica

Si bien el grupo de los encuestados de establecimientos rurales posee niveles de error de un 5,3% (medianamente alto), igual serán analizados para observar exploratoriamente tendencia y diferencias con respecto a los encuestados de establecimientos urbanos.

Distribución por EMPRESA PRESTADORA

La distribución de la muestra por empresa prestadora posee un comportamiento similar a lo que sucede con las regiones, debido a las mismas razones referenciadas anteriormente. La distribución de la muestra fue generada a partir de los pesos relativos que tienen las empresas prestadoras.

La distribución y errores de precisión de la muestra por empresas prestadora, son presentadas a continuación:

AREA GEOGRÁFICA Marco muestral N° de Enc. % Error

RURAL 129195 339 6% 5,3%

URBANO 502611 5477 94% 1,3%

Nacional 631806 5816 100% 1,3%

(22)

21 Tabla 7: Distribución por Empresa Prestadora

Como se observa en la tabla anterior, existen errores de precisión importantes en algunas empresas, por lo que los resultados no serán posibles desagregarlos, lo que no implica no poder indagar según algunos resultados exploratorios.

Distribución por LICITACIÓN

El marco muestral representa a tres procesos licitatorios diferentes, los cuales serán analizados segmentadamente. La distribución de la muestra a partir de la licitación, es la que se presenta a continuación:

Tabla 8: Distribución por Licitación

PRESTADORA Marco muestral N° de Enc. % Error

ALIANZA 3263 44 0,8% 14,8%

ALICOPSA 58453 470 8,1% 4,5%

ALISERVICE SA 11751 138 2,4% 8,3%

COAN 52482 480 8,3% 4,5%

CONSERVERA OSIRIS 10868 90 1,5% 10,3%

COVENFRUT 1080 43 0,7% 14,8%

DEPARTAMENTAL 16463 204 3,5% 6,8%

DIPRALSA 69955 610 10,5% 3,9%

DISTAL 73927 556 9,6% 4,1%

FERBAS SA 23667 209 3,6% 6,8%

FOJS ALIMENTOS 4904 45 0,8% 14,6%

HENDAYA 58592 585 10,1% 4,1%

IBASA 18332 159 2,7% 7,8%

JMC 11505 89 1,5% 10,3%

LIRA FOOD 3641 84 1,4% 10,6%

LOMA VERDE 3084 41 0,7% 15,3%

LUIS CONCHA 2704 40 0,7% 15,5%

MADRES DEL SUR 4461 44 0,8% 14,8%

MBS CIA ALIMENTARIA NACIONAL 20668 203 3,5% 6,8%

NUTRIPLUS 19559 180 3,1% 7,3%

OHIGGINS 3504 43 0,7% 14,9%

PATRICIA MOREIRA 3089 45 0,8% 14,6%

RACIOSIL 27370 219 3,8% 6,6%

SAVISA 35783 271 4,7% 5,9%

SERCOMAULE 14686 119 2,0% 9,0%

SILVA GOMEZ Y CIA LTDA 3001 48 0,8% 14,2%

SOSER SA 64450 624 10,7% 3,9%

VERFRUTTI 10564 133 2,3% 8,4%

631806 5816 100% 1,3%

LICITACION N° de Enc. %

1612 1948 33%

1613 218 4%

3511 3650 63%

Nacional 5816 100%

(23)

22 Distribución por TIPO DE COCINA

Por último, se ha incorporado en el análisis el tipo de cocina que se entrega en cada uno de los establecimientos (Convencional o Cook and Chill), distribuyéndose la muestra de la siguiente manera:

Tabla 9: Distribución por Tipo de Comidas

Habiendo presentado la distribución y caracterización global de la muestra, a continuación se presentan los resultados de satisfacción del Programa de Alimentación Escolar 2013, producto de la encuesta aplicada a los alumnos del segundo ciclo.

Si bien no todas las variables permiten obtener conclusiones categóricas respecto de la satisfacción de los alumnos beneficiarios del PAE, éstas serán incorporadas en el análisis para indagar exploratoriamente en algunos comportamientos específicos de la satisfacción bajo ciertas variables.

3.3. Análisis de resultados

En el siguiente apartado se analizan los indicadores de satisfacción obtenidos para cada una de las variables y dimensiones que componen la satisfacción general del Programa de Alimentación Escolar definida para el año 2013.

Se presentarán los resultados y análisis a nivel nacional, para luego realizar análisis comparativos para cada una de las variables incorporadas en el estudio y definidas como relevantes de análisis. Específicamente se presentará la siguiente estructura analítica:

 Presentación y análisis de los indicadores de satisfacción generales.

 Indicadores de satisfacción desagregados por macrozonas , bajo la hipótesis de que los beneficiarios en cada una de las zonas geográficas poseen diferentes expectativas respecto del servicio y por ende diferentes niveles de satisfacción.

 Indicadores de satisfacción desagregados por sexo , explorando en diferencias relevantes.

TIPO DE COMIDA N° de Enc. %

CONVENCIONAL 5228 90%

COOK AND CHILL 588 10%

Nacional 5816 100%

(24)

23

 Indicadores de satisfacción desagregados por dependencia administrativa, entendiendo que las lógicas de funcionamiento y gestión de los establecimientos educacionales son diferentes y por tanto pueden existir variables, como la infraestructura disponible o el profesor encargado del programa al interior del establecimiento, que estén afectando la satisfacción.

 Indicadores de satisfacción desagregados por área geográfica, entendida como rural o urbana. Este análisis se justifica en la medida en que las expectativas y exigencias de los beneficiarios de establecimientos en las zonas urbanas son diferentes a los de establecimientos rurales, aspectos que son interesantes de analizar.

 Indicadores de satisfacción desagregados por licitación. Cada proceso licitatorio posee requerimientos y especificaciones técnicas hacia las empresas postulantes y adjudicadas que son diferentes, lo cual puede afectar positiva o negativamente algunas de las variables medidas y constituyentes de satisfacción.

 Indicadores de satisfacción desagregados por el tipo de cocina , apartado que permitirá indagar en variaciones en la percepción respecto de la variedad y calidad de las comidas que generan cada tipo de servicio, así como también en la percepción respecto del trato con las manipuladoras y el tiempo disponible para comer que disponen los estudiantes beneficiarios.

 Indicadores de satisfacción desagregados por empresa prestadora que poseen más altos niveles de satisfacción de aquellas que poseen menores niveles de satisfacción.

La importancia de este análisis radica no solo en la identificación de éstas (en algunos casos la muestra de cada empresa puede ser muy pequeña, por lo tanto los hallazgos poco concluyentes), sino que también en identificar patrones de comportamiento similares respecto de los resultados de satisfacción (grupos de empresas que poseen características similares y evaluaciones similares de satisfacción)

 Por último, se hará referencia de establecimientos con las mejores evaluaciones del PAE y su relación con las empresas prestadoras, para identificar patrones de comportamiento asociados.

(25)

24

3.3.1. Análisis nacional de los indicadores de satisfacción generales

A continuación se dará cuenta del indicador de satisfacción nacional, seguido de los indicadores de satisfacción obtenidos a nivel de cada una de las variables y sus dimensiones.

COMPORTAMIENTO GENERAL

Gráfico 1: Comportamiento del INDICE DE SATISFACCIÓN GENERAL

A partir del gráfico anterior, es posible observar que a nivel general, la satisfacción de los estudiantes del segundo ciclo básico, beneficiarios del programa de alimentación escolar (PAE), es de un 71%. Es decir, el 71% de los estudiantes encuestados se categoriza como satisfecho (nota global individual de satisfacción superior o igual a 5), mientras que el 29% de ellos, se categoriza como insatisfecho (nota menor a 5).

Si se observa la nota promedio resultante de la satisfacción, ésta se sitúa en un 5,5 y la mediana fue de un 5,65; ambas notas superiores al puntaje de corte de satisfacción.

En cuanto a la satisfacción, es posible visualizar que existen dos dimensiones antagónicas; por un lado, se encuentra la D4, la dimensión mejor evaluada, donde el 86% de los encuestados manifiestan una alta valoración del programa, la cual afecta positivamente la satisfacción calculada; por otro lado, está la D3 que representa la calidad del menú, la dimensión peor evaluada, donde dicha satisfacción baja considerablemente a un 52%. En tanto, la limpieza y presentación, como las condiciones del comedor y la atención, muestran un nivel de satisfacción cercano al general alcanzado, con un 78% y un 72% respectivamente.

5,7 5,5

4,7

6,0

5,5

D1 Limpieza y Presentación del

Servicio

D2 Condiciones del comedor y

Atención

D3 Variedad y Calidad del menú

D4 Valoración a la comida entregada

ÍNDICE DE SATISFACCIÓN

GENERAL

Promedio

-22% -28%

-48%

-14% -29%

78% 72%

52%

86%

71%

Servicio

Atención

D3 Variedad y Calidad del

menú

D4 Valoración a la comida entregada

GENERAL

Satisfecho Insatisfecho

-22% -28%

-48%

-14% -29%

78% 72%

52%

86%

71%

Servicio

Atención

D3 Variedad y Calidad del

menú

D4 Valoración a la comida entregada

GENERAL

(26)

25 Cabe señalar que al analizar las distintas dimensiones que componen el desarrollo del servicio de alimentación JUNAEB, es preciso distinguir aquellas que tienen mayor vinculación con las gestión directa de la institución ―en su rol de contratante y supervisor de las Empresas Prestadoras― de aquellas en las que se ve involucrada indirectamente, siendo de responsabilidad de los mismos establecimientos. De esta manera, se releva que la dimensión 1, referida a la limpieza y presentación del servicio de alimentación queda supeditada en mayor medida por la capacidad de las empresas prestadoras y la comunidad escolar de mantener un estándar de higiene. La dimensión referida a las condiciones del comedor remite a una responsabilidad mayor de parte del establecimiento, principalmente porque el espacio dispuesto para la comida es responsabilidad del sostenedor, mientras que las condiciones de atención son de responsabilidad directa de las empresas prestadoras, por medio de las manipuladoras. Ambas dimensiones poseen niveles de evaluación por sobre el 70%, por tanto, es necesario generar un análisis detallado para explorar cuáles debieran ser los ajustes o sugerencias que se deben incorporar para mejorar estos niveles.

Respecto de la dimensión 3, como se señaló anteriormente, JUNAEB posee una responsabilidad directa sobre todas las variables. También es importante recalcar que la evaluación de esta dimensión es altamente subjetiva. De hecho, si bien el instrumento pregunta por la calidad del menú, ésta especifica que considere el sabor, olor, presentación, cantidad, etc., lo cual engloba una multitud de factores, que quizás los estudiantes aún no son capaces de agrupar en un solo concepto. Por ende, los encuestados pueden relacionar este parámetro directamente con el sabor de las comidas, aspecto muy sensible en este segmento objetivo.

Finalmente la dimensión 4, “Valoración de la comida entrega” responde principalmente a gestión de la JUNAEB (considerando no sólo la parte operativa sino que también el factor estratégico), puesto que mide la importancia de la entrega del beneficio de la alimentación escolar para los encuestados. Por tanto, la alta valoración entregada por los estudiantes ratifica la relevancia, a nivel nacional, de la existencia de este Programa en la población escolar más vulnerable.

(27)

26 COMPORTAMIENTO POR DIMENSIONES

D1: Limpieza del comedor, utensilios y presentación personal de la manipuladora

Gráfico 2: Comportamiento del INDICE DE SATISFACCIÓN GENERAL DE LA DIMENSIÓN 1

Al medir la satisfacción de la dimensión 1, referida a la limpieza y presentación, se observa una satisfacción general del 78%, definida principalmente por la alta valoración de los utensilios, bandejas y presentación del personal manipulador de alimentos. Por su parte los elementos que manifiestan una menor satisfacción son los referidos al comedor y las sillas y mesas.

Cabe mencionar que las mejores evaluaciones de esta dimensión, responden a atributos que dependen de las empresas prestadoras. Por el contrario, los atributos que poseen peores evaluaciones son las que dependen directamente de la administración de los establecimientos a los que pertenecen los alumnos beneficiarios. Este análisis obliga a reflexionar sobre el comportamiento de la relación y compromiso entre los establecimientos subvencionados por el Estado y este programa de alimentación gubernamental, lo cual afecta directamente a los estudiantes.

Sin lugar a dudas, JUNAEB debe trabajar para lograr tener alguna decisión vinculante sobre la infraestructura física, específicamente el comedor, como por ejemplo, fortalecer los nexos con los municipios o con el MINEDUC para generar convenios y compromisos con los

5,4 5,1

5,8 6,0 5,9 5,7

Del comedor De sillas y mesas

De utensilios De las bandejas

Presentación personal de la manipuladora

LIMPIEZA Y PRESENTACIÓN

DEL SERVICIO

Promedio

-28% -32% -19% -14% -16% -22%

72% 68%

81% 86% 84%

78%

Del comedor De sillas y mesas

De utensilios De las bandejas Presentación personal de la manipuladora

LIMPIEZA Y PRESENTACIÓN

DEL SERVICIO