Estadístics total-element QMP monitors Aspectes físics i materials

In document Elaboració i validació d'un protocol per a l'avaluació de la qualitat educativa dels menjadors de parvulari (página 129-138)

Mitjana de l’escala si s’elimina l’element Variància de l’escala si s’elimina l’element Correlació element - total corregida Alfa de Cronbach si s’elimina l’element A1 7,16 3,708 ,658 ,794 A2 7,17 3,664 ,744 ,756 A3 7,80 4,027 ,544 ,843 A4 7,83 3,637 ,721 ,765

Atenent als resultats de l’alfa de Cronbach (taula 14) podem constatar que cada un dels ítems aporta consistència interna a la categoria corresponent a l’autonomia dels infants.

 Fiabilitat dels ítems corresponents a la categoria: aspectes físics i materials.

També en aquesta categoria el nombre d’ítems és de N=4. Els resultats dels estadístics de fiabilitats són de:

Alfa de Cronbach = ,087

Taula 15. Estadístics total-element QMP monitors. Aspectes físics i materials. Estadístics total - element

Mitjana de l’escala si s’elimina l’element Variància de l’escala si s‘elimina l’element Correlació element - total corregida Alfa de Cronbach si s’elimina l’element A5 7,40 1,465 ,329 -,499a A6 7,78 2,035 ,023 ,096 A7 7,84 2,334 -,016 ,145 A8 6,90 2,560 -,127 ,297

a. El valor és negatiu a causa d’una covariància mitjana entre els elements negatius, la qual cosa viola els supòsits del model de fiabilitat.

130

Atenent als resultats de l’alfa de Cronbach (taula 15), podem constatar com l’ítem A8 és el que afecta més a la consistència interna de la categoria corresponent als aspectes físics i materials; per tant, el considerarem inadequat i caldrà refer el qüestionari. Aquestes dades es corresponen amb les obtingudes en la validesa de constructe (que només s’ha pogut aplicar a la mostra de famílies), que assenyalen que els ítems A7 i A8 formen una categoria diferent.

8.1.4. FIABILITAT I VALIDACIÓ DELS QMP.ANÀLISI DELS RESULTATS

Així, doncs, un cop elaborades les proves de validació i de fiabilitat per als QMP a les famílies i als monitors concloem que:

- La validesa de contingut és satisfactòria per a tots dos QMP.

- La validesa de constructe només s’ha pogut aplicar al QMP per a les famílies

perquè la mostra de monitors era insuficient. La validesa de constructe del QMP aplicada a les famílies evidencia la possibilitat de considerar els ítems de la categoria dels espais físics i materials com a dues categories diferents (A5 i A6 per una banda i A7 i A8 per una altra). També posa de manifest la necessitat de formular de nou l’ítem A10.

- El càlcul de la fiabilitat constata que en la categoria dels aspectes físics i materials no obtenim els resultats desitjables, fet que ens porta a reformular algun ítem.

Tenint en compte els resultats obtinguts, introduirem les rectificacions escaients en el protocol d’avaluació que podran fer servir els usuaris i que incloem en l’annex final d’aquest treball.

8.2.

LA PAUTA D’OBSERVACIÓ

En aquesta fase del treball hem fet servir la metodologia observacional per validar la pauta d’observació i per respondre la pregunta, plantejada en l’estudi, referent a com sabem fins a quin punt són educatius tots els moments que els infants passen a l’escola. Des de fa unes dècades, aquesta metodologia s’ha considerat un instrument indispensable en les investigacions psicopedagògiques o de caire educatiu (Coll i

131

Onrubia, 1999). L’observació permet estudiar el comportament dels diferents organismes in situ, per la qual cosa calen instruments de registre diferents dels que caldria en un estudi experimental. Ateses les característiques multidimensionals, de simultaneïtat, immediatesa i imprevisibilitat que tenen les activitats que transcorren durant l’estona de menjador, hem elaborat una mirada selectiva i hem concretat els objectes de recerca o d’observació en les tres categories que hem anat definint al llarg de la fonamentació teòrica i que es concreten en: aspectes relacionals o de comunicació (entre monitors i infants i entre els mateixos infants), possibilitats d’autonomia durant l’estona de dinar i aspectes físics i materials. La metodologia observacional, adscrita al paradigma qualitatiu, és, doncs, la que emmarca tota la nostra recerca. Aquesta metodologia se serveix, com altres metodologies, de diferents tècniques moltes de les quals emprarem en el nostre estudi, com és el cas de la utilització d’observadors entrenats, un sistema de categories que validarem, procediments de registre rigorosos i la selecció d’una mostra que permeti validar els instruments.

Així, doncs, en aquest apartat donem resposta a l’objectiu següent:

 Elaborar i validar una pauta d’observació del funcionament educatiu dels menjadors de parvulari.

En primer lloc, exposarem les consideracions ètiques que tenim en compte a l’hora de recollir les dades per poder validar i cercar la fiabilitat d’aquest instrument. En segon lloc, explicarem com hem cercat la validesa de contingut i els resultats d’aquesta validació. En tercer lloc, desenvoluparem el procediment seguit per trobar la fiabilitat de l’instrument, així com el procés emprat en la cerca, l’ensinistrament i la fiabilitat dels observadors externs, i els resultats d’aquest procediment. Finalment, en el darrer apartat, incorporarem el contingut de la pauta d’observació dels menjadors de parvulari tal com ha quedat en la versió final.

8.2.1. CONSIDERACIONS ÈTIQUES PER A LA PAUTA D’OBSERVACIÓ

Per poder elaborar les proves de fiabilitat de la pauta d’observació, així com per recollir dades per a la posterior discussió de tot el sistema d’avaluació fem diferents

132

observacions al menjador de parvulari de les escoles. Concretament, fem una observació directa del moment del menjador que executem en qualitat d’observadors no participants i per a la qual tenim presents diferents consideracions ètiques.

D’una banda, ens assegurem que els observadors externs que participen en l’estudi respecten el principi de confidencialitat i el dret a la privacitat. Per això, cada un dels observadors signa un document de compromís56 que garanteix que no emprarà cap dada recollida per a altres finalitats que no sigui aquesta investigació, que no divulgarà el contingut de les observacions en cap mitjà o entre les diferents escoles participants. Tenim present també el principi del respecte quant a la voluntat de cada escola de participar en l’estudi o no. A més, evitem l’engany tot explicitant els objectius i finalitats de la recerca, el dret a l’autodeterminació pel que fa la possibilitat de participar-hi o no, i facilitem les dades d’identificació de l’investigador.57 Hem deixat clar a les escoles el principi de no maleficència i la voluntat explícita de no fer cap mal somàtic o físic ni psicològic o social en el decurs de les observacions, atès que no volem alterar el funcionament de l’estona del dinar ni ferir la sensibilitat de cap subjecte. En l’elecció de les escoles, s’ha tingut en compte el principi de justícia, per tal de tenir escoles de diferents titularitats, contextos i estil organitzatiu.

Finalment, també tenim present el principi de beneficència perquè manifestem el nostre compromís d’enviar un informe valoratiu a cada escola participant, de manera que aquesta el pugui fer servir per revisar, millorar o reflexionar sobre el funcionament del seu propi menjador.

8.2.2. VALIDESA DE LA PAUTA D’OBSERVACIÓ

La pauta d’observació que elaborem és un instrument de recollida de dades que ens possibilita el registre del funcionament del menjador de parvulari a partir d’una escala d’estimació i que ens serveix per a la tècnica de l’observació directa. Per a la validació

56 L’exemplar del document de compromís es troba en els annexos inclosos en el CD adjunt, p. 28. 57 El document explicatiu adreçat a les escoles es troba en els annexos inclosos en el CD adjunt, p. 4.

133

d’aquesta pauta, seguint Ruiz i Ispizua (1989), ens centrem en la validesa de contingut, que l’obtenim seguint els passos següents:

1. El primer pas ha estat l’elecció de cinc experts externs. Prat i Doval (a Lévi i Varela (dir.), 2003) consideren que la valoració per part de 5 experts és suficient i correcta. Els experts han hagut de considerar si els ítems proposats en cada categoria són bons indicadors i si els registres observacionals per a cada un dels ítems es diferencien clarament per assenyalar els diferents graus de rellevància (molt adequat, adequat, poc adequat, totalment inadequat). En l’elecció dels experts, hem tingut en compte que tots ells tinguin coneixement de l’escola d’educació infantil i/o siguin experts en recerca. A més, per evitar el biaix entre els experts, hem seguit els criteris de Balluerka (1999) de manera que siguin professionals d’edats, residència, sexe i grau d’expertesa diferents. El perfil dels experts participants és el següent:

- Experta n. 1: Mestra i psicòloga. Experta en recerca, professora de la Facultat de Psicologia, Ciències de l’Educació i de l’Esport (FPCEE) Blanquerna de Barcelona. Vicedegana dels estudis de magisteri del curs 2000-2001 al curs 2006-2007 en aquesta mateixa facultat.

- Experta n. 2: Mestra i llicenciada en Psicologia. Cap del Servei d'Educació Infantil de l'IMEB, Ajuntament de Barcelona.

- Expert n.3: Mestre. Director d’escola pública Els Pinetons de Ripollet i professor de la FPCEE Blanquerna de Barcelona.

- Experta n.4: Psicòloga dels equips d’atenció primerenca de la Comunitat de Madrid. Autora de diferents articles sobre educació infantil i del llibre

Educación infantil. Respuesta educativa a la diversidad (2005). Assessora i formadora d’equips docents.

- Experta n.5: Psicopedagoga i professora de la Universitat de Buenos Aires (UBA). Autora de la tesi doctoral Procesos de simbolización y prácticas alimentarias en la escuela defensada el 2009 a la UBA (no publicada).

134

2. El segon pas és la revisió per part dels experts de la proposta de pauta d’observació i recollir-ne les indicacions pertinents. Cada expert fa les seves observacions als ítems (si estan adscrits a la categoria corresponent, si donen peu a confusió, si la descripció que se’n fa per a cada reactiu és clarament diferenciable, etc.). Amb les observacions de tots els experts cal reenviar de nou la pauta per recollir-ne noves observacions. Aquest procés es repeteix les vegades que calgui fins que s’arribi a un consens de 5 sobre 5 per part dels experts, tot i que el consens de només 4 sobre 5 ja es consideraria vàlid. Aquest procés ens permet obtenir la validesa de contingut de la pauta d’observació (Lèvy i Varela, 2003).

3. Calendari seguit per al procés:

La primera pauta s’envia als experts el juny del 2011. Un cop rebudes les observacions per part de tots els experts s’elabora una segona pauta que s’envia el setembre del 2011. Sobre aquesta segona versió, també hi ha aportacions per part d’alguns experts, fet que provoca tornar-ne a elaborar una tercera versió, la qual es tramet als experts el novembre del 2011. Les observacions rebudes aquest cop són poques, però s’elabora una quarta versió de la pauta d’observació. Aquesta versió s’envia als experts el gener del 2012. L’acord entre experts en aquesta versió és total, amb la qual cosa donem la pauta com a vàlida.

Recollim el conjunt de les valoracions dels experts a cada versió de la pauta. Hem adjuntat cada una de les versions en els annexos del CD adjunt al treball.

- Valoracions a la pauta 1

La majoria de valoracions demanen poder conèixer aspectes que incideixen en el funcionament del menjador però que es recullen en els altres instruments, és a dir, els qüestionaris a famílies i monitors o el Pla de menjador. Troben a faltar que es pugui saber com s’informa les famílies del dia a dia del menjador, quin és el projecte educatiu dels monitors de menjador durant l’estona de dinar i en quina mesura els infants poden decidir en alguns dels aspectes de la gestió de l’estona del dinar. Els experts coincideixen a indicar la necessitat de saber, a priori, per què s’ha posat cada categoria i la seva relació amb la qualitat educativa dels menjadors escolars (informació que

135

s’envia conjuntament amb la segona versió de la pauta). També es fan observacions sobre el grau d’especificació d’alguns ítems i la conveniència o no d’incloure’n algun, com ara l’ambientació. En general, recomanen la necessitat de concretar millor els missatges, obviant aquelles paraules que poden donar peu a equívocs (bastants, alguns...). Se suggereix incloure variables o ítems sobre l’organització dels temps, què es fa amb els infants que acaben aviat de dinar, modificar el nombre de comensals que considerem adequat que coincideixin durant l’àpat i el clima general. Es recomana, també, ampliar la categoria de comunicació entre infant i adult amb altres aspectes que tenen a veure amb la interacció (resposta a les demandes, tipus de comunicació verbal, comunicació no verbal) i que es tingui en compte, des dels ítems, de quina manera es dóna resposta a la diversitat. Així mateix, se suggereix prioritzar els aspectes educatius i, per tant, canviar l’ordre de les categories en la pauta, incloure la conversa entre infants (si es possibilita o no) i evitar la repetició d’alguns aspectes que surten en més d’un ítem.

En aquesta primera revisió tots els experts han fet aportacions.

- Valoracions a la pauta 2

Els experts continuen demanant que s’especifiqui encara més el grau d’adequació d’alguns ítems. Les observacions indiquen que cal modificar o ajustar el grau d’adequació dels ítems que fan referència a les possibilitats d’agrupació, el parament i desparament de taula, la utilització dels coberts i l’autoservei del menjar. També es demana que quan hi ha més d’una opció dins un mateix grau d’adequació es concreti si hi ha d’anar “o” o bé “i”, segons si es tracta d’una opció excloent o incloent.

En la segona versió rebem la conformitat de part de dos dels experts.

- Valoracions a la pauta 3

Encara es demana de fer algunes concrecions en l’ítem del manteniment de l’espai. Es recorda que cal evitar que surtin definicions idèntiques o molt semblants entre els graus d’adequació d’un mateix ítem. S’incideix encara en la conveniència que quedin ben definides, en la mateixa pauta, les diferències entre els graus d’adequació per tal de no donar peu a falses valoracions o dubtes per part dels observadors.

136

En aquesta tercera versió aconseguim ja l’acord de tres dels experts.

- Valoracions a la pauta 4

Rebem l’acord de tots els experts per a aquesta pauta. Per tant, considerant que l’acord és de 5 sobre 5 aquesta serà la pauta que donem per definitiva.58

8.2.3. FIABILITAT DE LA PAUTA D’OBSERVACIÓ

Per poder dur a terme la prova de fiabilitat d’aquest instrument, ens ha calgut anar a observar el menjador d’una escola i cercar la fiabilitat entre observadors. És dir, cal veure en quina mesura la mateixa pauta dóna el mateix resultat quan l’apliquen observadors diferents i, també, s’ha de cercar la fiabilitat intraobservadors, és a dir, si es mesura el mateix quan l’instrument el passa diferents vegades el mateix observador.

Per la naturalesa del nostre estudi i, sobretot, per evitar el biaix que pugui produir l’investigador sobre les observacions que s’han de fer, hem escollit observadors externs (Anguera, 1993), tot i que nosaltres també actuarem com a observadors. El fet de garantir la fiabilitat entre observadors ens certificarà que qualsevol dels tres pot dur a terme les observacions no participants a les escoles.

El participant per fer la prova de la fiabilitat ha estat el menjador d’una escola pública, d’una línia i de gestió indirecta dels monitors de menjador.

Per a l’anàlisi de dades, utilitzarem el paquet informàtic SPSS versió 21 (Chicago, Illinois, USA), les aplicacions del SPSS, ja que permeten calcular de manera automàtica els graus de concordança.

8.2.3.1. ELS OBSERVADORS EXTERNS

En aquest apartat, desenvoluparem quin ha estat el procés de selecció dels observadors externs, la formació que han seguit i el procés de cerca de la fiabilitat interobservadors i intraobservadors. Les persones que s’han ofert per elaborar les observacions externes

137

han estat dues noies. Aquests observadors s’han format en el que era necessari sobre menjadors de parvulari i han tingut l’ensinistrament adient per a l’elaboració de les tècniques observacionals que ens ocupen. Ni durant la formació ni en el procés de comprovació del grau de fiabilitat i validesa d’aquests observadors, no els hem donat a conèixer els objectius del nostre estudi; d’aquesta manera hem evitat possibles expectatives.

a) La formació dels observadors externs

La selecció dels observadors ha estat determinada per la disponibilitat per part de la Clara, estudiant del màster en Lideratge de la transformació socioeducativa. Pedagogia Social, interessada en el tema i amb experiència com a mestra d’educació infantil i, també, per la predisposició d’una altra persona, la Laura, amb una beca de tasca a la Facultat, membre del grup de recerca PSICOPERSONA de la FPCEE Blanquerna, llicenciada en psicologia i sense experiència en l’escola infantil. Creiem molt convenient que almenys un dels observadors no tingui cap experiència en educació infantil ja que això comporta que la formació prèvia impliqui compartir molts significats i aporti una mirada més crítica o menys contaminada sobre les experiències professionals específiques en educació infantil. Volem assenyalar que la participació en l’estudi ha estat totalment voluntària i que no han rebut cap mena de contraprestació per a la tasca duta a terme més enllà d’enriquir la seva pròpia formació i ampliar camps de coneixement.

En les investigacions que fan referència al comportament humà, es requereix que les persones que fan les observacions tinguin un coneixement competent sobre el comportament que cal observar (Buendía, Colás i Hernández, 1998). Per poder garantir aquest coneixement, s’ha elaborat un pla de formació per als dos observadors. Aquest pla s’ha elaborat a partir de diferents materials i exercicis, i segueix el protocol que exposem a continuació.

En la primera reunió tractem la formació teòrica, expliquem el procés que s’ha de seguir, la naturalesa de la recerca, els condicionants ètics, la naturalesa de la mostra i els conceptes clau del marc teòric. Donem, com a material de lectura prèvia a la segona sessió, el llibre Viure l’escola (Ritscher i Staccioli, 2006).

138

La segona sessió pretén compartir el marc teòric a partir de:

- La visualització d’un menjador de parvulari. Observem el cas pràctic inclòs en el DVD del llibre citat anteriorment, amb èmfasi especial en els tres eixos de la tesi: aspectes físics i materials, la comunicació entre infants i entre monitors i infants i les possibilitats d’autonomia de les criatures durant l’estona de dinar.

- Analitzar i comentar la versió definitiva de la pauta d’observació del menjador per tal de compartir significats.

- Dur a terme una observació. Apliquem la pauta d’observació a partir del visionat del vídeo del menjador de parvulari comentat anteriorment. Cal compartir les observacions fetes.

b) La concordança interobservadors i intraobservadors

Per comprovar la concordança hem escollit una escola (pública, d’una sola línia, de gestió indirecta)on anem durant tres setmanes consecutives, sempre el mateix dia de la setmana, el dimarts. D’aquesta manera evitem que sigui el primer dia o el darrer de la setmana i en una època que defugi els períodes d’adaptació, festes i celebracions importants de l’escola, cosa que podria alterar el funcionament quotidià de les estones dels àpats dels infants de 3, 4 i 5 anys. Aquesta escola només ha participat en aquesta fase de l’estudi, no s’ha inclòs en la mostra escollida per fer-hi les observacions o recollir dades de les famílies i monitors de menjadors.

In document Elaboració i validació d'un protocol per a l'avaluació de la qualitat educativa dels menjadors de parvulari (página 129-138)