w w w . e l s e v i e r . e s / p s e d
Psicología
Educativa
Evaluar
el
bullying
y
el
cyberbullying
validación
espa ˜
nola
del
EBIP-Q
y
del
ECIP-Q
Rosario
Ortega-Ruiz
a,b,
Rosario
Del
Rey
cy
José
A.
Casas
a,∗aUniversidaddeCórdoba,Espa˜na bUniversityofGreenwich,ReinoUnido cUniversidaddeSevilla,Espa˜na
i n f o r m a c i ó n
d e l
a r t í c u l o
Historiadelartículo:Recibidoel25denoviembrede2015 Aceptadoel22deenerode2016 On-lineel16demarzode2016 Palabrasclave: Bullying cyberbullying Validación Cuestionarios
r
e
s
u
m
e
n
Elbullyingesunfenómenodeagresióninjustificadaqueactualmentesucedeendosformatos:caraa caraycomounaconductaqueserealizaatravésdedispositivosdigitales(cyberbullying).Ampliamente estudiadotantoelprimerocomoelsegundo,haysinembargoescasoconocimientosobrela homoge-neidaddeambosproblemasynodisponemosdeinstrumentosdemedidaquepermitanvalorarlasdos dimensionesdelfenómeno:laagresiónylaciberagresión,lavictimizaciónylacibervictimización.Este trabajopresentalavalidacióndelEuropeanBullyingInterventionProjectQuestionnaireydelEuropean CyberbullyingInterventionProjectQuestionnaire,queevalúanlaimplicaciónenbullyingyen cyberbu-llying,respectivamente.Ambossehanadministradoa792estudiantesdesecundariaysehanobtenido unosbuenosresultadosdeajusteypropiedadespsicométricas.Larealizacióndeunmodelode ecua-cionesestructuraleshaevaluadolaconcurrenciayrelacionesentreambosfenómenos,encontrandola influenciadelbullyingsobreelcyberbullying,peronoalcontrario.Estosresultadosmuestranla idonei-daddeambosinstrumentosparaevaluardeformaconjuntabullyingycyberbullying,dadasuimportante relaciónysimilitud,loquelosconviertenenbuenasherramientasparalaintervenciónpsicoeducativa destinadaapreveniryreducirambosfenómenos.
©2016ColegioOficialdePsicólogosdeMadrid.PublicadoporElsevierEspaña,S.L.U.Esteesun artículoOpenAccessbajolalicenciaCCBY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).
Assessing
bullying
and
cyberbullying:
Spanish
validation
of
EBIPQ
and
ECIPQ
Keywords: Bullying Cyberbullying Validation Questionnaires
a
b
s
t
r
a
c
t
Bullyingisaphenomenonofunjustifiedaggressionwhichactuallytakesplaceintwoformats:faceto faceandasabehaviorthatiscarriedoutthroughdigitaldevices(cyberbullying).Bothhavebeenwidely studied,thoughcurrentlythereislittleknowledgeaboutthehomogeneityofbothphenomenaandwedo nothavemeasuringinstrumentsforevaluatingtheirtwodimensions:aggressionandcyber-aggression, victimizationandcyber-victimization.ThispaperpresentsthevalidationoftheEuropeanBullying Inter-ventionProjectQuestionnaireandtheEuropeanCyberbullyingInterventionProjectQuestionnaire,that assessrespectivelytheinvolvementinbullyingandcyberbullying.Bothhavebeenadministeredto792 highschoolstudentsandhaveachievedgoodfitandgoodpsychometricproperties.Theuseofa structu-ralequationsmodellinghasallowedustoevaluatetheconcurrenceandtherelationsbetweenthetwo phenomena,findingtheinfluenceofbullyingoncyberbullying,butnotviceversa.Theseresultsshowthe suitabilityofthetwoinstrumentstoassesstogetherbullyingandcyberbullying,giventheirimportant relationshipandsimilarity,whichmakesthemgoodtoolsforeducationalinterventiontopreventand reducebothphenomena.
©2016ColegioOficialdePsicólogosdeMadrid.PublishedbyElsevierEspaña,S.L.U.Thisisanopen accessarticleundertheCCBY-NC-NDlicense(http://creativecommons.org/licenses/by-nc-nd/4.0/).
∗Autorparacorrespondencia.FacultadCienciasdelaEducación.Avda.SanAlberto
Magno,S/N.14004Córdoba.
Correoelectrónico:[email protected](J.A.Casas).
La investigación sobre el bullying, conocido en el contexto espa ˜nol como acoso escolar, no ha dejado de crecer desde que fue identificado en la década de los a ˜nos 70 del pasado siglo(Zych, Ortega-RuizyDel Rey,2015).Harecibidoatención
http://dx.doi.org/10.1016/j.pse.2016.01.004
1135-755X/©2016 ColegioOficialdePsicólogosdeMadrid.PublicadoporElsevierEspaña,S.L.U. EsteesunartículoOpen AccessbajolalicenciaCCBY-NC-ND (http://creativecommons.org/licenses/by-nc-nd/4.0/).
científicadesdediferentesaproximacionesteóricasy metodológi-casenlasquesefocalizaalgúnelementodelfenómeno(Kowalski,
Giumetti,SchroederyLattanner,2014).Apesardeello,existecierta
unanimidadensudelimitaciónconceptual.Así,seasumequeel
bullyingesunfenómenodeagresiónintencionaldeunoounos sobreotrouotrosdeformareiteradaymantenidaeneltiempo, enlaqueexistedesequilibriodepoderentre quienagredeyes agredido,lavíctima(Olweus,1993),definiciónenlaquese des-tacantrescriterios fundamentales:(1)la intencionalidad,(2) la reiteracióny(3)eldesequilibriodepoder.Adicionalmente,sehan hechoaportacionesqueconcretanocomplementanciertos aspec-tosdelfenómeno(Kalliotis,2000;Smith,PepleryRigby,2004).A esterespecto,Ortega(1998,2010)incluyóladimensiónética(4), enelsentidodeconsiderarelacosoescolarcomouna conducta detransgresiónmoral,enlamedidaenquetantoelagresorcomo losobservadoresdirectosdelfenómenoloreconocencomouna conductainmoraleinjusta.
Elbullyingesunfenómenogrupalquenodebeentendersesolo comounaconductaagresiva.Enestesentido,Salmivalli,Lagerspetz,
Björkqvist,ÖstermanyKaukiainen(1996)describieronla
estruc-turasocial departicipación enel senodelbullying,incluyendo, ademásdelosrolestradicionalesdevíctima,agresorydoblerol
(OrtegayMora-Merchán,2000),unadiversidadderolesentrelos
espectadoresquepermitecomprenderelacosoentreigualescomo unfenómenodelamicroculturaescolaryjuvenil.
A partir de las características previamente definidas, el bu-llyinghasidoampliamenteinvestigadoutilizandoinstrumentosde medidaqueprovienendeloriginal,OlweusBullyingVictimization Questionnaire–OBVQ(Olweus,1996),delquesepuededecirque hasidofuentedeinspiracióndeotrasmedidasconlasqueseha buscadolaprevalenciadelmismo(CraigyPepler,2007;Salmivalli etal.,1996).Sinembargo,hastalafechanoexistelacertezadeque seaninstrumentosconsistentesyválidosenlasdosdimensiones quecomponenlasconductasdelbullying:laagresiónyla victimi-zación(GreifyFurlong,2006). Dehecho,elpropiocuestionario OBVQ, validadoconbuenos resultadosen unprimer momento, harecibidocríticasdeserpocoriguroso(Kyriakides,Kaloyirouy
Lindsay,2006),yaquepresentaciertaslimitacionesconmuestras
amplias(Chen,LiuyCheng,2012)yconsuvalidezparaevaluarla dimensióndelaconductaagresiva(Green,Felix,Sharkey,Furlong
yKras,2013).Dehecho,sesabequeelbullyingesunfenómeno
grupal,quenodeberíasoloversecomocomportamientoagresivo. EnesesentidoSalmivalli etal.(1996)describieronlaestructura socialdelaparticipaciónenelbullying,quecomprende,amende losrolestradicionalesdevíctimayelroldobledeacosador(Ortega
yMora-Merchán,2000),una variedaddefunciones enlos
testi-gos,paraexplicarelacosodecompa ˜neroscomounfenómenodela microculturaescolaryjuvenil.Confrecuencia,parasolventarestas dificultades,sehaoptadoporfocalizarlosinstrumentosenuno delosrolesdeimplicación,centrandolosestudioslamayoríade lasvecesenlasvíctimasyenotroscasosenlos agresores,pero porseparado(BettencourtyFarrell,2013;YangySalmivalli,2013). Estafocalizacióndisminuyealgunosdelosproblemas procedimen-tales,peropodríadecirsequenoindagaenelfenómenoensí,es decir,laconductadeagresióninjustificadaenuncontextoenel quelavíctimasepercibeasímismacomoagredidayvictimizada oda ˜nadaporotro,sinquesepuedahablardequesetratenide unconflicto,nideunapelea.EspelageySwearer(2008)se ˜nalan, enconsonanciaconGreenetal.(2013),quelosinstrumentos des-arrolladoshastalafechapresentanmuchosproblemasysonpoco fiablesrespectoalaagresión.Peronosólo,porquetambién exis-tenevidenciasdelanecesidaddequelosinstrumentosincorporen másformasdeagresiónyvictimizaciónquelasexploradashasta lafecha(Haataja, Sainio,TurtonenySalmivalli, 2015).Esdecir, actualmentepodemosasumirqueelacosoescolaresunfenómeno bienconocido(Smithetal.,2004;Zychetal.,2015),perosiguen
abiertosimportantesinterrogantesderivadosdelos procedimien-tosdemedida.
Porotrolado,seríanecesarioincluirademásdelbullyingfísico yverbal los dosprototiposmás fácilmentereconocibles,el bu-llying psicológico yel relacional (Furlong et al., 2005; Olweus, 1993).Porotrolado,esnecesarioanalizarelbullyingrealizadoa travésdeInternety,engeneral,losdispositivosdigitalesdetan ampliousoporlosadolescentesyjóvenesyqueesreconocidocomo
cyberbullying ociberacoso(Casas, Del Rey yOrtega-Ruiz, 2013;
Slonje,SmithyFrisén,2013;Tokunaga,2010).Elciberacoso
man-tienealgunasdelascuatrocaracterísticasquedefinenelbullying, aunquetienecaracterísticasidiosincráticas,comolaposibilidadde realizarunataqueencualquiermomentoylugar,eldenominado 24/7,laposibilidaddeanonimato,lapotencialidaddeunamayor audienciaolasuplantacióndeidentidadcomounaformadecausar graveda ˜nomoral(Gradinger,StrohmeierySpiel,2010;Nocentini
etal.,2010;Spears,Slee,OwensyJohnson,2009).Dichas
caracterís-ticaspermitenunaseriedeaccionesdistintasalasdelbullying tradi-cional,comoelenvíodemensajesofensivos,groseroso amenazan-tesatravésdemedioselectrónicos,difusiónderumoresenlared, revelacióndeinformaciónpersonalprivada,publicacióny exposi-cióndefotosindignasoembarazosas,exclusióndelacomunicación enlíneaosuplantacióndelaidentidadvirtual(Perrenetal.,2012). Lasinvestigacionesrecienteshanmostradounacierta superpo-siciónentrebullyingycyberbullying,yaquelosjóvenesqueestán siendoacosadosenlavidarealtiendenaserintimidadostambién a travésde los dispositivosdigitales conlos quese comunican
(Dooley, Pyzalskiy Cross,2009; Elledgeetal., 2013;Gradinger,
StrohmeierySpiel,2009;Rey,ElipeyOrtega-Ruiz,2012).Dehecho,
sehademostradoqueensuconformaciónintervienenmúltiples variables,loquecomplicalainvestigaciónsobrecyberbullyingy,por tanto,eldesarrollodeinstrumentosválidosparaestudiarlo(Ybarra,
MitchellyKorchmaros,2011).Estadificultadsepuedeobservaren
estudiosquesecentraneneldesarrollodeinstrumentosdemedida exclusivamenteenlaagresiónonlineuotrosqueabordanla victi-mización(Calvete,Orue,Estévez,VillardónyPadilla,2010;Law,
Shapka,DomeneyGagné,2012;Tynes, RoseyWilliams,2010),
reduciendolasvariablesatenerencuentayparcelandoelobjetode estudio(Dempsey,Sulkowski,NicholsyStorch,2009).Parecepues necesarioeldise ˜noyvalidacióndeinstrumentosqueevalúentanto elacosocomoelciberacosoyque permitanademásdeconocer suprevalenciaysuposiblecambiotrasintervenciones psicoedu-cativas,analizandolasrelacioneslatentesentreambosfenómenos
(Casasetal.,2013;Perrenetal.,2012).Porello,lainvestigaciónque
sepresentatienecomoobjetivoprincipaleldesarrolloyvalidación dedosinstrumentos,unosobrebullyingyotrosobrecyberbullying, queintegranlasdosprincipalesdimensionesdelosfenómenos,la (ciber)victimizacióny(ciber)agresión.Unsegundoobjetivodeeste trabajoesanalizarlarelaciónentrelaimplicaciónenunoyotro fenómeno,indagaciónqueesperamosmuestreconmásdetalleel solapamientodeambosproblemas.
Método
Participantes
La muestra utilizada fue de 792 estudiantes (46.1% chicas) conedadescomprendidasentredoceydiecinuevea ˜nos(M=13.8,
DT=1.47)yescolarizadosentrelos cursos1◦ y4◦ deeducación secundariaobligatoriadeunas40clasesdiferentesen3centros deeducaciónsecundaria.
Instrumentos
SeutilizóelEuropeanBullyingInterventionProject Question-naire,elaboradoporBrighietal.,2012,queestácompuestopor14
ítems,7quedescribenaspectosrelacionadosconlavictimizacióny 7encorrespondenciaconlaagresión.Paraambasdimensioneslos ítemshacenreferenciaaaccionescomogolpear,insultar, amena-zar,robar,decirpalabrasmalsonantes,excluirodifundirrumores. Todoslosítemstienenundise ˜notipoLikert,conunapuntuación entre0 y4, donde0significanuncay4siempre,referidos aun intervalodetiempodelosúltimosdosmeses.
Latraduccióndelinstrumentooriginaldelinglésalcastellanose realizóentresfases.Enprimerlugar,unapersonabilingüetradujo losítemsdelinglésalcastellano.Posteriormente,otroinvestigador bilingüerealizólatraduccióninversa.Finalmente,unconjuntode expertosenlatemáticarevisaronambostrabajosytomaronlas decisionespertinentes.
Paraevaluarlaposibleimplicaciónenciberacososehautilizado laversiónespa ˜noladelEuropeanCyberbullyingIntervention Pro-jectQuestionnaire(ECIPQ)(DelReyetal.,2015)de22ítemstipo Likertdecincoopcionesderespuesta,conunapuntuaciónentre 0y4,donde0significanuncay4siempre.Constadedos dimen-siones:cibervictimizaciónyciberagresión,conbuenosíndicesde fiabilidad(␣total=.87,␣victimización=.80,␣agresión=.88).Para ambasdimensioneslosítemshacenreferenciaa accionescomo decirpalabrasmalsonantes,excluirodifundirrumores,suplantar laidentidad,etc.,todosellosenmedioselectrónicosyreferidosa unintervalodetiempodelosúltimosdosmeses.
Procedimientoyanálisisdelosdatos
Seseleccionaronloscentrosmedianteunmuestreo intencio-nalporaccesibilidadysecontactóconloscentrosparainvitarles aparticiparenelestudio.Unavezaceptadalainvitaciónse reali-zaronentrevistasconlosequiposdirectivosdevarioscentrosdela ciudaddeCórdobaparatrasladarlesnuestraintenciónderealizar unestudiosobreelfenómenodelacosoescolarobullyingysobreel
cyberbullying,Larecogidadedatosserealizóporpersonaldelgrupo deinvestigación.Trasexplicaralosalumnoscómocumplimentar elcuestionario,suadministraciónfueindividualyduróunmáximo de15minutos.Serecogieronelmismodíaparasuposterioranálisis delosdatos.
Encuantoalosanálisisestadísticosrealizadosparaalcanzarel objetivodeesteestudiosehanempleadoanálisisfactoriales confir-matorios(AFC)parasometeracontrastelasestructurasfactoriales delosdosinstrumentos,asícomolarealizacióndeunmodelode ecuaciónestructuralparacontrastarlarelacióneinfluenciaentre losdos fenómenosestudiados.Paratodo ellofuerontenidasen cuentalasrecomendacionesdeHuyBentler(1999),enlascuales unmodeloajustaadecuadamentealosdatosobservadoscuandoel estadísticochi-cuadradoencomparaciónconsusgradosde liber-tad presenta una ratio inferior a cinco, así comoRMSEA (Root MeanSquareErrorofApproximation),SRMR(StandardizedRoot
MeanSquareResidual),cuyosvaloresrecomendablesson<.08,los índicesNNFI(Non-NormedFitIndex),IFI(IncrementalFitIndex)y CFI(ComparativeFitIndex),cuyosvaloresrecomendablesson>.95
(JöreskogySörbom,1993).Comométododeestimaciónseutilizó
eldemáximaverosimilitudrobusta, quepermiteutilizar corre-lacionespolicóricas,cuyousoesmásidóneoenvariablesconlas característicasse ˜naladasdealtosíndicesdenormalidadycurtosis multivarianteyconunaclaranaturalezaordinal(FlorayCurran,
2004).
Lafiabilidaddelasdimensionesdelosmodelosydeltotalde cada una delastres estructurasfactoriales propuestas también fueronexaminadasmedianteelcálculodelalfadeChronbach.
Losprogramasinformáticosutilizadospararealizarlosanálisis mencionadosfueronelSPSS18paralosanálisisdefiabilidadyla versión6.1delprogramaestadísticoEQSparalosanálisisfactoriales confirmatorios.
Resultados
EnprimerlugarsehadesarrolladoelAFCdelaescaladebullying, paralocualsehanrealizadolosanálisisestadísticosdescriptivos básicos(vertabla1),ysehacalculadoelcoeficientedeMardiade 472.76,queindicalaausenciadenormalidadycurtosis multiva-riante.Deestaforma,sehaempleadoelmétodorobustodemáxima verosimilitud
Sehacalculadolamatrizdecorrelacionespolicóricas,con corre-lacionesqueoscilanentreel.72y.21(vertabla2).
Lasoluciónfactorialmásadecuada(verfig.1)muestrados fac-torescorrelacionadosconunajusteóptimo,unosíndicesdeajuste convaloresde 2 de SatorraBentler=270.11,p=.00, NNFI=.95,
CFI=.96,IFI=.96,RMSEA=.05ySRMR=.06
Ensegundo lugar se hanrealizadolos análisissobre el ins-trumento decyberbullying.Así,sehancalculadolos estadísticos descriptivos de los ítems que componen el cuestionario (ver
tabla3).
PosteriormentesehacalculadoelcoeficientedeMardia, obte-niendounvalorde2876.64,queindicanuevamentelaausencia denormalidadycurtosismultivariante,porloquetambiénseha empleadoelmétodorobustodemáximaverosimilitud.Seha cal-culadolamatrizdecorrelacionespolicóricas,concorrelacionesque oscilanentreel.89y.31(vertabla4).
Lasoluciónfactorial hallada(verfig.2)replicalaencontrada
porDelReyetal.(2015)enunamuestraeuropea,condos
facto-rescorrelacionadosconunajusteóptimo,unosíndicesdeajuste convaloresde 2 de SatorraBentler=495.93,p=.00, NNFI=.98,
CFI=.98,IFI=.98,RMSEA=.042ySRMR=.065
Porúltimo,seharealizadounmodelodeecuaciónestructural enrelaciónconelsegundoobjetivodeestainvestigación,la rela-ciónentrelaimplicaciónenunoyotrofenómeno.Paratalfinse
Tabla1
Estadísticosdescriptivosdelosítemsdelaescaladebullying
Ítemsdelcuestionario M SD Skew Kurt
VB1.Alguienmehagolpeado,mehapateadoomehaempujado 0.30 0.72 3.12 10.87
VB2.Alguienmehainsultado 0.96 1.20 1.41 1.07
VB3.Alguienlehadichoaotraspersonaspalabrasmalsonantessobremi 0.81 1.11 1.56 1.72
VB4.Alguienmehaamenazado 0.19 0.59 4.03 18.71
VB5.Alguienmeharobadoorotomiscosas 0.23 0.60 3.43 14.35
VB6.Hesidoexcluidooignoradoporotraspersonas 0.36 0.85 2.96 8.83
VB7.Alguienhadifundidorumoressobremi 0.54 0.89 2.11 4.56
AB1.Hegolpeado,pateadooempujadoaalguien 0.26 0.65 3.37 13.55
AB2.Heinsultadoyhedichopalabrasmalsonantesaalguien 0.63 0.95 2.07 4.38
AB3.Hedichoaotraspersonaspalabrasmalsonantessobrealguien 0.37 0.77 2.75 8.53
AB4.Heamenazadoaalguien 0.10 0.42 5.35 35.75
AB5.Herobadooheestropeadoalgodealguien 0.05 0.31 8.86 96.04
AB6.Heexcluidooignoradoaalguien 0.23 0.56 3.50 16.38
Tabla2
Matrizdecorrelacionespolicóricasentrelosítemsdelaescaladebullying
VB1 VB2 VB3 VB4 VB5 VB6 VB7 AB1 AB2 AB3 AB4 AB5 AB6 AB7
VB1 1 VB2 .61 1 VB3 .45 .67 1 VB4 .60 .65 .60 1 VB5 .58 .52 .50 .53 1 VB6 .50 .54 .59 .54 .50 1 VB7 .33 .50 .70 .52 .47 .53 1 AB1 .44 .33 .22 .26 .26 .19 .20 1 AB2 .33 .50 .41 .26 .20 .25 .28 .63 1 AB3 .22 .33 .44 .25 .17 .32 .38 .48 .67 1 AB4 .22 .31 .24 .36 .25 .21 .25 .72 .56 .57 1 AB5 .48 .36 .31 .37 .45 .35 .28 .66 .55 .57 .69 1 AB6 .26 .27 .28 .25 .25 .39 .32 .31 .48 .52 .50 .60 1 AB7 .32 .30 .31 .34 .31 .32 .35 .53 .52 .57 .52 .62 .59 1 AB AB1 AB2 AB3 AB4 AB5 AB6 AB7 .76 .73 .66 .84 .80 .74 .75 .55 VB VB1 VB2 VB3 VB4 VB5 VB6 VB7 .69 .70 .72 .68 .78 .80 .81
Figura1.Soluciónfactorialmásadecuadadelaescaladebullying. Tabla3
Estadísticosdescriptivosdellosítemsdelaescaladecyberbullying
Itemsdelcuestionario M SD Skew Kurt
CybV1AlguienmehadichopalabrasmalsonantesomehainsultadousandoelemailoSMS. 0.18 0.57 4.32 22.46
CybV2AlguienhadichoaotrospalabrasmalsonantessobremíusandointernetoSMS. 0.22 0.62 3.68 16.04
CybV3AlguienmehaamenazadoatravésdemensajeseninternetoSMS. 0.11 0.46 5.50 35.27
CybV4Alguienhapirateadomicuentadecorreoyhasacadomiinformaciónpersonal. 0.06 0.33 7.63 75.14
CybV5Alguienhapirateadomicuentaysehahechopasarpormi 0.11 0.36 4.39 28.22
CybV6Alguienhacreadounacuentafalsaparahacersepasarpormí. 0.02 0.22 10.70 145.72
CybV7Alguienhacolgadoinformaciónpersonalsobremíeninternet. 0.06 0.41 7.60 63.34
CybV8Alguienhacolgadovideosofotoscomprometidasmíaseninternet. 0.05 0.28 6.96 68.03
CybV9Alguienharetocadofotosmíasqueyohabíacolgadoeninternet. 0.10 0.41 5.38 37.55
CybV10Hesidoexcluidooignoradodeunaredsocialodechat. 0.06 0.36 7.48 64.24
CybV11Alguienhadifundidorumoressobremíporinternet. 0.13 0.49 5.04 30.52
CybB1HedichopalabrasmalsonantesaalguienoleheinsultadousandoSMSomensajeseninternet. 0.12 0.44 5.05 33.02 CybB2HedichopalabrasmalsonantessobrealguienaotraspersonasenmensajesporinternetoporSMS 0.11 0.44 5.57 38.54
CybB3HeamenazadoaalguienatravésdeSMSomensajeseninternet. 0.04 0.29 9.40 106.49
CybB4Hepirateadolacuentadecorreodealguienyherobadosuinformaciónpersonal. 0.05 0.36 8.15 72.93
CybB5Hepirateadolacuentadealguienymehehechopasarporél/ella. 0.04 0.32 9.28 98.11
CybB6Hecreadounacuentafalsaparahacermepasarporotrapersona. 0.04 0.33 9.49 99.75
CybB7Hecolgadoinformaciónpersonaldealguieneninternet. 0.03 0.30 9.79 104.56
CybB8Hecolgadovideosofotoscomprometidasdealguieneninternet. 0.02 0.20 12.80 197.08
CybB9Heretocadofotosovideosdealguienqueestabancolgadoseninternet. 0.07 0.40 7.43 62.31
CybB10Heexcluidooignoradoaalguienenunaredsocialochat. 0.14 0.53 5.02 29.02
Tabla4
Matrizdecorrelacionespolicóricasdelaescaladecyberbullying
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 1.CybV1 1 2.CybV2 .71 1 3.CybV3 .74 .68 1 4.CybV4 .51 .45 .61 1 5.CybV5 .45 .46 .52 .83 1 6.CybV6 .58 .48 .57 .73 .82 1 7.CybV7 .53 .46 .48 .58 .53 .74 1 8.CybV8 .47 .37 .48 .51 .47 .72 .76 1 9.CybV9 .46 .54 .51 .43 .50 .57 .62 .72 1 10.CybV10 .50 .53 .58 .58 .62 .70 .66 .65 .67 1 11.CybV11 .62 .71 .68 .63 .57 .66 .70 .64 .57 .68 1 12.CybB1 .58 .47 .52 .46 .41 .58 .51 .47 .48 .43 .46 1 13.CybB2 .53 .62 .53 .49 .45 .57 .54 .47 .55 .56 .62 .78 1 14.CybB3 .59 .53 .63 .66 .59 .72 .66 .63 .60 .68 .61 .79 .78 1 15.CybB4 .48 .47 .50 .55 .57 .66 .60 .62 .56 .69 .61 .71 .73 .80 1 16.CybB5 .50 .44 .50 .55 .61 .71 .60 .65 .57 .64 .60 .68 .72 .80 .89 1 17.CybB6 .44 .47 .50 .61 .61 .71 .62 .63 .61 .70 .52 .61 .69 .74 .79 .84 1 18.CybB7 .44 .44 .54 .62 .58 .72 .72 .70 .70 .66 .54 .57 .64 .76 .76 .76 .79 1 19.CybB8 .63 .66 .64 .68 .72 .74 .69 .72 .74 .70 .72 .75 .75 .82 .84 .84 .78 .84 1 20.CybB9 .41 .55 .45 .51 .49 .67 .61 .64 .80 .64 .51 .59 .68 .71 .71 .73 .79 .82 .84 1 21.CybB10 .38 .34 .41 .44 .38 .49 .47 .42 .51 .62 .53 .63 .74 .73 .74 .70 .66 .64 .71 .63 1 22.CybB11 .54 .47 .55 .55 .50 .64 .58 .60 .55 .65 .56 .71 .77 .78 .82 .81 .75 .72 .81 .67 .69 1
hanrealizadodiferentesmodelosparacontrastarlarelaciónentre unoyotrofenómeno.Elmodelohallado(verfig.3),muestraun excelenteajuste,2deSatorraBentler=1105.74,p=.00,NNFI=.96,
CFI=.97,IFI=.97,RMSEA=.033ySRMR=.055,se ˜nalandola influen-ciadelbullying tradicionalsobreel cyberbullying,peronoseha hallado unajuste en la relacióninversa.Esteresultado obtiene ademásunvalorde R2 dela variablevictimizaciónen
cyberbu-llyingde.41yde.36sobreagresiónencyberbullying.Elmodelo muestralainfluenciadelavictimizacióntradicionalconla ciber-victimización(=.51,p=.032)ydelaagresióntradicionalsobrela ciberagresión(=.60,p=.027).Perotambiénsese ˜nalalainfluencia delaagresióntradicionalenlacibervictimización(=.23,p=.045). Lainfluenciadelavictimizacióntradicionalsobrelaciberagresión esnecesariaparaelajustedelmodelo,peronosemuestracomo unarelaciónsignificativa(=.08,p=.072).
Discusiónyconclusiones
Comoserecordará,elprimerobjetivodeestainvestigaciónha sidolavalidacióndedosinstrumentosdemedidasobrebullyingy
cyberbullying,considerandoqueambosincluyenlasdosprincipales dimensionesdeestefenómeno:lavictimizaciónversus cibervic-timizaciónylaagresiónversusciberagresión.Respectodedicho objetivo,puededecirsequelosresultadossonmuypositivos.Tanto elinstrumentodebullyingcomoeldecyberbullyingmuestranla adecuaciónyvalidezdelasdosdimensionesprincipalesdeeste fenómenoypuedendescribirseenunsolo modelo,queincluye correlaciónentreambassubescalas,talycomosehaidohallando enestudiosprevios(Völlink,Bolman,DehueyJacobs,2013).Se podríadecirque latotalidaddelosparticipantespercibenestos dosfenómenosdesdeunadobledimensión,deagresióny victimi-zación,quesemuestradeformaempíricaconunbuenajusteycon muchassimilitudes.Siladecisióndedesarrollarnuevos instrumen-tosdebebasarseenunacuidadosaconsideracióndelasventajasy desventajasdelosyaexistentes(Berneetal.,2013),estavalidación aportadosventajasimportantes:a)laposibilidaddemediry eva-luarenunmismoinstrumentoladimensióndelavictimizacióny delaagresión,tantodebullyingtradicional,comodecyberbullyingy b)estoscuestionariossonunaaportaciónalcampodeestudioya que esmuyreducido elnúmero deinstrumentos quehansido sometidosaunrigurosoanálisisempíricoyhansidoreplicados mediante análisisfactoriales confirmatorios para contrastar sus
fortalezasydebilidades.Disponerdeinstrumentosfiablesy empíri-camentecontrastadoscobraimportanciaenlainvestigaciónsobre elbullyingtradicional,enunmomentoenquemuchosproblemasde intimidaciónyacosotradicionalestántransformándoseen intimi-daciónyacosoatravésdemediosdigitales(SlonjeySmith,2008) yaque,enpalabrasdelosautorescitados,puededecirsequese estáproduciendounareduccióndelbullyingtradicionalalmismo tiempoqueunincrementoenlaprevalenciadelcyberbullying.Por otrolado,sehanevidenciadodiferenciaseneltipo,tiempooforma deusodelatecnologíayelpredominiodeplataformasmuy dife-rentesenelaccesoalasredessocialesvirtuales(Drabowicz,2012), loqueasemejamásymáselcontextodeentramadorelacionaldel
bullyingtradicional(Salmivalli,2010)alcontextodeescenariodel
cyberbullying,igualmenteapoyadoenelusomasivoderedes socia-lesvirtuales.Porellocobramayorimportanciaesteestudioque integradosinstrumentosmuysimilaresyfácilesdeadministrar porsusencillezypocacantidaddeítemsqueanalizan compor-tamientos de bullying y cyberbullying, según el caso de forma muysimilar,talycomoestánse ˜nalandootrosautores(Olweus,
2012).
Pensandoenlanecesidaddelaintervenciónpsicoeducativayla prácticadelapsicologíaescolar,disponerdeambosinstrumentos homogéneosencuantoasusmedidasparasuusoenelcontextodel centroyelaulaescolarpuedefacilitarlarápidadescripcióndelos nivelesdeprevalenciadeambosproblemas,loquepuedesermuy útilalosprofesionalesdelapsicologíaescolaryalosagentesdel sistemaeducativo,ensutrabajodeprevencióntantodelbullying
comodelcyberbullying(DelReyetal.,2015).
Elsegundoobjetivodeestetrabajohabuscadodescubrirla rela-cióndeinfluenciaysolapamientootránsitodeunfenómenoalotro yviceversa.Nuestrosresultadosnosacercanmásalaideadeque elcyberbullyingesuntipodebullying(SlonjeySmith,2008),ya quenosóloexisteunarelaciónentreambosconunaajuste estadís-ticoadecuado,sinoquesemuestraunainfluenciaimportantedela victimizaciónsobrelacibervictimizaciónydelaagresiónsobrela ciberagresión.Estosresultadosapoyanlaideadequelos principa-lesrolesdeimplicación(eldeagresoryeldevíctima)semantienen cuandoelbullyingpasaarealizarseyquizásaperpetrarseconel usodemediostecnológicosdecomunicación(Casasetal.,2013). Ademásde estarelación,clarificadora al respectodela natura-lezamuysemejantedeambosfenómenos,losresultadosobtenidos muestranunainfluenciasignificativadelaagresióntradicionalen lacibervictimización,mientrasescasiinexistentelainfluenciade
VCB CybV11 CybV1 CybV2 CybV3 CybV4 CybV5 CybV6 CybV7 CybV8 CybV9 CybV10 .68 .79 .86 .75 .76 .72 .66 .76 .72 .80 .81 ACB CybB11 CybB1 CybB2 CybB3 CybB4 CybB5 CybB6 CybB7 CybB8 CybB9 CybB10 .77 .85 .85 .89 .89 .88 .81 .92 .82 .77 .86 .70
Figura2.Soluciónfactorialdelaescaladecyberbullying.
lavictimizacióntradicionalsobrelaciberagresión.Noesfácil aven-turarunaexplicación,perocabríapensarqueelagresordirectoode
bullyingtradicionalpuedellegaraconvertirseenunacibervíctima cuandoestáenunmedioenelquenodominaalosotrosdeforma corporalmentedirecta,comolohaceenlavidareal.Noolvidemos queestasconductassonmuyemocionalesyquelacomunicación mediantedispositivosdigitalesesmásfríayrequierederecursosy competenciascognitivasdelosquequizáselagresorprototípicodel
bullyingtradicionalnoestátandotado.Aesterespecto,seha infor-madoquelaciberconductaexigeunaciertacompetenciatécnica
(Casasetal.,2013;Menesini,NocentiniyPalladino,2012).Quizás
elfactordedominiotecnológicoparecequepodríaestarjugando contraelagresortradicional,quesabiendocómocontrolar, intimi-daryacosaraotrodeformadirecta,enelescenariovirtualesmenos hábilporquenonecesariamenteelagresoresmáscompetente digi-talmentequelosdemás.Loquedefinitivamenteseevidenciaen
VB AB VCB ACB .51∗ .08 .23∗ .60∗
nuestrosresultadosesqueelagresordebullyingtradicionalpuede volversevíctima(cibervíctima)atravésdemediosdigitales.Sin embargo, noparece quela cibervictimización se transformeen agresióntradicional.
Engeneral,estosresultadosarrojanunamayorconcreciónde losestudiosquehanestudiadoelsolapamientoentrebullyingy
cyberbullying(DelReyetal.,2012),marcandoenelsentidoenel quesepuedeestarproduciendoestesolapamientootránsitoentre unfenómenoyotro,ydeunrolaotro,perotambiénrefuerzan lainterpretaciónquelosautoresyotrosinvestigadores(Olweus,
2012;SlonjeySmith,2008)expresansobrelahomogeneidadbásica
deambosfenómenos,asícomolaspropiascaracterísticascomunes aambosproblemas:laintencionalidad,eldesequilibriodepoder,la repeticiónymuyespecialmentelainmoralidaddeestasconductas
(Ortega,2010).
Debemostenerencuentalaslimitacionesquepresentaeste tra-bajo,quesonlaspropiasdelamayorpartedelosautoinformes, dondeladeseabilidadsocialpuedeafectaralosresultados. Tam-bién,aunqueenelestudiohaparticipadounamuestraamplia,no hasidounamuestrarepresentativaespa ˜nola,porloquelasfuturas líneasdeinvestigacióndeberánseguirdesarrollandoyactualizando estosinstrumentosque,debidoalatemáticatanrelevanteyactual queabordan,necesitanincorporaraspectosvinculadosala tecno-logíayalusoquehacendeellalosadolescentesodenuevasformas deagresiónenlasquesepuedaconcretarelbullyingtradicional.
ExtendedSummary
Researchonbullyinghasnotstoppedgrowingsinceitwas iden-tifiedintheearly70soflastcentury(Zych,Ortega-Ruiz,&DelRey, 2015).Ithasreceivedscientificattentionfromdifferenttheoretical andmethodologicalapproaches(Kowalskietal.,2014).However, thereissomeunanimityinitsconceptualdelimitation.Thus,itis assumedthatbullyingisaphenomenonofintentionalassaultof oneoroneononeormoreotherrepeatedlyandmaintainedover timewherethereisanimbalanceofpowerbetweenthosewho assaultedandtheonewhoisattacked,thevictim(Olweus,1993). Definitionismadeintermsofthreekeycriteria:(1)theintent,(2) therepetition,and(3)theimbalanceofpower.Inaddition, contri-butionshavebeenrealizedorcomplementcertainaspectsofthe phenomenon(Kalliotis,2000;Smith,Pepler,&Rigby,2004).
Bullyingisagroupphenomenon,whichshouldnotbe unders-tood only as an aggressive behavior. In this sense, Salmivalli, Lagerspetz,Björkqvist,Österman,&Kaukiainen(1996)described thesocialstructureofparticipationwithinthebullying,including, inadditiontothetraditionalrolesofvictimandperpetratordual
role (Ortega & Mora-Merchán,2000), a variety of roles among
viewersforunderstandingpeerharassmentasaphenomenonof schoolandjuvenilemicroculture.
Recentresearchhasshownsomeoverlapbetweenbullyingand cyberbullying,asyoungpeoplebeingbulliedinreallifetendtobe alsointimidatedthroughdigitaldevices(DelRey,Ellipe,& Ortega-Ruiz,2012; Dooley et al.,2009; Elledge etal., 2013; Gradinger etal.,2009).Somestudiesfocustheirresearchonthedevelopment ofmeasuringinstrumentsexclusivelyintheonlineaggression,or otherswhodovictimization(Calveteetal.,2010;Lawetal.,2012;
TynesRoseet al.,2010), reducing thevariables toconsiderand
parcellingtheobjectofstudy(Dempseyetal.,2009).
Accordingly,itseemsthatdesigningandvalidatinginstruments toassessanevaluationofboththeharassmentandcyberbullying andthat,additionally,providetheabilitytoknowtheirprevalence andeventualpsycho-educational interventions,mightnecessary furthertheanalysisoflatentrelationshipbetweenthetwo phe-nomena(Casas,DelRey,&Ortega-Ruiz2013;Perrenetal.,2012). Therefore,themainobjectiveofthisresearchisthedevelopment
andvalidationoftwoinstruments,oneaboutbullyingand cyberbu-llying,thatmakeupthetwomaindimensionsofthephenomena, the(cyber)victimizationandthe(cyber)attack.Asecondobjective ofthispaperistoanalyzetherelationshipbetweentheinvolvement inthetwophenomena,aninquirywehopewillshowinmoredetail theoverlapofbothproblems.
MethodologyandResults
Thisstudyhasinvolved792(46.1%girls)students,ageranging between12 and 19 years old(M=13.8, SD=1.47) of secondary education.ThetwoSpanishversionsofthequestionnaires Euro-peanBullyingInterventionProjectQuestionnaire(EBIPQ)(Brighi et al., 2012) and European Cyber-bullying Intervention Project Questionnaire(ECIPQ)(DelReyetal.,2015)havebeenused.Both questionnairesareofLikertnatureandevaluatebehaviorsrelated tobullyingandcyber-bullying.Thestatisticalanalysesassessedto achievetheobjectivesofthisstudyenvisageaConfirmatoryFactor Analysis(CFA)inordertoobtainacontrastofthefactorial structu-resofbothinstrumentsandtodevelopastructuralequationmodel totesttherelationshipandinfluencebetweenthetwophenomena studied.Forsuchpurposes,ithasbeenveryimportanttoconsider amaximumestimationofrobustlikelihood,whichallowsustouse polychoriccorrelationsandissuitablewherehighvaluesof norma-lityandkurtosis,multivariatewithaclearcategoricalnature,take place(Flora&Curran,2004).
Theresultsshowoptimumindexesforeachofthescalessubject tofactoranalysisandthesolutionsaresimilartotheadjustment oftheEuropeanversions.TheEBIPQscaleshowsatwo-factor solu-tioncorrelatedwithoptimalfitandvalues:chi-squareofSatorra Bentler=270.11,p=.00,NNFI=.95,CFI=.96,IFI=.96,RMSEA=.05, andSRMR=.06.ThescalereplicateECIPQsolutioninaEuropean sample,twofactorscorrelatedwithoptimaladjustment, adjust-mentindexesvalues:chi-squareofSatorraBentler=495.93,p=.00, NNFI=.98,CFI=.98,IFI=.98,RMSEA=.042,andSRMR=.065.
Finally there has been a structural equation model to test theinfluence relationshipbetweentheinvolvement in thetwo phenomena.Themodelfoundshowsanexcellentfit,chi-square of SatorraBentler=1105.74,p=.00,NNFI=.96,CFI=.97,IFI=.97, RMSEA=.033,andSRMR=.055,indicatingtheinfluenceof tradi-tionalbullyingoncyberbullying,buthasnotfoundasettinginthe inverserelationship.ThisresultalsoobtainedanR2 valueofthe
variableincyberbullyingvictimizationof.41and.36on cyberbu-llyingaggression.Itisrelevantinthismodel,asoneofitsmain aspects,theinfluence oftraditional aggressionon cybervictimi-zation(=.23,p=.045),whichshowsthatatraditionalbullying aggressorcanturnintocyber-victim.
Discussion
Bothinstruments aboutbullyingand cyber-bullying, respec-tively, showtheappropriatenessand validity ofthe twomajor dimensionsofthis phenomenonwhich canbedescribedinone model,includingthecorrelationbetweenbothsubscales,ashas beenfoundinpreviousstudies(Völlinketal.,2013).Onecould con-tendthatalloftheparticipantsperceivethesetwophenomenain twodimensions,aggressionandvictimization,empiricallyshowing a good fit withmany similarities.Both instrumentshave relia-bletoolsandempiricallycontrastedwhichbecomesimportantin researchontraditionalbullying,inatimewhenmanytraditional problemsofintimidationandharassmentaretransformedinto inti-midationandharassmentthroughdigitalmedia(Slonje&Smith, 2008)as,inthewordsoftheseauthors,wecanstatethata reduc-tionintraditionalbullyingwhileanincreaseintheprevalenceof cyberbullyingaretakingplacesimultaneously.
Thesecondobjectiveofthisresearchhasaimedtorevealthe relationshipofinfluenceandoverlaportransitionfromone phe-nomenontotheotherandviceversa.Ourresultsbringuscloser to theidea that cyber-bullying is a type of bullying (Slonje &
Smith,2008),asthereisonlyarelationshipbetweenaproper
sta-tistical adjustment, but animportant influence ofvictimization is shown on cyber-victimization and aggression on the cyber-aggression.Theseresultssupporttheideathatthemainrolesof involvement(theaggressorandthevictim)aremaintainedwhen bullyinghappenstotakeplaceandperhapsperpetratedwiththe useofcommunicationstechnology(Casasetal.,2013).Inaddition tothisrelationship,clarifyingtheverysimilarnatureofthetwo phenomena,theresultsshowasignificantinfluenceoftraditional cyber-victimizationaggression,whiletheinfluenceoftraditional victimizationoncyber-aggressionisalmostnon-existent.
Financiación
Estetrabajohasidorealizadoenelmarcodelproyecto “Sex-ting,cyberbullyingyriesgosemergentesenlared:clavesparasu comprensiónyrespuestaeducativa”(EDU2013-44627-P),delPlan NacionaldeInvestigación,alquelosautoresagradecenla financia-ción.
Conflictodeintereses
Losautoresdeesteartículodeclaranquenotienenningún con-flictodeintereses.
ApéndicesAyB. Datoscomplementarios
Datoscomplementariosrelativosaesteartículopueden encon-traseenlaversiónonline,endoi:10.1016/j.pse.2016.01.004.
Referencias
Berne,S.,Frisén,A.,Schultze-Krumbholz,A.,Scheithauer,H.,Naruskov,K.,Luik,P., ...Zukauskiene,R.(2013).Cyberbullyingassessmentinstruments:A systema-ticreview.AggressionandViolentBehavior,18,320-334.http://doi.org/10.1016/ j.avb.2012.11.022
Bettencourt, A. F. y Farrell, A. D. (2013). Individual and Contextual Fac-tors Associated with Patterns of Aggression and Peer Victimization During Middle School. Journal of Youth and Adolescence, 42, 285–302. http://dx.doi.org/10.1007/s10964-012-9854-8
Brighi,A.,Ortega,R.,Pyzalski,J.,Scheithauer,H.,Smith,P.K.,Tsormpatzoudis,C.,... Thompson,J.(2012).EuropeanBullyingInterventionProjectQuestionnaire(EBIPQ) (Unpublishedmanuscript).UniversityofBologna.
Calvete,E.,Orue,I.,Estévez,A.,Villardón,L.yPadilla,P.(2010).Cyberbullyingin adolescents:Modalitiesandaggressors’profile.ComputersinHumanBehavior, 26,1128–1135.http://dx.doi.org/10.1016/j.chb.2010.03.017
Casas,J.A.,DelRey,R.yOrtega-Ruiz,R.(2013).Bullyingandcyberbullying: Con-vergentanddivergentpredictorvariables.ComputersinHumanBehavior,29, 580–587.http://dx.doi.org/10.1016/j.chb.2012.11.015
Chen, L. M., Liu, K. S. y Cheng, Y. Y. (2012). Validation of the percei-ved school bullying severity scale. Educational Psychology, 32, 169–182. http://dx.doi.org/10.1080/01443410.2011.633495
Craig, W. M. y Pepler, D. J. (2007). Understanding bullying: From research to practice. Canadian Psychology/Psychologie Canadienne, 48, 86–93. http://dx.doi.org/10.1037/cp2007010
DelRey,R.,Casas,J.A.,Ortega-Ruiz,R.,Schultze-Krumbholz,A.,Scheithauer,H., Smith,P.,...Plichta,P.(2015).Structuralvalidationandcross-cultural robust-nessoftheEuropeanCyberbullyingInterventionProjectQuestionnaire. Compu-tersinHumanBehavior,50,141-147.http://doi.org/10.1016/j.chb.2015.03.065. DelRey,R.,Elipe,P.yOrtega-Ruiz,R.(2012).Bullyingandcyberbullying:Overlapping
andpredictivevalueoftheco-occurrence.BehaviorPsychology,24,608–613. Dempsey,A.G.,Sulkowski,M.L.,Nichols, R. yStorch,E.A. (2009).
Differen-cesbetweenpeervictimizationincyberandphysicalsettingsandassociated psychosocialadjustmentinearlyadolescence.PsychologyintheSchools,46, 962–972.http://dx.doi.org/10.1002/pits.20437
Dooley,J.J.,Pyzalski,J.yCross,D.(2009).Cyberbullyingversusface-to-face bull-ying:Atheoreticalandconceptualreview.JournalofPsychology,217,182–188. http://dx.doi.org/10.1027/0044-3409.217.4.182
Drabowicz,T.P.(2012).DigitalInequalitiesasClassInequalities?Acomparisonofyouth inadvancedsocietiesin-andoutsideEurope.EuropeanUniversityInstitute, Flo-rence.Retrievedfromhttp://hdl.handle.net/1814/23751.
Elledge,L.C.,Williford,A.,Boulton,A.J.,DePaolis,K.J.,Little,T.D.ySalmivalli,C. (2013).IndividualandContextualPredictorsofCyberbullying:TheInfluenceof Children’sProvictimAttitudesandTeachers’AbilitytoIntervene.JournalofYouth andAdolescence,42(5),698–710.http://dx.doi.org/10.1007/s10964-013-9920-x Espelage,D.L.ySwearer,S.M.(2008).CurrentPerspectivesonLinkingSchool Bull-yingResearchtoEffectivePreventionStrategies.EnT.W.Miller(Ed.),School ViolenceandPrimaryPrevention(pp.335–353).NewYork:Springer.Retrieved fromhttp://link.springer.com/chapter/10.1007/978-0-387-77119-9 17. Flora,D.B.yCurran,P.J.(2004).AnEmpiricalEvaluationofAlternativeMethods
ofEstimationforConfirmatoryFactorAnalysisWithOrdinalData.Psychological Methods,9,466–491.http://dx.doi.org/10.1037/1082-989X.9.4.466
Furlong,M.J.,Greif,J. L.,Bates,M.P., Whipple,A.D.,Jimenez,T.C. y Morri-son, R. (2005). Development of the California school climate and safety survey-shortform.PsychologyintheSchools,42,137–149.http://dx.doi.org/ 10.1002/pits.20053
Gradinger,P.,Strohmeier,D.ySpiel,C.(2009).Traditionalbullyingand cyber-bullying:Identification of risk groups foradjustment problems.Zeitschrift FürPsychologie/JournalofPsychology,217,205–213.http://dx.doi.org/10.1027/ 0044-3409.217.4.205
Gradinger,P.,Strohmeier,D.ySpiel,C.(2010).DefinitionandMeasurementof Cyberbullying.Cyberpsychology:JournalofPsychosocialResearchonCyberspace, 1(2002),1–14.
Green,J.G.,Felix,E.D.,Sharkey,J.D.,Furlong,M.J.yKras,J.E.(2013).Identifyingbully victims:Definitionalversusbehavioralapproaches.PsychologicalAssessment,25, 651–657.http://dx.doi.org/10.1037/a0031248
Greif,J.L.yFurlong,M.J.(2006).TheAssessmentofSchoolBullying.JournalofSchool Violence,5(3),33–50.http://dx.doi.org/10.1300/J202v05n0304
Haataja,A.,Sainio,M.,Turtonen,M.ySalmivalli,C.(2015).ImplementingtheKiVa antibullyingprogram:recognitionofstablevictims.
Hu, L. y Bentler, P. M. (1999). Cutoff criteria for fit indexes in cova-riance structure analysis: Conventional criteria versus new alternati-ves. Structural Equation Modeling: A Multidisciplinary Journal, 6, 1–55. http://dx.doi.org/10.1080/10705519909540118
Jöreskog,K.G.ySörbom,D.(1993).Lisrel8:StructuralEquationModelingwiththe SimplisCommandLanguage.Chicago,IL:ScientificSoftwareInternational. Kalliotis, P. (2000). Bullying as a Special Case of Aggression Procedures
for Cross-Cultural Assessment. School Psychology International, 21, 47–64. http://dx.doi.org/10.1177/0143034300211004
Kowalski,R. M., Giumetti, G.W., Schroeder,A.N. yLattanner, M.R. (2014). Bullyingin thedigital age:Acritical review and meta-analysisof cyber-bullying research among youth. Psychological Bulletin, 140, 1073–1137. http://dx.doi.org/10.1037/a0035618
Kyriakides, L., Kaloyirou, C. y Lindsay, G. (2006). An analysis of the Revi-sed Olweus Bully/Victim Questionnaire using the Rasch measurement model. The British Journal of Educational Psychology, 76, 781–801. http://dx.doi.org/10.1348/000709905X53499
Law,D.M.,Shapka,J.D.,Domene,J.F.yGagné,M.H.(2012).AreCyberbulliesreally bullies?Aninvestigationofreactiveandproactiveonlineaggression.Computers inHumanBehavior,28,664–672.http://dx.doi.org/10.1016/j.chb.2011.11.013 Menesini,E.,Nocentini,A.yPalladino,B.E.(2012).Empoweringstudentsagainst
bullyingandcyberbullying:EvaluationofanItalianpeer-ledmodel.International JournalofConflictandViolence,6,314–321.
Nocentini,A.,Calmaestra,J.,Schultze-Krumbholz,A.,Scheithauer,H.,Ortega,R.y Menesini,E.(2010).Cyberbullying:Labels,BehavioursandDefinitioninThree EuropeanCountriesRIDD-4268-2011.AustralianJournalofGuidanceand Coun-selling,20,129–142.http://dx.doi.org/10.1375/ajgc.20.2.129
Olweus,D.(1993).Bullyingatschool:whatweknowandwhatwecando.Oxford,UK; Cambridge,USA:Blackwell.
Olweus,D.(1996).TheRevisedOlweusBully/VictimQuestionnaireforstudents.Bergen: UniversityofBergen.
Olweus,D. (2012).Cyberbullying:Anoverrated phenomenon? European Jour-nal of Developmental Psychology, 9, 520–538. http://dx.doi.org/10.1080/ 17405629.2012.682358
Ortega,R.yFernández,I.(1998).Violencia,agresiónydisciplina.InPrevenciónde laViolenciayResolucióndeConflictos.Elclimaescolarcomofactordecalidad.pp. 19–29.Madrid:NarceaEdiciones.
Ortega,R. (2010).Agresividad injustificada,bullyingyviolenciaescolar.Madrid: AlianzaEditorial.
Ortega,R.yMora-Merchán,J.A.(2000).Violenciaescolar:mitoorealidad.Sevilla: Mergablum.
Perren,S.,Corcoran,L.,Cowie,H.,Dehue,F.,Garcia,D.,McGuckin,C.,...Völlink,T. (2012).Tacklingcyberbullying:Reviewofempiricalevidenceregarding success-fulresponsesbystudents,parents,andschools.InternationalJournalofConflict andViolence,6,283-293.
Salmivalli,C.(2010).Bullyingandthepeergroup:Areview.AggressionandViolent Behavior,15(2),112–120.http://dx.doi.org/10.1016/j.avb.2009.08.007 Salmivalli, C., Lagerspetz, K., Björkqvist, K., Österman, K. y Kaukiainen, A.
(1996). Bullying as a group process: Participant roles and their rela-tions to social status within the group. Aggressive Behavior, 22, 1–15, http://doi.org/10.1002/(SICI)1098-2337(1996)22:1<1::AID-AB1>3.0.CO;2-T. Slonje, R. y Smith, P. K. (2008). Cyberbullying: Another main type of
bull-ying? Scandinavian Journal of Psychology, 49, 147–154. http://dx.doi.org/ 10.1111/j.1467-9450.2007.00611.x
Slonje, R., Smith, P. K. y Frisén, A. (2013). The nature of cyberbullying, and strategies for prevention. Computers in Human Behavior, 29, 26–32. http://dx.doi.org/10.1016/j.chb.2012.05.024
Smith,P.K.,Pepler,D.yRigby,K.(2004).BullyinginSchools:HowSuccessfulCan InterventionsBe?Cambridge,MA:CambridgeUniversityPress.
Spears, B., Slee, P., Owens, L. y Johnson, B. (2009). Behind the Scenes and Screens. ZeitschriftFürPsychologie /Journalof Psychology, 217(4), 189–196. http://dx.doi.org/10.1027/0044-3409.217.4.189
Tokunaga,R.S.(2010).Followingyouhomefromschool:Acriticalreviewand synt-hesisofresearchoncyberbullyingvictimization.ComputersinHumanBehavior, 26,277–287.http://dx.doi.org/10.1016/j.chb.2009.11.014
TynesRose,C.A.yWilliams,D.R.(2010).TheDevelopmentandValidationofthe OnlineVictimizationScaleforAdolescents.Cyberpsychology:Journalof Psycho-socialResearchonCyberspace,4(2),1–15.
Völlink,T.,Bolman,C.A.,Dehue,F.yJacobs,N.C.(2013).Copingwith cyberbu-llying:Differencesbetweenvictims,bully-victimsandchildrennotinvolved
in bullying.Journalof Community andAppliedSocialPsychology, 23, 7–24. http://dx.doi.org/10.1002/casp.2142
Yang,A.ySalmivalli,C.(2013).Differentformsofbullyingandvictimization: Bully-victimsversusbulliesandvictims.EuropeanJournalofDevelopmentalPsychology, 10,723–738.http://dx.doi.org/10.1080/17405629.2013.793596
Ybarra,M.L.,Mitchell,K.J.yKorchmaros,J.D.(2011).Nationaltrendsinexposure toandexperiencesofviolenceontheinternetamongchildren.Pediatrics,128, e1376–e1386.http://dx.doi.org/10.1542/peds.2011-0118
Zych,I.,Ortega-Ruiz,R.yDelRey,R.(2015).Scientificresearchonbullyingand cyberbullying:Wherehavewebeenandwherearewegoing.Aggressionand ViolentBehavior,24,188–198.http://dx.doi.org/10.1016/j.avb.2015.05.01