ANroNro
Gancfa
JntÉNrz
PROCEDIMIENTOS
DE
EVALUACIÓN:
EL
CASO
DEL
ANÁLISIS DOCUMENTAL
Y
DE LOS
LENGUAIES DOCUMENTALES
EN
LA ACTIVIDAD
PERIODÍSTICA
UNTVERSIDAD EUROPEA-CEES
Departamento de Periodismo EspecializadoDocumentos de Trabajo
\.1ìK12,
t¡P-tËr{
o0-G
/qßu
{o'76ìz
UNIVERSIDAD EUROPEA.CEES Documentos de Tïrabaio 6 / 00
Procedimientos de anluøción: el cøso del Anâlisis Docummtal y de los lengunjes documentøles en la øctiaidad peiodísticø Villaviciosa de Odón (Madrid), julio de 2000
@ 2000 Antonio Ga¡cía Jiménez
@ 2000 Universidad Europea-CEES Ediciones
Diseño de la colección y dirección editorial:
ÍNprcE
Resumen
41.
Introducción
52.
LaDocumentación
Periodística
63.
Análisis
Documental y
lenguajes documentales en el discursoperiodístico
I
4.
Lavalidación
95.
Aplicación
alAnálisis
Documental
136.
Aplicación
del
método devalidación
delAnálisis
Documental
767.
Aplicación
a los lenguajesdocumentales
L98.
Aplicación
de lasfórmulas
estructurales a los lenguaiesdocumentales
229.
Líneas deinvestigación
yúltimas
aproximaciones
269.1,. Cambios en el Análisis
Documental
269.2.
Nuevos modelos de trabajo en los lenguajesdocumentales
299.3.
El nuevo contextohipermedia
329.4.
Nuevas tendencias enevaluación
3510.
Conclusiones
4l
Bibliografía
42PROCEDIMIENTOS DE
EVALUACIÓN:
EL CASO
DEL
ANÁLISIS DOCUMENTAL
Y
DE
LOS
LENGUAIES DOCUMENTALES
EN
LA
ACTIVIDAD
PERIODÍSTICN
ANroNIo
G¡,ncfl
fuÉNrz
Universidad
Europea-CEES
Departamento
de
Periodismo Especializado
RnsuN{nr.I
Con estø inaestigación, que prupone un conjunto de pørámetros y
procedimien-tos parø Ia uølidación del Anólisis Documentøl y de los lenguajes documentøles en el dis-curso periodístico, se pretende, hacisndo hincapié en los contenidos, superar løs prácti-cøs intuitiuas
y
el sentido común como criterios predominantes en la Documentación Periodísticø, En efecto, para eI Análisis Documental la aalidación se reølízø sobre mode-los de anáIisis-intenogación, procedentes de áreas del saber ødyacentes, que explicitan Ialecturø del documentalista y permiten el reconocimiento objetivo del texto, a
partir
deindicadores que tienen su origen tanto en lø aplicación de los uiterios de fiøbilidad
y
aalidez del ønólisis de contenido, crmo en aportaciones propiamente documentológicas.
En
el
caso de los lenguajes documentales, el modelo de eaaluación propuesto, con los mismos fundamentos, estimarã hastø qué puntoun
modelo lingüístico-conceptual esA. Ga¡cía limêrez
P roc edimie ntos de evaluación...
@ UEM.CEES EDICIONES 5
L.
INrnoouccróN
Este documento de trabajo parte de los resultados de la tesis doctorall que tiene
por tíhrlo
Metodologíø de aalidøción del Análisis Documental y de los lenguajes documentales en el discurso periodístico. Su objetivo es presentar el panorama de laevaluación
y
validación
enel ámbito del Análisis
Documentaly
los
lenguajes documentales en el discu¡so periodístico, y se sitúa en la lÍnea de estudio preo-cupadapor
los contenidosy
su comprensión dentro del ámbito documental, ala vez que
participa
en la configuración de la teoría del AnáIisis Documentaly
de los lenguajes documentales2
y
comparte principios, procedimientosy
objeti-vos con la Representación
y
Organzación del Conocimiento3.Se quiere superar,
por un
lado, el sentido común comocriterio
predomi-nante enla
Documentación Periodística, enfavor
de modelos objetivos delec-ítra;y,
por
otrolado,la
obsolescencia de los lenguajes documentales. En efecto, se pretende aplicar mecanismos de control, desligados de unavisión
operativaconcreta, que resalten el carácter pragmático, la consideración del factor social
y
la posible
manipulación
existente en estos procesos e instrumentos.A
nuestrojuicio,los
mecanismos en el Análisis Documentaly
en lacons-trucción de
lenguajes documentales deben ser explícitos, reproducibles, para-metrizablesy
objetivables, dejando aI margencualquier
prácticaintuitiva.
Seentiende que es posible, mediante métodos de análisis semántico,
explicitar
lalectura que efectua
el
documentalistaf
reconocer de manera objetivael
texto,Así pues, la
primera
meta es plantear un método de validación y evaluación enel iámbito
del
discurso periodístico que precise hasta quépunto un
modelo deanálisis es pertinente para la extracción, segmentación
y
representación de loscontenidos periodísticos y, al mismo tiempo, favorece la recuperación de
infor-mación.A
tal
efecto, seemplearála
vía experimental, considerada la más ade-cuada en el Análisis Documental, teniendo en cuenta sus variables en eldiscur-1
A. García ]iménez, Metodología de aalidøción det Analisis Documental y de los lenguøjes documentales en el iliscurso periodístico (tesis doctoral), Madrid, UCM (Depto. Periodismo IID, 1995.
2
Lír,"u de investigación que en España tiene en Antonio García Gutiérrez a su principal valedor y que se erunarca dentro de la línea de trabajo emprendida por la Universidad de Sao Paulo. Un ejemplo lo tenemos en j. Smit (coord.), Análise documentáris: ø øruílise da síntese, Brasilia, IBICT 7987.
3
Vé"r" una definición, por ejemplo, en M. A. Esteban Navarro, "La representación y la organiza-ción del conocimiento en los archivos", Orgønización del Conocimiento en Sistemas de Información y
A. Ga¡cía limé¡ez
P roc edimientos de evaluac ión...
@ UEM-CEES EDICIONES 6
so periodístico
-a
saber: la estructura,la extensión, el estilo, el género de losdo-cumentos
y un
marco teorológicoadefinido
según nuevos productosdocumen-tales, como pueden ser las sÍntesis, los datos, las inferencias, las comparaciones
y las
verificaciones-,
así como un modelo de representación de las peticionesy
las necesidades de los usuarios.
En lo que respecta a los lenguajes documentales,la metodología de
valida-ción medirá su eficacia para representar los contenidos periodísticos y su
aptitud
para la recuperación de información pertinente, condiciones que PrcsuPonen su
correcta construcción. Asimismo, deberá tomar en consideración las variables en este
dominio:
el documento periodístico, la base léxica, la estructu¡a (relaciones y campos), el uso y demandas, la ideología, el tema y la entnrpía. Finalmente, hay que destacar quela
investigación deja aun
lado
el paradigma emprcsarials, la lectura linealy
la coincidencia de significantes comoprincipios
de trabajo; en elplano
teórico,no
distingue entre la recuperación de datosy
la recuperación de documentos6;y
se despliega a través de la asimilación de los niveles realy
vir-tual,y
de la independencia de procedimientos técnicos específicos.2.
Le,Docuunr.¡raclóN
PnnlooÍsrtce
A
decir de otros investigadores,la Documentación Periodística seperfila
comomodo infonnativo, medio
de comunicacióny
técrricainformativa,
aménde sistema semiótico que, al mismo tiempo, eS
un medio
acrónico, abstractoy
parcialmente anónimo,
del
que destaca supapel
enla
construcción social delpasadoT. Su configuración viene
hjadapor
losprincipios
que determinan elpro-a
Las posibilidades que ofrece la Inteligencia Artificial, más en concreto, los sistemas exPertos. Para mayor profundización,
y
dirigidosa
aplicaciones concretas, véanseI.
Worwell (ed.), Knowledge Engineering: Erpert Systems ønd Information Retrianøl, Londres, Taylor Graham, 7987; y D. Ellis, Neut Horizons in Infonnation Retrieual, Londres, Library Association, 1990'5
Vé"r" una panorámica de los paradigmas en la investigación documentológica en F. J. García Marco, "Paradigmas científicos en recuperación de información", en Organización del Conocimiento en Sistemas de Infonnación y Documentøción (Actas del I Encuentro de ISKGEspaña, Madrid, 4 y 5 de noviembre de 7993\,1,1995, pp.99-L72.
6 Pu.u ,rn" diferenciación teórica, véase D. C. Blab Ianguøge ønd Represantation in Information Retrianal, Amsterdam, Elsevier Science Publishers, 1990, p. 7'
7
¡.Lóp"rYepes, "Documentación general y documentación informativa", en |. LópezYepes et ø1.,
A. Ga¡cía Jiménez
Procedimientos de evaluación...
@ UEM-CEES EDICIONES 7
ceso docurnental periodístico8,
por
el
Centro de Documentación Periodísticae, así comopor
el
"agente", en su doblevertiente
documentalista-usuariolO.Así
mientras que del documentalista de prensa se puede decir que trabaja marcado
por
su formación, el contextopolítico y
social, el marco ideológicoy
lasopinio-nes sobre su profesiónll, no se puede decir 1o mismo del usuario. En realidad, la
Documentación echa en falta una auténtica
Tþoía
del Uso que, partiendo de lostipos
de consulta que realizay
sus necesidades documentalesl2,y
a travésdel
conceptode
usuørio modelol3, superelos
métodos tradicionalesde estudio
enfavor
de aquellos que tengan una base experimental y mayor rigor.Al
mismo tiempo, partimos de la consideración de la noticia comoun tipo
de texto, de relato. Es deciç destacamos el aspecto discursivo del textola. En lainformación
de
actualidad existen
determinadas características, elementosy
variables que hacen que sea reconocida como untipo
detexto,lo
que permite la construcción de métodos de análisis concretos.Al
conocer sus condiciones deproducción
y
su estructura, se puedenconstruir o
definir
modelos de análisisválidos para
este co{pusdiscursivo,
al igual
quearticular
un
formato válido
para los lenguajes documentales. De hecho, aprovechamos lavisión
que tienende la estructura del discurso periodístico tanto García Guttérrez, que desde una perspectiva documentalls
divide
lainformación
enneutral
y
doxológica, como T.A.
vanDijk,
que se preocupapor
describir el discu¡soy
las unidades de uso de los textos periodísticos a través del Análisis del Discursol6.Regional de Las Palmas, 1987, p.13; A. HemándezPêrez, Docummtación øudiouisunl: metodología pøra e! análisis documental de lø infonnación periodística audiwisual (tesis doctoral), Madrid, UCM (Depto. Periodismo lll),1992; e L Chacón Gutiérrez, la fubilidad del proceso documentøI del discurso periodístico como fumte ile información: análisis, método y aøloración (tesis doctoral), Madrid, UCM
t994.
cipios operatiaos de lø Documentøción Periodística, Madrid, Dossat, 1989. entación de prensa: funciones y métodos, Barcelona, Mitre, 1986, pp. 30-31. to
Con una perspectiva para el documentalista de prensa tomada de A. García Gutiérrez, Análisis documentøl del discurso periodßtico, Madrid, CTD, L992, pp.7L7'120.
11
I. Chu.ór, Gutiérrez, op. cit., pp.32-33.
12
A. Hemán dezPérez, op. cit., pp.99'100, e I. Chacón Gutiérrez, op. cit., pp. 76Ç165. t3
Tér.r,ir,o referente a un modelo de síntesis de los comportamientos del usuario en cualquier aplicación; A. García Gutiérrez, Análisis docummtal..', op. cit.,PP 4244'
t4
En lu misma línea de A. García Gutiérrez, AnáIisis ilocummtal..., op. cit., P. 43, y con la influen-cia de J. Lozarro, C. Peña-Marín y G. Abril, Análisis del discurso. Høcis una semiótica de Iø interacción
texttnl, 3.' ed., Madrid, Cátedra, 1989.
ls A.
García Gutiérrez, AnáIisis documettø1.'., op' cit', pp' 96'98.
16 Er,tr"
A. Ga¡cía Jiménez
Procedimientos de evaluación...
@ UEM-CEES EDICIONES 8
3. At{,4,usIS DocUMENTAL
y
LENGUAIES DocUMENTALES EN EL DISCURSO PERIODÍSTICOEn
este estudio, elAnálisis
Documentaly
los lenguajes documentales sesituan bajo el
paradigma
del proceso documental,modelo
teórico que explica los procesos documentales según el contenido,y
que está vertebrado en cuatrosegmentos que interactúan entre sí: el análisis (lectura o reconocimiento),la sÍn-tesis (transformación),
la
representacióny
la recuperaciónl7. En efecto, el Aná-lisis Documental del discurso periodístico es el proceso de descripción delcon-tenido
deun
documento que comprende los segmentosdel
análisisy
la
trans-formación,
a la vez
que participa,
junto a
los
lenguajes documentales,en
larepresentación
y
se relaciona conla
recuperación como operaciónque dirige
todo el proceso. Endefinitiva,
se pretende la exclusión del sentido común comoprincipio
regulador de la actividad del documentalista, enfavor
de laexpìicita-ción
de todos los procesos de lecturay
de validación, 1o quepermitirá
acual-quier investigador efectuar labores de análisis, representación y Programación.
A
lalgz
de las escasas contribuciones anteriores/ se optapor
unaPersPec-tiva
centrada enla
relevancia enunciativa, más interesadaen
la
significación globaldel
texto que en el aspecto proposicionaly
más preocupada Por elseg-mento
del
análisis quepor
el de la transformación (entendido como elresulta-do
directoy
reconocibledel
análisis, puesto que se supone que distintos lecto-res obtendrián las mismas respuestas, y en términos similares, apartir
de lasmis-mas interrogaciones). Por su
parte,la unidad
de trabajo propuesta, necesaria encualquier trabajo empírico, es la
unidad
de información. En este caso, el objeto de estudio es toda información periodística conseryable que pueda ser recuPe-rada, al margen de las tiras dehumoç
la información factual, los anunciosy
elperiodismo literario.
Por otra parte, si bien se conocía la situación del Análisis Documental en la
práctica profesional,
no
sucedía 1omismo
conlos
lenguajes documentales,Al
entender que el
nivel
teórico no pueder estar separado del práctico,y
toda vezquø
despuésde una revisión
teórica, se concibeel
tesauro comoel
lenguajedocumental miás apropiado en el ámbito del discurso periodísticol8, se ha
podi-do comprobar en la práctica profesional que los lenguajes documentales no son17
A. García Gutiérrez, Análisis documental'.', op' cit., pp.2G3l'
18
A partir de A. García Gutiérrez y R. Lucas Femández, Documentación automatizadn en los medios informativos, Madrid, Paraninfo, 1987, pp.67-77, así como de f. M. Izquierdo Arroyo y
L'M.
A. Ga¡cía Jiménez
Procedimientos de evaluación:..
@ UEM-CEES EDICIONES 9
la parcela a
la
que se presta más atencióry que se suelerccurrh
a más de unoy
que, en la práctica cotidiana, con la palabra tesøuro se designa a otros lenguajes que no ofrecen las características suficientes para alcanzar esa denominación. En este contexto, queda claro que el
tipo
de lenguaje empleado depende de factorescomo la capacidad económica de la institucióru el personal existente, la
concep
ción que de é1 tenga el documentalista y la periodicidad del productoperiodísti-co. Además se evidencia, de un lado, el menor cuidado que se dedica al aspecto
relacional y de presentación en comparación con Ia base léxica, al tratarse de tma
henamienta
de uso intemo; y, deotro,la
dependencia del comPonenteteorolô
gico para su aplicaciórç
y
de la observación a posteriori para su evaluacióde.4.
Le, vALTDAcIóNEs
a
través
del
recorte epistemológicoen
otras
áreas adyacentesa
laDocumentación como se pretende
definir
los parámetros para la evaluación en el Anátisis Documental y en los lenguajes documentales. Por tanto, se revisarontextos
procedentesde
la
Lingtiistica,
la
Semiántica,la
Semiótica Textual, laLógica General
y
Formal,
la
Teoría
de
la
Traducción,
la
Teoría
de
IaComunicación,la
Tþoría de lalnformación,la
Teoría de Sistemas, el Análisis del Discurso,la
Terminologu
y
la
Norrralización20 (comodisciplinas
queconfor-de estructura combinatoria ('thesaurus')", Reu. Esp. Doc. Cient., XV,
I
(1992), pp. M-63, frente aotras propuestas, como un esquema de clasificación en G. Galdón López, EI seroicio de documenta-ción..., op. cit., pp.77-t25,la postura a favor de la CDU en combinación con una clasificación alfa-bética en M, E. Fuentes Pujol, Seruicio documental en la prensø diaria: ønólisis
y
orientøciones, Barcelona, Mitre, 1984, p.224, o la opción por una acción conjunta de lenguaje libre y controlado en C. Rodríguez Yela, "Los lenguajes documentales en las bases de información política y de actualidad", Reo. Esp. Doc. Cient., XY,7 (1992), pp.73-23.19
Pu." ello se realizó un trabajo de campo, con el objetivo de analizar el estado de construcción y
uso de los instrumentos de recuperación en las instituciones periodísticas.
20
A. Ga¡cía Jiménez
P roc e dimi e n tos de ev aluac ión.
@ UEM-CEES EDICIONES 10
man
la
Lingi.iística Documental), de los cualesno
seobtuvieron
los resultados esperados,por
la falta de métodos de evaluación propiamente dichos.En segundo lugar, se estudiaron los procedimientos mediante los que se
evalúan los sistemas documentales2l. Sin embargo, estos procesos no
participan
de las bases de trabajo, mecanismos y procedimientos ya expuestos y mantienen la coincidencia de significantes como factor clave,
lo
que exige la búsqueda en otras direcciones (a pesar de las nuevas perspectivas que han surgido en losúlti-mos años). Este hecho se
repitió
enlo
tocante al AnálisisDocumentalz
y
a los lenguajes documentalesæ, donde los sistemas de trabajo obedecen a criterios obien rígidos, o
bien
caracterizadospor
prácticasintuitivas.
Tampoco fueron
definitivos,
aunque sí suponían experienciasclarificado-ras, anteriores trabajos situados dentro de la misma lÍnea de investigación, como es el caso de la evaluación que García
Gutiérrez
realtza sobre diferentesméto-dos de
análisis enel
ámbito
del
discurso periodístico2a, mediantecriterios
de2r
Donde se han mantenido en la tradición las tasas de recall y precision, pero que ofrecen además diversos problemas, destacados en G. Salton, "The State
of
Retrieval System Evaluation", Information Processing €t Managemenf, XXVII, 4 (1992\, pp. 441-449, donde se cuestiona, por ejem-plo, la correspondencia entre las peticiones empleadas en los tests y las necesidades reales de los usuarios. No obstante, la investigación tiene cada vez más en cuenta la relevancia basada en las necesidades de informacióny
la interactividad, como se apunta en S. E. Robertson y M. M. Hancock-Beaulieu, "On the Evaluation of IR Systems", Informøtion Processing €t Management, XXVIII, 4 (L992), pp. 457-466, y en L. T. Su, "Evaluation Measures for Interactive Information Retrieval", Information Processing û Managemmt XXVII 4 (1992), pp' 50]516.2
¡. Chaumie r, Análisis y lenguøjes documentales: eI tratamiento lingüístico de la información documen-fal, Barcelona, Mitre, 1986, pp. 32-36; F. W. lancaster, Indexing ønd Abstracting in Theory and Practice, Londres, The Library Association, l99l; G. van Slype, Ios lenguajes de indización: concep-ción, construcción y utilización en los sistemas documentales, Salamanca-Madrid, Fundación Germán Sánchez Ruipérez-Pirámide, 1997, pp. L22-I24; D. Soergel, "Indexing and Retrieval Performance: The Logical Evidence", ]ASIS,XLV,8 (7994), pp.589-599; I. Cunha (coord.), Análise documentária: consideraçoes te&icas e erperimentaçoes, Sao Paulo, FEBAB, 1989.
23
E.,tr" otros, G. van Slype, op. cit., pp. 8G96; J. Chaumier, op. cit., pp' 92-94; F W. Lancaster, Vocøbuløry Control for Information Retrieuø\, 2.n ed., Arlington (Virginia), ln-formation Resources Press, 1986, pp. 155'i1,57; y C. .{lvaro Bermejo, A. Villagrá Rubio y A. sorli Rojo, "Desarrollo de lenguajes documentales formalizados en lengua española: II. Evaluación de los tesauros disponi-bles en lengua española", Reo, Esp. Doc. Cient.,XII,3 (1989), pp. 289305; E' Currás, Thesauros: len-guajes terminológicos, Madrid, Paraninfo, 1997; S. Janik y L. Brunet, "La mise a jour d'un thésau-rus", Documentaliste,XxIV, 6 (798n, pp.2lï229; A. Rivier, "Construction des langages d'indexa-tion: aspects theóriques", Documentaliste, XXYll, 6 (1990), pp.26T273.
2a
A. García Gutiérrez, AnáIisis documental..., op. cit., pp. L27-L56. También destaca el trabajo de R.
A. García Jiménez
P roc edimientos de evaluac ión..
@ UEM-CEES EDICIONES I I
validez
como:la intersubjetividad
de la lectura; elnivel
dedelirnitación
de las categoríasdel
constructo analítico; elnivel
de adecuación a los diferentes esti-los, géneros periodísticos y posibilidades tecnológicas; elnivel
de respuesta a las demandas de losusuarios;la
relevancia; y, finalmente, la representatividad del corpus empírico.Otro tanto
sucede conel
estudio quedirigió
el mismo
autorsobre los lenguajes documentales2s, donde fundamentalmente se
profundizaba
en su
aspectotextual
y
en su
capacidadpara proporcionar una
determinadavisión
de la realidad, 1o que podía provocar sesgos en la recuperación de infor-mación.Por
ultimo,
se intentó la extrapolación de las ideas de valtdezy
fiabiJidaden el análisis de contenido, dada la consistencia de sus procedimientos de
veri-ficación y evaluación y la evidente imbricación de esta área del conocirniento en los problemas documentales26. Las fuentes principales para esta aplicaciónpro-ceden
de los
trabajosde
Krippendorff
y
López-Arangaren2T que exponen los mecanismos verificadores del análisis de contenido. Enprimer
lugar,y
siempreenboca de los especialistas, se debe deteminar qué factores no deseados pueden
influir
en los resultados de una investigación. Este apartado, denominadofiabï
lidød,y apto para establecer límites a la validez potencial de las conclusiones decualquier investigacióry se articula en cuatro puntos:
L. Congruenciø: dehne el
nivel
de acuerdo entre los resultados de distintos procedimientos de análisis ante una característica en el mismo tiempo.2. Estabílidad; deternrina
la
obtenciónde
resultados sirnilares cuando seaplican las mismas categorías en momentos distintos.
3. Reproducibilidød: detecta las incongruencias
del
observadory
los desa-cuerdos entre los observadores.4. Exactitud: precisa
el
grado de ajuste aun
criterio o
elnivel
en que los resultados del proceso son los que se planeaba que fueran.Æ A.
Garría Gutiérrez (coord.), Iznguajes docummtales en Comunicación: métodos de anáIisß y experimm-tøción,Madid, UCM (Facultad de Ciencias de la Infomación, Depto. Periodismo Ill)-Ibercomnet, 7992.
26
L. B"rdir,, .Á ntólisis de Contsnido,Madrid, Akal, 1986, pp.34-35,y A. García Gutiérrez (1990), Estruc-turø lingüístiu de la docummtación: teoría y método, Murcia, Universidad de Murcia, pp. 52-53 y 62-&.
"
K. Krippen dofif , Metodología de ønáIisis de contenido: teoría y práctica, Barcelona, Paidós, t990, pp. 97-227, y E. López-Ar¿rnguren, "El análisis de contenido", en M. García Ferrando, J. Ibáñez y F.A. García Jiménez
P rocedimientos de evaluación...
No
obstante,si
sequiere certificar
la.fiabilidad de los
datos
de
forma exhaustiva, también se debenllevar
a cabo Pruebas Preliminares:L. Fiabilidad de lø unidød; mide la falta de
fiabilidad
procedente de lasuni-dades registradas.
2. Fiabilidad de los indiaiduos participøntes: precisa la falta de
fiabilidad
queproviene de las personas encargadas del trabajo.
3. Fiabilidad de una cøtegoríø únicø: estima el
nivel
en que una categoría seconfunde con otras.
4. Fiabilidød condicionøl; incide en la
fiabilidad
deun
subconjunto decate-goías
dentro de una variable.En
el
análisis de contenido,la validez
sedefine
comola propiedad
por
la que los resultados conseguidos en una investigación son consideradosirre-batibles,
y
que, además,viene
avaladapor
diversosprocedimientos
de com-probación. Enprimer
lugaq, destaca La aalidez orientadø a los datos, que sePreo-cupa del
punto
en queun
método de análisis representala información
inhe-rente a los datos disponibles ola
asociada a ésta. Estavalidez
ohece dos sub-clases: la aalidez semántica, que determina elnivel
en queun
modelo respondede
forma
idónea a los significados relevantes en un contextodeterminado,yla
aølidez del muestreo,
que evalúa
si
los
datosdisponibles
seconfiguran
comouna muestra correcta para
poder interpretarlos
como representativos del uni-verso.En segundo luga¡, se encuentrala aølidez orientadø a los resultados o aalidez pragmóticø, que estima
el
grado en queun
modelo evoluciona adecuadamente enun grupo
concreto de circunstancias. También tiene dos subclases: Ia aølidez correløcional, preocupadapor
elnivel
en que las conclusiones obtenidas graciasa
un
procedimiento
muestran correlacióncon las
de
otro,
hastael punto
depoder
intercambiarse,y
la aølidez predictiaø, que estudia el grado en el que lasA. Ga¡cía Jimérc2
P roc edimientos de evaluac ión..
@ UEM-CEES EDICIONES 13
5.
ApucncróN
ar
AuÁusls
DocUMENTAL
IJ^a
lre,
establecidos los criterios de aplicación, se pretende observar larespuesta de los distintos procedimientos de
fiabilidad
y
vabdez en el Análisis Documental a través de la aplicación teórica. Como consecuencia de losresulta-dos, queda descartado el
nivel
de congruencia-puesto
queno
estamos traba-jando con instrumentos quemidan
características, sino con métodos quedeses-tructuran los
textospara
captarla
información
recuperabley
relevante-,
asícomo la
estabilidad
-ya
que el discurso periodístico, en sentido extenso, no semodifica,
sino que presenta diferentesmodatdades-.
Lomismo
ocurre con Iareproducibilidad
-al
entender que los nuevos procedimientos de lectu¡adocu-mental solucionarián la dispersión de los resultados que hay
actualmente-
y con la exactitud--debido
a la inespecificidad de su definición en estecontexto-.
En lo que se refiere a los procedimientos de diagnóstico,la
fiabilidad
de launidad
no supone una cuestión de estudio, dada la"naturalidad"
de lasunida-des de análisis (textuales) sobre las que se va a reahzar la comprobación
empí-rica, puesto que eI trabajo se centra en la
delimitación
que hace cada periódico dela información.
Al
mismo
tiempo, Ia calidad dela
construcción de las cate-gorías analíticas se situará en lavalidez
dela
construcción;la
fiabilidad
de losindividuos
participantes no será tenida en cuenta en función de las premisasini-ciales; la
fiabilidad
de una categoría única será analizada dentro de la validez dela construcción;y, además, se demuestra
quela
fiabilidad
condicional tampocoencuentra correlato en este caso.
Por
lo
que atañe a los distintostipos
devaltdez, se elige la validezsemán-tica, en cuanto parámetro preocupado
por
la capacidad deun
sistema de inte-rrogación para reconocer y desestructurar un texto.No
obstante, se observa que esinútil
hacer acopio de los procedimientos propiamente sociológicos,por
lo que se aprovechan recursos propuestosen
anteriores trabajos.Así
pues, estetipo
devalidez
consistirá en:-
De un lado, la detección de las propuestas y argumentos del auto¡,junto
a su priorización, ambas mediante la comparación con los resultados del resto de métodos;
y
de otro, la delimitación de los objetivosy
losprincipios
ideológicos, gracias a la descripción del producto documental,la comparación con el resto de métodos y el cotejo con el cøtálogo de omisionæ28 (denominación que se da a unin-28
A. Ga¡cía Jiménez
P roc edimie nlos de evaluac ión...
ventario
pragm¿áticode
las
omisionesque
se desplieganen las
noticias, cuyaimportancia radica en que el documentalista se ve afectado en su labor también
poÌ
lo nodidro
en cada documento).-
El
estudio
del nivel de
adecuaciónal
esquemaformal del
discursoperiodísticoze, en dos vertientes: el grado de adecuación previa o caPacidad
pre-vista, a través de la comparación con todas las categorías formales, y el grado de adecuación real, mediante la comparación con los resultados.
Por su parte, la validez pragmiítica en el Análisis Documental debe
deter-minar si un modelo de lectura responde eficazmente a las demandas potenciales
del usuario
modelo,lo
que, desde un Punto de vista operativo, implica laelabe
ración deun
inventario
de demandas. Sin embargo,y
antela falta
de estudios concretos, se recurre a la vía especulativa, apoyadaen este caso en los segmentosrelevantes
del
contextoperiodístico, finalmente convertidos
en
"unidades
debgsqueda
por
significación".
En consecuencia,la medición
de las expectativas desde el plano del contenido se realizará mediante la observación y la comPara-ción de los resultaalos con la tipotogía de segmentos relevantes3O: datos relevantes;enunciados especialmente relevantes; actitudes, decisiones, tomas de posición,
características; lugar, tiempo y situación; acciones e irubrrmentos; actores activos o pasivos; causas y finalidades de acciones; implicaciones de seres, objetos,
luga-res, tiempos
y
causas,y
finalidadesde
las mismas;nivel
de
independencia ointerdependencia; efectos reales
y
potenciales; aportacióny
líneas deunión
al contexto superiory
ala memoria del sistema.En un segundo
nivel
(plano formal), se debe estimar la capacidad parapro-porcionar
respuestasa
deterninados productos
documentales, considerados"unidades de
bftqueda
formales"+íntesis,
datos factuales, inferencias, comPa-raciones yverificaciones-,
a través de una explicación porcentual de los resulta-dos. Sin embargo, no se tendrá en cuenta la validez predictiva, ante lafutilidad
de las predicciones en elAnílisis
Documental, ni la validez correlacional, por cuanto, desde unpunto
de vista operativo, el cotejo con medidas extemas no tiene cabida29
T. A. van Dijk demuestra que los textos periodísticos se configuran mediante unas categorías organizadas jerárquicamente, que delimitan la forma de inserción de los temas y que son emplea-dai por los periodistas y los lectores en diferentes momentos. Por esto, consideramos de especial relevancia para el Análisis Documental su modelización. En T. A. van Diik, L'a noticia como
discur-so..., tp. cit., pp.78-89.
30
A. Ga¡cía Jiménez
Procedimienîos de evaluación.
@ UEM.CEES EDICIONES 15
aquí. Desde una perspectiva
global,la
propia metodología de evaluación se basa en la comparación de los resultados de los distintos modelos de interrogación.El
tercernivel
es el de lavalidez
de la construcción, que en estedominio
se preocupa
por
la categorizacióry coherentey
en forma excluyente, de las cate-gorías deun
modelo analítico, así como de la capacidad de este paraexplicitar
el proceso de lectura, sin soslayar, además, su comportamiento ante lasdistin-tas particularidades de los documentos periodísticos. Por
último,
con respecto a la muestra, el cuadro de trabajo queda como sigue:L. Unidades muestrales: unidades de busqueda (por significación
y
forma-les),
unidades
estructurales de extensión(mÍnima o
menor; media;máxima
omayor), unidades
estructuralesde
géneroy
estilo3r(información
[noticia] y
reportajeobjetivo;
reportajeinterpretativo
y
crónica;artículo [editorial,
suelto,artículo firrrrado o columna,
cítica
y tribuna librel)
y unidades estructurales deordenación (unidades
de pirámide invertida
y
unidades
de
composición
enparalelo).
2. PIan de mùestreo: mientras que para la validez semántica
lo
oportuno escomprobar el funcionamiento de todas las unidades estructurales, el estudio de
la validez
pragmática se debercalizar
apartir
de estas, entrecruzadas con lasunidades de busqueda;
por
su parte,Iavahdez
de la construcción secomproba-rá
mediantela
descripcióndel
funcionamiento de cadamodelo
de análisis en cadaunidad
estructural.3. Tømøño de lø muestra.' en un
primer
momento se pensaba en la aplicaciónde las
fórmulas
al uso o en la técrtica de ladivisión
en mitades32 (técnicapor
la que,si
al
dividir
aleatoriamenteuna
muestra en dos partesde
igual
tamaño, cadauna
de ellaspermite
extraer las mismas conclusiones estadísticas dentrodel
mismo
nivel de
confianza, puede aceptarse quela
muestratotal
tieneun
tamaño adecuado).31
A partir de la tipología latina de los géneros y estilos literarios, en especial de la formulación de f. L. Martínez Albertos, Curso general de Redacción Periodísticø, ed. rev., Madrid, Paraninfo, 1991,
teniendo en cuenta, además, la interesante crítica de A. Vilamovo y F. S. Sánchez, Discurso, tipos de texto y comunicación, Pamplona, Eunsa, 7992, pp. 15&154 y t67-I62, al analizar los criterios de la tipología tradicional, su correspondencia con la realidad, la verdad referencial y la termino-logía.
32
Tul
.o-o
se propone en K. Krippen doúf , op. cit., p.101., después de revisar trabajos como los de R. Sierra Bravo, Técnicas de Inaestigación Sociøl: teoría y ejercicios,T." ed. rev., Madrid, Paraninfo,A. García Jiménez
P rocedimientos de evaluación...
@ UEM.CEES EDICIONES 16
6.
ApucncróN
DELMÉToDo
DE vALIDACIÓNDEt
ANÁ,LISIS DOCUMENIALA
pesat de las ideas barajadas en elprimer
cuadro de validación, sucote-jo
con las primeras unidades muestrales obligó amodificar
algunos supuestos.Así pues, ante la situación de la investigación, se optó Por
un
único modelo, en concreto elmodelo
de casos33, dado suvalor
contrastado como modelo delec-tura
documental en el discurso periodísticos:-
úßtrumento
(no humano, concreto, material): qué medios permiten a laacción consrunarse.
-
Agente (humano): quién practica o sufre la acción.-
Objeto (no humano): qué sufre omotiva
la acción'-
Modo
(no humano, competencia): cómo se realiza la acción.-
Lugar
(tiempo,
espacio,situación): dónde
y
cuándo se practica
laacción.
-
Producto
(nohumano, material,
competencia):cuál
esel
resultado oproducto
de la acción.-
Finalidad
(no humano, material,virtualización): cuáles
la intención ofin
de la acción rcaltzada.De
igual
modo, se efectuaron cambios no sólo en la aplicación delmode-1o
(que
serealizó con
una
ampliación
del
espectro conceptual,con
la
intro-ducción de fomras adjetivasy
adverbiales y mediante cuatro planos), sino en elpropio
cuadro empÍrico. Así, tanto el
catálogode
omisiones<omo
primera
opción-,
como su potencial sustituto, el método propuestopor
Sillinces,basa-do
enla
representación retóricay
enla
compresión delos
documentos (pocooperativo, al necesitar una investigación adhoc), no dieron resultados positivos;
33
Véase B. Pottier, Lingüísticø General: teorín y descripción,Madnd, Gredos, 1976, pp.13$146, sobre
la existencia de unos conceptos universales que identifican los juicios que los seres humanos hacen sobre la realidad, y que son adaptados en I. Cu¡ha, Do mito à análise documentária, Sao Paulo, Edusp, 1990, p. 118.
a
Seleccionado después de revisar, entre otros, los que se ProPonen en R. Barthes, "Introducción
al análisis estructural de los relatos", enI-e aoentura semiológica, Barcelona, Paidós, 7990, pp' 76}
201; P. Gui¡aud, "Les estructures élémentaires de la signification", BSL,60 (1965), pp.97-774; y A' J. Greimas, "Pour une théorie des modalités",Iangøges,43 (1976)'pp.9Ul07'
"
1. R.Sillince, "Argumentation-Based Indexing for Information Retrieval from Leame Articles",A. Ga¡cía Jiménez
P rocedimientos de evaluación.
@ UEM-CEES EDICIONES L7
por
ello,
serecurrió
al
análisis logicista de Gardin3ó,nacido del
interéspor
laarquitectua
argunental
que existe en el discurso de las Ciencias Humanas. En efecto, entendemos que es pertinente su extrapolación,ya
que se emplea parapoder
estimar la capacidad de detección argumental de cada modelo analítico.En
este caso, se aplicará en dos momentos: en su plasmación directa sobre eldocumento
analtzadoy
en la comparación con la resultante del modeloanalíti-co. También se observó que, en términos operativos, era conveniente
modificar
la
formulación
del
esquemaformal del
discursoperiodístico para
detectar la adecuaciónde
un
método de
análisis, en diversos aspectoside
estemodo,
elcuadro queda como
sigue: reslunen, acontecimientosprincipales,
consecuen-cias, antecedentes,historia,
contexto, acontecimientosprevios,
reaccionesver-bales, expectativas
y
evaluaciones.Al
mismo
tiempo, se
desecharonlas unidades de búsqueda
formales,puesto que se
advirtió
laimposibilidad
de simulación teórica tanto de los pro-ductos documentales que formabanparte de
las variablesdel Análisis
Docu-mentaldel
discu¡so periodístico, como de las técrricas tradicionales deinterro-gación37. Tl¡mbién se unificaron las unidades de búsqueda por significación (que se ciñen a: enunciados especialmente relevantes; actitudes, decisiones, tomas de
posición
y
características;lugar, tiempo
y
situación; accionese
instrumentos;actores [activos o pasivos]; causas y finalidades de acciones; implicaciones,
nivel
de independencia o interdependencia, efectos realesy
potenciales)y
seProPu-sieron unos indicadores mediante los
cuales precisarlos
resultadosde
cadamodelo,
por
1o que afecta a las interrogaciones y el cotejo con el esquemaformal
(a saber: aceptable, aceptable con reparos
o
con condiciones,regular
einsufi-ciente).
En
lo
que atañe a la validez de la construcción, hay que señalar la adiciónde otra
categoría,"información
ausente",
corrvistas
a
que
la
aplicación del modelo de casos se atenga en lo posible a cada construcción textual. Estaexpre-sión hace referencia a la
información
que escapa de forma explícita a losresul-tados
de
los distintos
modelos. Desde nuestropunto
de vista,
este apartadopuede
proporcionar
datos sobre su comportamiento, a través de lainformación
36
I. C. Gardin, "Les limites de l'analyse linguistique pour la constitution de bases de connaissan-ces dans les Sciences de l'homme", en Le cøIcul et la raison: essøis sur lø formalisation du discours
swJant, París, l/Ecole des Hautes Études en Sciences Sociales, l99l,pp'770-l7L; id., "Questions d'épistémologie pratique dans les perspectives de l'intelligence artificielle", ibid., p.64.
37 P^r^ ello se aprovechó la recopilación realizada por S. Bastos Vieira, Ia recupetøción automâticø
A. Ga¡cía Jiménez
P rocedimientos de evaluación...
@ UEM-CEES EDICIONES 18
que
no
seintroduce
(medianteel
seguimiento de los criterios de selección), eltratamiento
dela
información
potencialmenteno
relevante, las incidencias enrelación con algún
tipo
de estructura textual y las peculiaridades del proceso decomprensión en cada
unidad.
Asimismo, se
modificó
el plan de muestreo para las unidades de géneroy
estilo, en
arasde
la
adecuación teórico-práctíca, tazónpor la
quetambién
seexcluyeron las
tnidades
de ordenación en elmodelo
devalidación
(esimpro-bable que el documentalista de prensa distinga, durante el trabajo cotidiano, ese
tipo
de estructu¡ación). Laultima
cuestión se centraba en las rmidades deexten-sión, que fueron elegidas de modo especulativo a
partir
del estudio que serea-lizó sobre posibles unidades de muestreo y que, finalmente, fueron modificadas.
De iguat modo,
se estudiaron cuatro muestras en cadaunidad
de análisis, lassuficientes
para
extraer conclusiones quepermitieran
r-rnavisión
de
conjunto sobre cadaunidad
de registro.Como conclusión general,
hay
que resaltar la complejidad que comporta la descripción de los procesos analizados, así como la ausencia deuniformidad
en la traslación (dônde, en realidad, no se explican los mecanismos de lectura),hecho que podría solucionarse de la mano de modelos nor:ntalizados. En lo que afecta al
propio
mecanismo de validación, presentamos el cuadro de trabajo:-
Vatidez semántica. Examinala
capacidaddel método de
análisis paracaptar las ideas expuestas en el documento a través del análisis logicistar 