Sintetizador Paramétri o
Multidispositivo de
Lengua de Signos Española
por
D. Fernando Jesús López Colino
Tesis presentada para laobten ión del
grado de Do tor
en el
Departamento de IngenieríaInformáti a
Es uela Polité ni aSuperior
Universidad Autónomade Madrid
Dire tor de la Tesis
Dr. José ColásPasamontes
AUTOR: D. Fernando Jesús López Colino
DIRECTOR: Dr. José Colás Pasamontes
El tribunalnombradoparajuzgarlatesisdo toral antes itada, ompuestopor
los do tores:
PRESIDENTE:
SECRETARIO:
VOCALES:
a uerda otorgarlela ali a ión de
apare erenestepuntodelastesisdo torales.Porestarazónhede ididomen ionara
todaslaspersonasquemehanapoyado,deunauotramanera,enesteperiodo.Creo
quea todosellosles hehe ho llegarmi agrade imiento, de ualquier modo,gra ias.
ALaura.
APilar yFernando, también ono idos omo MamáyPapá.
APepe, omodire tor de estetrabajo.
AmihermanoRamiro,mis abuelosMarta,Meli,FernandoJesús yJoséyalresto de
familia.
Ala SeniorSta delHCTLab: Javier, Pepe,Ángel yGuillermo.
Al resto de ompañeros del departamento: Alberto, Alejandro, Daniel, David,
Fer-nando,Ismail,Javier, Jordi,Santiago ySusana.
A los profesionales de la FCNSE yde laa ademia SIGNAR, en parti ular a
Almu-dena.
Atodoslos quehan realizadoexperimentos.
AYuli yDaniel,dadoquesinsugran exibilidadytoleran iaamis fallos,nohabría
apenas unadé ada, periodoen el ual hansurgido numerosasaproxima iones a este
tema.Laté ni amásutilizadaeslasíntesisparamétri a, dondesepartede una
des- rip ióndelossignosenfun ióndelossieteparámetrosformativosquinési os(PFQ)
quelos onforman. Aunque esta té ni ano produ e los resultados más naturales, si
esla úni a que ofre e la exibilidad ygrado de ontrol ne esariospara gestionar la
omplejidad delalengua de signos,razón por laqueha sidoelegida paraestatesis.
Los sintetizadores paramétri os a tuales utilizan una adapta ión a XML de las
nota ionesi onográ as quedes ribenlosPFQdelos signosasintetizar. Esta
apro-xima iónesequivalente a lasíntesis devoz, enlaque seutilizauna nota ión grá a
pararepresentar los fonemas. El uso de esta aproxima iónpresenta iertos
in onve-nientes,tales omoquelades rip ióndeunmensajeasintetizaresunatarea ompleja
olafalta de de ni iónen ladimensióntemporal delos signos: ada uno delos PFQ
sede nen omounase uen ia deunidades en lasqueesne esario de nirelinstante
enqueserepresentan adaunadeellas;deigualmodo,lasíntesisdelenguadesignos
requiere delade ni ión de puntosde sin roniza ión entredi has se uen ias.
En este trabajo afrontamos la síntesis paramétri a de lenguade signos desde una
nuevaperspe tiva.Paraobtener mayor pre isiónen lade ni iónde lossignoshemos
optadoporelusodeunabasededatosrela ionalparasualma enamiento.Estabase
dedatosnosólopermitedisponerdedes rip ionesmáspre isas,detalladasy exibles,
sinoqueademáspermitede nirrepresenta ionesparalelas,tantodelospropiossignos
omodelosPFQ,gra iasalos ualessepueden ontemplarenlamismabasededatos
larepresenta ión de los signos en distintos idiomas o diale tos yafrontar lasíntesis
devariantes emo ionalesparalossignos. Unamayor exibilidadde lasdes rip iones
delossignos, permitequelosexpertoseneste modode omuni a ión, espe ialmente
signantes nativos, parti ipen tanto en la evalua ión omo en la propia de ni ión de
lossignos. Paraello sehadiseñado un onjunto de apli a ionesespe í aspara esta
tarea.Dado quelanota ión de entrada ya no debe des ribir los signosmediante los
PFQ,podemosde nirunanota ióndeentradaenunnivelsuperiordeabstra ión,lo
quefa ilitalades rip ióndemensajesenlenguadesignos.Estanuevanota ión,que
hemosdenominado HLSML, ontemplalastres unidades semánti as delalengua de
signos: di ionarioda tilológi o,signosestable idos y onstru iones lasi atorias.
Junto on las novedades anteriores,este sintetizadorpresenta, además,dos
se re ere a la arquite tura del sintetizador: la mayoría de los sintetizadores
a tua-les se han planteado omo apli a iones de PC presentando determinados requisitos
grá osy omputa ionalesquedifí ilmente puedensersoportadospor undispositivo
móvil; este trabajo aporta una arquite tura modular que permite distribuir el
pro- eso de síntesis entre un servidor dedi ado yel dispositivo del liente, adaptándose
a losre ursos de éste.La segundaafe ta aldiseño delavatar: los avatares utilizados
en otros sintetizadores utilizan una estru tura esqueléti a estándar que úni amente
ontempla la anima ión del propio avatar; el diseño propuesto in luye un onjunto
de huesos espe iales quefa ilitan tanto laanima ión del avatar omo lades rip ión
A ta v
Agrade imientos vii
Resumen ix
Índi e General xi
Lista de Figuras xvii
Lista de Tablas xix
I Introdu ión y Ante edentes
1. Introdu ión y motiva ión 3
2. Fundamentos teóri os 7
2.1. Parámetros formativosquinési os . . . 7
2.2. Clasi a ión de lasunidades de lasLS . . . 10
2.2.1. Clasi adores o onstru iones lasi atorias . . . 12
2.2.1.1. Clasi adores nominales . . . 12
2.2.1.2. Clasi adores intro exivos . . . 13
2.2.1.3. Clasi adores i óni os . . . 14
2.2.1.4. Clasi adores a jales . . . 16
2.3. Nota iones paralades rip ión delos signos . . . 18
2.3.1. Nota ión Stokoe . . . 18
2.3.2. Nota ión SignWriting . . . 19
2.3.3. Nota ión HamNoSys . . . 20
2.3.4. Nota ión SEA . . . 22
2.3.5. Nota ión Sz zepankowski . . . 23
2.3.6. Resumen de las nota iones. . . 24
2.4. Con lusión . . . 25
3. Estado del arte 27 3.1. Usode laLS enlos medios. . . 27
3.1.1. Usodenota iones . . . 27
3.1.2. Vídeosdepersonas . . . 28
3.1.2.1. Síntesisde vídeo por on atena ión de unidades . . . 29
3.1.3. Anima iónde personajesvirtuales . . . 30
3.1.3.1. Té ni as deanima ión de personajes. . . 31
3.1.3.2. Alternativasen lasíntesis basadaen avatares . . . 34
3.2. Síntesis paramétri ade signos . . . 35
3.2.1. Avatares . . . 36
3.2.1.1. Avatares par iales . . . 36
3.2.1.2. Avatares ompletos . . . 39
3.2.2. Alma enamiento de signos . . . 46
3.2.2.1. Nota iones . . . 46
3.2.2.2. Basesde datosrela ionales . . . 48
3.3. Síntesis de lasi adores . . . 49
3.4. Evalua iónde mensajessintéti os . . . 51
II Des rip ión del Sintetizador Paramétri o 4. Formaliza ión 57 4.1. Formaliza ión de los PFQ . . . 57
4.1.1. De ni iónde lossignos re ono idos yde lada tilología . . . . 66
4.2. Formaliza ión de los lasi adores . . . 66
4.3. Formaliza ión de lasíntesisemo ional . . . 69
4.4. Con lusión . . . 70
5. Arquite tura del sintetizador 73 5.1. Arquite tura delsintetizador . . . 73
5.1.1. Parser de HLSML . . . 73
5.1.2. Basede datosrela ional . . . 74
5.1.3. Servidorweb . . . 75 5.1.4. Síntesisde gestos . . . 75 5.1.5. Render . . . 78 5.1.6. Visualiza ión . . . 79 5.2. Síntesis distribuida . . . 79 5.3. Resumen. . . 82 6. Avatar 83 6.1. Esqueleto . . . 83 6.1.1. Des rip ión . . . 84
6.1.2. Nuevas lasesde huesos . . . 85
6.1.2.1. Huesode lamuñe a . . . 86
6.1.2.2. Huesosdire ionales . . . 86
6.1.2.4. Huesos parala dete iónde olisiones . . . 88
6.2. Malla . . . 89
6.3. Prin ipales se ionesdel avatar . . . 92
6.3.1. Mano . . . 92
6.3.2. Cabezay ara. . . 94
6.3.3. Brazos y uerpo . . . 96
6.4. Avatares de nidos . . . 97
6.5. Resumen. . . 99
7. Base de datos rela ional 101 7.1. Estru tura . . . .101
7.2. Des rip iones paralelas . . . .105
7.2.1. Varia iones de idiomaydiale tales . . . .106
7.2.2. Varia iones emo ionales . . . .107
7.2.3. Varia iones genéri as . . . .108
7.3. Resumen. . . .109
8. HLSML. Nota ión de entrada 111 8.1. Des rip ióndelHLSML . . . .111
8.1.1. Des rip iónde una se uen iade signosestable idos . . . .112
8.1.2. Des rip iónde un signomediantesus PFQ . . . .112
8.1.3. Des rip ióndel di ionarioda tilológi o . . . .115
8.1.4. Des rip iónde los lasi adores enHLSML . . . .115
8.1.4.1. Clasi adores nominales . . . .116
8.1.4.2. Clasi adores intro exivos . . . .116
8.1.4.3. Clasi adores i óni os . . . .117
8.1.4.4. Clasi adores a jales . . . .119
8.1.5. De ni ión de varia iones yelementosprosódi os . . . .121
8.2. Compara iónde HLSML on SiGML ySWML . . . .123
8.3. Resumen. . . .126
9. Módulo de síntesis de gestos 127 9.1. Pro eso desíntesisydependen iasentrePFQ . . . .127
9.2. Cinemáti a inversa . . . .129
9.2.1. De ni iones . . . .130
9.2.2. Cál ulo inemáti o . . . .132
9.2.2.1. Cál ulo del ángulodel odo . . . .133
9.2.2.2. Cál ulo de larota ióndelhombro . . . .133
9.2.3. Rela iones . . . .133
9.2.3.1. Hombro:rango válido yrangoóptimo . . . .134
9.2.3.2. Muñe a . . . .135
9.2.3.3. Fórmula nal. . . .137
9.3. Resolu ión de olisiones . . . .137
9.3.2. Volumen de olisión . . . 138
9.3.3. Algoritmoapli ado . . . 139
9.3.4. Resolu iónde olisiones durante la inemáti ainversa . . . 141
9.4. Resumen. . . 142
III Experimenta ión y Evalua ión 10.Evalua iones objetivas 145 10.1.Evalua iónde laanima ión entiempo real . . . 145
10.1.1. Tasade refres osegúnel número delpolígonosde lamalla . . . 146
10.1.2. Tasade refres osegúnel tamañode laventana . . . 146
10.2.Tiemposdeeje u ión de ada se ióndel pro esode síntesis . . . 148
11.Evalua iones subjetivas 151 11.1.Capa idad expresivay omuni ativa de la aradelavatar . . . 151
11.1.1. Comprensiónde lale turade labios . . . 152
11.1.2. Naturalidad enelmovimiento de labios . . . 153
11.1.3. Expresionesfa iales . . . 154
11.2.Representa ión de latensión. . . 155
11.2.1. Tensión en la on gura ión . . . 155
11.2.2. Tensión en elhombro . . . 157
11.3.Evalua iónsignosaislados . . . 158
11.3.1. Respuestaabierta . . . 159
11.3.1.1. ResultadosdelavatarYuli . . . 159
11.3.1.2. ResultadosdelavatarDaniel . . . 160
11.3.2. Respuesta errada . . . 161
11.4.Evalua ionfrases . . . 162
11.4.1. Frases ompuestas por se uen ias de signosestable idos . . . . 163
11.4.2. Clasi adores . . . 164
11.4.3. Varia iones emo ionales . . . 164
11.5.Informe delaFunda ión CNSE . . . 167
11.6.Resumen de losresultados . . . 168
IV Herramientas y Apli a iones Desarrolladas 12.Apli a iones para la genera ión de ontenido 173 12.1.Contenido de niveles ter eroy uarto . . . 173
12.2.Contenido de niveles primeroysegundo . . . 175
13.Herramientas auxiliares 179 13.1.Apli a ión IKy ontrol de olisiones . . . 179
14.Apli a iones de usuario 183
14.1.Apli a ión paraPC. . . .183
14.2.Apli a ión paraPo ketPC . . . .185
14.3.Visualiza ión en NintendoDS Lite . . . .185
V Con lusiones y Trabajo Futuro 15.Con lusiones 189 15.1.Resumen de aporta iones . . . .189
15.1.1. Diseño modulardelsintetizador . . . .189
15.1.2. Estru tura delavatar. . . .190
15.1.3. Base de datosrela ional . . . .190
15.1.4. Nota ión deentrada: HLSML . . . .191 15.1.5. Síntesis de emo iones. . . .191 15.1.6. Herramientas desarrolladas . . . .191 15.1.7. Resultados obtenidos . . . .192 15.2.Publi a iones . . . .192 15.2.1. Publi a iones na ionales . . . .192 15.2.2. Publi a iones interna ionales . . . .193 16.Trabajo futuro 195 Apéndi es A.Glosario de abreviaturas 201 B.Quaternions 203
C.Diagrama detallado de la base de datos rela ional 205
D.Jerarquía de los elementos de nidos en HLSML 209
E. Informe de la Funda iónCNSE 211
2.1. Algunas on gura iones utilizadasen laLSE. . . 9
2.2. Di ionario da tilológi o en LSE. . . 11
2.3. Ejemplo de signos re ono idos o estable idos. . . 12
2.4. Ejemplo de lasi ador a jal. . . 17
2.5. Ejemplos delanota ión Stokoe. . . 19
2.6. Ejemplos delanota ión SignWriting. . . 19
2.7. Ejemplos delanota ión HamNoSys. . . 20
2.8. Estru tura de SEA. . . 22
2.9. Ejemplos delanota ión SEA. . . 23
2.10. Ejemplos delanota ión Sz zepankowski. . . 24
3.1. LSE en un heroGIF.. . . 28
3.2. Fotogramas de una pelí ula animada deLSE. . . 31
3.3. Dispositivo de aptura. . . 32
3.4. TESSA yVISIA.Avatares animadospor apturade movimientos. . . 35
3.5. Arquite tura bási a deun sintetizador paramétri o. . . 36
3.6. De ni ión uni adade esqueletoymalla. . . 39
3.7. Anima ión esqueléti a. . . 40
3.8. Estru turas esqueléti as utilizadasparalaanima ión deavatares. . . 42
3.9. Distintosavatares utilizadospara lasíntesisde signos. . . 45
3.10. Simula ión de unaes ena es aladaalespa iode signado. . . 50
4.1. Varia ión emo ional en elPFQ on gura ión. . . 59
4.2. Ejemplo de desvin ula ión jerárqui a.. . . 60
4.3. Sistema de oordenadas de laes ena tridimensional. . . 61
4.4. Distintasvaria iones de unmovimiento re tilíneo. . . 63
4.5. Varia iones emo ionales de unmovimiento. . . 64
4.6. De ni ión delespa iode signado. . . 68
5.1. Arquite tura delSintetizador de LSEpropuesto.. . . 74
5.2. Detalle delmódulo desíntesisde gestos. . . 76
5.3. Reparto detareas entre liente yservidor. . . 80
5.4. Distribu ión de argas depro eso enlas uatro alternativas. . . 81
6.1. Compara ión deldiseño esqueléti o apli ado alas manosdel avatar.. 87
6.3. Diagrama de loshuesos que omponen lamano. . . 93
6.4. Diagrama de laspartes de la aradeformables. . . 95
6.5. Se iones dependientes de ada huesodel ontorno dela bo a. . . 96
6.6. Compara ión de losesqueletos delos avatares. . . 98
6.7. Compara ión de lasmallas delos avatares. . . 99
7.1. Diagrama simpli ado de labasededatos. . . 102
7.2. Diagrama detallado delabase dedatos. . . 106
7.3. De ni ión de varia iones dialé ti as. . . 107
7.4. De n ión devaria iones emo ionales. . . 108
8.1. Ejemplo HLSML: Se uen ia de signosestable idos. . . 113
8.2. Ejemplo HLSML: De ni ióndinámi a de unsigno. . . 114
8.3. Ejemplo HLSML: Deletreo. . . 115
8.4. Ejemplo HLSML: Clasi adorNominal. . . 117
8.5. Ejemplo HLSML: Clasi adorIntro exivo. . . 118
8.6. Ejemplo HLSML: Clasi adorI óni o. . . 120
8.7. Ejemplo HLSML: Clasi adorA jal. . . 122
9.1. Diagrama de laestru tura esqueléti a delbrazo. . . 131
9.2. Gausianas detensióndel hombro. . . 135
9.3. Tensión delhombro en fun iónde
Φ
yS2
. . . 1369.4. Poliedros de olisión. . . 139
9.5. Ve tor de tenden ia. . . 140
9.6. Ve tor de salida. . . 141
10.1. Evalua iónde latasa derefres o segúnlospolígonosdelavatar. . . . 147
10.2. Evalua iónde latasa derefres o segúneltamaño dela ventana. . . . 148
11.1. Algunas de lasexpresiones utilizadasen laevalua ión11.1.3 . . . 154
11.2. Imagen utilizada enla pregunta 6de laevalua ión 11.2.1 . . . 157
11.3. Fotogramasde los vídeosutilizadosen laevalua ión 11.2.2 .. . . 158
12.1. Apli a ión de aptura paralosPFQ. . . 174
12.2. Apli a ión de genera ión de ontenido:Vistageneral. . . 176
12.3. Apli a ión de genera ión de ontenido:De ni ión de PFQ. . . 178
13.1. Apli a ión auxiliar: Desarrollo deIK. . . 180
13.2. Apli a ión auxiliar: Transi ión de Orienta iones.. . . 181
14.1. Apli a ión de síntesisparaPC. . . 184
14.2. Apli a ión paraPDA. . . 185
14.3. Visualiza ión de lasíntesisen unaNintendoDS Lite. . . 186
B.1. Resultado delainterpola iónde quaternions. . . 204
2.1. A iones onstruidas durante la representa ión deun diálogo. . . 15
2.2. Combina iones de lasunidades expresivasen HamNoSys. . . 21
2.3. Resumen de lasdistintasnota iones paralades rip iónde los signos. 25 3.1. Prin ipales zonasde aten ión uando seobservaun mensaje signado. 32 3.2. Rela iónentrelos fonemas ylosvisemas delespañol. . . 38
5.1. Es enarios distribuidos:Detalle de las argas de pro eso. . . 82
6.1. Desglose de loshuesos utilizadosen elavatarpor ubi a ión. . . 84
6.2. Desglose de loshuesos utilizadosen elavatarsegún fun ión. . . 89
6.3. Des rip iónde lamalladel avatarDaniel. . . 90
6.4. Compara ión entre losesqueletos de losavatares Yuli yDaniel. . . . 97
6.5. Compara ión entre lasmallas de losavatares Yuli yDaniel. . . 97
10.1. Des rip ióndelordenador utilizado paralaevalua ión 10.1.1 . . . . .146
10.2. Des rip iónde losordenadores utilizadosparalaevalua ión 10.1.2 . .146
10.3. Tiempomedio de síntesis endistintasunidades de laLSE. . . .149
11.1. Tasa dea ierto enel re ono imiento delmovimiento labial. . . .152
11.2. Resultados de alidad paraelmovimiento labial on sonido. . . .153
11.3. Resultados de alidad para elmovimiento labialsin sonido. . . .154
11.4. Por entaje de respuestaspara laevalua ión de expresiones fa iales. .156
11.5. Resultados de laevalua ión detensión enlamano. . . .157
11.6. Resultado delaevalua ión de tensiónen elbrazo. . . .159
11.7. Resultados test derespuesta abierta on Yuli. . . .160
11.8. Resultados test derespuesta abierta on Daniel. . . .161
11.9. Resultados test derespuesta errada on elDaniel. . . .162
11.10. Resultados deltest de frasesen LSE. . . .163
11.11. Resultados de lostest de los lasi adores. . . .165
11.12. Varia iones temporalesen lasíntesis emo ional. . . .166
11.13. Resultados test desíntesisemo ional para lafrase1. . . .166
11.14. Resultados test desíntesisemo ional paralafrase2. . . .166
11.15. Resumen de lasevalua iones subjetivas. . . .169
12.1. Tiempo mediode de ni iónde un signo. . . 176
13.1. Transi ionesentreorienta iones. . . 181
Introdu ión y motiva ión
La legisla ión española re ono e laLengua de Signos Española (LSE) yestable e
el dere ho de las personas sordas al a eso a la informa ión según sus preferen ias,
in luida la LSE [38 , 39 ℄. Como onse uen ia de esta normativa se estable e, entre
otros, lapresen ia de un intérprete en los a tos públi os, subtitulado en LSE yque
los ontenidosdetodoslosdo umentoso ialesseana esiblesenLSE.Sinembargo,
a tualmenteelúni oespa iotelevisivosubtituladoenLSEeseldebatesobreelestado
de lana ión, además de los programas espe ialmente reados para personas sordas,
uyospresentadoresutilizanLSE.Tampo olaspáginaswebpertene ientesadiversas
institu ionesdel estado español umplen esta normativa
1
.La ausa de esta falta de
adapta iónsedebeaqueelúni osistemaquepermitegenerar ontenidosignado on
lasu iente alidad parasera eptado por la omunidad sordaestábasadoenvídeos
de personas, presentando ademásel in onveniente deun elevado oste e onómi o de
produ iónyfaltade exibilidad.Supongamosquesegeneraunvídeopor adaunade
laswebso ialesdelestado, omunidades,ayuntamientos,et .;ademásdelosnuevos
ontenidosgenerados adadía, ualquiermodi a iónrealizadasobrealgunadeestas
páginas,impli aría una nueva graba ión envídeo, aloque seañade laproblemáti a
rela ionada on la gestión, alma enamiento y transmisión de ontenidos en vídeo.
La solu ión ideal para este problema impli a el uso de un módulo de tradu ión
entre lalengua oral yla lengua de signos, junto on un sintetizador. Si no se parte
de texto, es ne esario in luir, además, un re ono edor de voz. El desarrollo de un
módulo de tradu ión se ve afe tado por la ausen ia de una teoría que re oja en
su totalidad la asuísti a de la lengua de signos. Una posibilidad para afrontar la
1
Aunquelaspersonassordaspuedenleer,sugradode omprensiónnoesequivalenteaunapersona
oyente.Esto esdebidoa queel textoenespañol no siguelaestru turagramati al, niorganiza la
informa ión delmismo modo que laLSE. El efe to essimilar a tomar una ora iónen español y
tradu ión automáti a, redu iendo la dependen ia de esta formaliza ión, sebasaría
en el usode té ni as de aprendizaje automáti o, que tienen el in onveniente de que
requieren gran antidad de informa ión re ogida en ambaslenguas, material que no
está disponible. Junto a estos problemas, que pueden darse in lusive al afrontar la
tradu ión entre dos lenguas orales, hay que añadir que la lengua de signos es una
lenguavisual,porloque,nopuedeapli arseexa tamenteelmismoparadigmaqueen
latradu iónentrelenguasorales.Lossistemasdetradu ióna tualessólopresentan
solu ionespar iales, restringiendoel pro esoa dominiosmuy on retos.
Lasíntesisdelenguadesignosesunpro esomedianteel ualsegeneraun ontenido
visual que representa un determinado mensaje siguiendo las reglas de di ha lengua
de signos. Se puede onsiderar que la síntesis de signos es una parte espe í a de
la síntesis de gestos. No todos los gestos son ne esariamente signos; un signo es un
gestoquerepresentaun on eptoyquees omúnmentea eptadoenunadeterminada
omunidaddepersonassordas.Lasíntesisautomáti adelenguadesignosimpli aque
la genera ión de di ho ontenido visual se reali e sin lainterven ión dire tade una
persona. Este ampo de investiga ión ha experimentado un gran auge en la última
dé ada, siendo prá ti amente inexistente on anterioridad.
Afrontarlasíntesisautomáti adelenguadesignosrequiereelmanejodedis iplinas
tan dispares omo son la anima ión por ordenador y el pro esamiento del lenguaje
natural. Aladi ultad de tenerque afrontardosdis iplinas tan diferentes omo las
anterioreshabríaqueañadir quelosestudioslingüísti ossobrelalenguadesignosno
tienen la solidez presente en los estudios de las lenguas orales, en ontrando teorías
dispares para de nir la morfología, sintaxis y gramáti a de las lenguas de signos,
loque ompli a larealiza iónde unaformaliza ión de lasíntesis designos, requisito
previoenunpro esodeautomatiza ión.Debidoaestasdi ultades,puedejusti arse
elhe hodequehayansidomuypo oslosgruposquehayanafrontadoenprofundidad
este pro eso.
Dadoque, elpro eso ompletono estádisponible debidoaladi ultadde realizar
una tradu ión automáti a, valoremos una solu ión intermedia. Supongamos quese
realiza una tradu ión manual más una síntesis automáti a, el pro eso sería más
baratoy exiblequeelusodevídeo,sinembargo,estasolu ión,quepermitiríagenerar
ontenidosenLSE,tampo oesutilizada.Larazónquehemosen ontradoparaelloes
quelos sintetizadores sehan desarrolladoprin ipalmente omomódulosen sistemas
ompletos utilizando una des rip ión paramétri a de los signos y, por lo tanto, la
de ni ióndelmensajea sintetizar noestrivial. Además,estossistemas nopermiten
extraídas de las opiniones manifestadas por personas sordas, quienes realmente son
alos quevadirigida lasíntesis.
Otro obstá ulo a superar es el re hazo entre la omunidad sorda a los avatares
no ya por el he ho de que sea un personaje digital el que presente el mensaje, ya
que hemos observado que vídeos de avatares animados manualmente tienen mayor
gradodea epta ión, sino porque elmodode anima iónesdiferenteenambos asos:
laanima iónparamétri ageneraunresultado onunaspe todemasiadoarti ial,lo
quepenalizalaper ep iónque losusuarios tienende lasíntesis.
Por último, los sistemas de síntesis a tuales se han diseñado omo apli a iones
para PC. La a tual tenden ia de la so iedad se de anta por el uso de dispositivos
portátiles, ya seannetbooks,UMPC oPDA.Estos dispositivospermitena eso ala
informa ión en ualquier lugar,perolamayoría no disponen de los re ursosgrá os
y de pro esamiento ne esarios para gestionar todo el pro eso de síntesis de lengua
de signos. Este he ho impide el a eso a la informa ión presentada omo mensajes
signados. La gran diversidad de dispositivos ompli a la posible adapta ión de los
sistemasde síntesis a tualesa mu hosdeestosdispositivos.
En resumen, el siguiente paso en lasíntesis de signos y motiva ión de esta tesis,
onsiste ensubsanar las de ien ias existentesen lossistemas a tuales.
Enestetrabajoproponemos unsintetizadorbasadoenunplanteamiento mixto:la
des rip ión de los signoses paramétri a pero serealiza de forma manual. Para que
ajustestales omo lade ni iónde laevolu ión temporal delos signos(no permitida
enlasnota ionesa tuales)puedanserrealizadasporexpertosenLSE.Dadoqueestos
expertos notienengeneralmentegrandes ono imientosinformáti os,sehadiseñado
un onjunto de apli a iones que permiten realizar estas tareas a nivel de usuario
bási o. Por otra parte, seha trabajado en la de ni ión de una nota ión de entrada
para des ribir de forma sen illa mensajes en LSE, siendo ésta una de las aren ias
de lossistemas a tuales. Además,laarquite tura del sintetizador seha desarrollado
teniendo en uenta la adapta ión del pro eso de síntesis a dispositivos on distinta
apa idad de pro eso, lo quefa ilitará disponer de mensajessintéti os en lengua de
signosen dispositivosmóviles.
Otros aspe tos que se han abordado en esta tesis han sido el desarrollo de un
avatar on ara terísti as espe í as para la síntesis de signos, la de ni ión de las
modi a iones ne esariaspara generarvaria iones prosódi as ylarepresenta ión de
Fundamentos teóri os
A lo largo del periodo de elabora ión de esta tesis, ha quedado de mani esto
la gran variedad de aproxima iones on las que se aborda el estudio lingüísti o de
las lenguas de signos (LS). El estudio de los distintos niveles de las LS ha sido
abordado desdevariospuntosde vistadando lugara diferentes teoríasparaexpli ar
lamorfologíadelossignos,lasunidadessintá ti asein lusolamaneraderepresentar
los signos. Pare e ne esario realizar una revisión ala omponente teóri ade laLSE
paraofre er alle torunavisióngeneral delaproblemáti areferenteala rea iónde
unsintetizador designos.
En primer lugar se dis utirá la estru tura interna de un signo mediante la
des- rip ión de los parámetros que onforman los signos gestuales. A ontinua ión se
enumerarán las distintas unidades presentes en el dis urso signado. Di ha
lasi a- ión serealizará atendiendo a las propiedades sintá ti o-semánti as de estas
unida-des. Por último se repasarábrevemente las prin ipalesnota iones existentes parala
des rip iónde los signos.
2.1. Parámetros formativos quinési os
Se denominan Parámetros FormativosQuinési os (PFQ) a loselementos
arti ula-torios que on guran el signo gestual. La literatura ha e referen ia en o asiones a
estosparámetros utilizandoeltérmino fonemas,peroeste usoesin orre to y
pro-vienede las aproxima iones alestudio de las lenguas de signosdesde la perspe tiva
del estudio de las lenguas orales. La evolu ión en el estudio de la lengua de signos
permite diferen iar tres etapas en el nivel de detalle on la que se ha abordado el
La primera de ellas es la etapa previa a ualquier estudio lingüísti o sobre las
LS. Los signos eran onsiderados omo una unidad indivisible y no se estudiaban
elementos bási os que los formaran. Es interesante resaltar eltrabajo de Fernández
Villalibre [34℄, quien presenta en 1851 el primer di ionario de signos para la LSE.
Endi ha obrasimplemente serealizauna des rip iónsobrelamaneradegenerar los
signossin atenderen ningúnmomento a unade ni ión formaldesu estru tura.
La siguiente etapa omienza en 1960 tras los estudios de William Stokoe. En su
obra Sign Language Stru ture realiza el primer estudio de la LS [97 ℄. Los PFQ que
seidenti an enestaetapasonellugarde arti ula ióndelsigno,la on gura iónde
lamano yelmovimiento de lasmanos en eldesarrollodelsigno. Posteriormente, en
1973, Battison[ 9℄ introdu e un nuevoparámetro, laorienta ión de lamano.
Por último, la ter era etapa a partir de 1990, en la que nos en ontramos en la
a tualidad. Aquí, el número de PFQ se amplía hasta siete, añadiendo el plano de
arti ula ión, el punto de onta to y los omponentes no manuales. Así mismo, se
estudianlas rela ionesdesimultaneidad yse uen ialidad delos PFQque omponen
lalenguadesignos.Aestaetapapertene enlosestudiosrealizadosporMuñoz[80,81℄.
Por lo tanto, si deseamos afrontar la síntesis de ualquier lengua de signos, se
deberáteneren uenta estossieteparámetros:
Queirema, forma o on gura ión de la mano o manos que intervienen en la
arti ula ión delsigno (Figura2.1 ).Este parámetro estáde nido por la exión
de las arti ula iones de los dedos. Cada LS posee suspropias on gura iones,
onstituyendo un sub onjunto de entre todas las posibles. En el estudio
pro-puesto por Muñoz [80℄ sepresentan setenta yuna on gura iones distintas en
laLSE.Estenúmeroharesultadoserinsu iente,yaquedurantedi hoestudio
seomitieronun onjuntode on gura iones quepueden ser onsideradas parte
de la gesti ula ión no lingüísti a, omo son las formas de la mano relativas
a la representa ión de los números. Además, di ho estudio no in luye iertas
on gura iones de nidas en eldi ionarioda tilológi o interna ional.
Se observa queen lasLS iertas on gura iones sólo apare en al omienzo de
los signos y otras sólo al nal. También se de nen pares de on gura iones
que se eje utan de manera onse utiva. Además el número de on gura iones
utilizadasen lamano dominanteesmuysuperior alutilizado enla manobase
o no dominante. Como veremos posteriormente, estos últimos fa tores no son
Figura2.1: Algunas on gura iones utilizadasen laLSE.
Queirotroponema u orienta ión de la mano o manos que intervienen en la
ar-ti ula ión de los signos. Siempre tomando omo referen ia el uerpo del
sig-nante. Este es un parámetro que no ha sido estudiado on detalle en la LSE.
Lasrota ionesde muñe aserealizanenlos tresejesdelespa io,en ángulos de
aproximadamente
45
◦
,generandoun total de
208
posibles orienta iones.Toponema, lo aliza ión o lugar de arti ula ión referido a laposi ión donde se
arti ulanlossignos.Lade ni ióndeesteparámetroutilizaunpuntoanatómi o
del uerpo del signante omo referen ia para estable er la posi ión donde se
arti ula el signo, aunque no es pre iso quehaya onta to físi o. El espa io en
el que se arti ula el signo se en uentra frente al uerpo del signante y o upa
aproximadamente desdela inturahastalaparte superior dela abeza,siendo
es asos los signos que se salen de este espa io. Es importante señalar que un
ambio en la lo aliza ión, in luso entre zonas no muy distantes, impli a un
ambio designi ado importante. Podemos de nir uatro áreas prin ipales en
laquese en uentranestos puntos dereferen ia: abezay uello, tron o,brazo
nodominanteymano nodominante.
Esquedema o plano, ha ereferen ia a la distan ia delpunto de arti ula ión al
uerpo del signante. Por lo tanto, tiene rela ión dire ta on la extensión de
los brazos al arti ular los signos. Se onsideran uatro planos prin ipales: el
primero onstituye el plano que o upa el uerpo del signante; el segundo se
sitúaaproximadamentealadistan ia queseen uentrael odo;elter eroha ia
lamitaddelantebrazoyel uarto,elqueseal anza onelbrazo ompletamente
Haptonema opuntode onta to entrelamanodominantedelintérpreteyotras
partes del uerpo. No apare e en todos los signos y tiene gran varia ión
en-tre distintas LS. Este PFQ también interviene en la de ni ión espa ial de la
posi iónde lasmanos enla eje u ión delsigno.
Kinemaomovimiento delasmanosdelsignanteenlarealiza ióndelossignos.
Esteparámetroeselmás omplejodedes ribir,debidoaqueesne esario
repre-sentartantolatraye toriaquetomanlasmanos omolavelo idadya elera ión
delmovimiento.Normalmentesede nelatraye toriademaneraaproximadaasí
omoalgunos valorespreestable idospara lavelo idadyla tensiónmus ular.
Componenteno manual.Este PFQha ereferen ia ala expresión fa ial,
movi-mientos de abeza, hombros y tron o. En ontramos signosen los que apare e
más de un omponente no manual, tanto de forma simultánea omo de
for-mase uen ial. La utiliza ión del omponenteno manual aportavaria iones al
signi ado delsigno,además de naturalidadyexpresividadalmensaje.
2.2. Clasi a ión de las unidades de las LS
Lasunidadesque omponenlasLSpuedenser lasi adasentresgruposprin ipales
atendiendoaunanálisissemánti odelainforma iónquerepresentaesaunidad.Esta
segrega ión deja de mani esto, para la mayoría de los asos, una rela ión dire ta
entreel ontenido semánti o yla omplejidad en lades rip ióndel signo.Estos tres
grupos, enumerados demenor a mayor omplejidad son:
Eldi ionarioda tilológi o.EsteelementodentrodelasLSeslarepresenta ión
delalfabetode laslenguas oralesmediante signosgestualesmonomanuales. La
genera iónde ada una delas letrasimpli a lade ni iónde una on gura ión
yunaorienta ión,re ibiendolos PFQlo aliza ión,plano ypuntode onta to,
valores preestable idosy omunes a todaslas letras. Algunas de las letras
re-quierenlade ni ióndemovimiento ovaria ionesen laorienta ión delamano
(Figura 2.2).
La eje u ión de di ho di ionario serealiza on lamano prin ipal.Durantela
eje u iónde unase uen iadeletrasutilizando estedi ionarioin uye,engran
medida,laintera ión onelinterlo utorquepuededarlugaraunainterrup ión
enlase uen iadeletras,siel on eptoqueseestádeletreandohasidoentendido
Figura2.2:Di ionarioda tilológi oen LSE.
Lossignosestable idos.Estos elementosposeentanto unarepresenta ión omo
unsigni adodeterminadoya eptadosentrela omunidadsordaquelosutiliza.
Cada uno de estos elementos ha ereferen ia a un on epto o idea dentro del
mensaje signado. Aunque el pro eso por el que un nuevo signo se estable e
omo signo re ono ido suele ser progresivo, las personas sordas son apa es
de generar signos nuevos dentro de una onversa ión para ha er referen ia a
personaso on eptosqueno tienen unsigno rela ionado.
Como seha men ionado, laeje u ión delsigno rela ionado aun on epto sólo
se mantiene onstante dentro de un nú leo de personas sordas. Es por esto
que los signos aso iados a un on epto son diferentes entre distintos países, e
in lusoentre distintasregiones delmismo país.En este trabajodo toral se ha
optadopor utilizar lasrepresenta iones re ogidasen eldi ionarioeditado por
laFunda ión CNSE [36℄,ya que re eja un esfuerzo uni ador de toda laLSE
(Figura2.3).
Los lasi adores.Estegrupore oge onstru ionessemánti asdegran
omple-jidadeneldis ursosignado.Estos elementosseutilizanparaañadirsigni ado
yriquezaalafrasesignada.Sueje u iónsenutredela apa idaddedes rip ión
(a)SignoCONCURSAR. (b)SignoAEROPUERTO.
Figura2.3: Ejemplode signosre ono idosoestable idos pertene ientesal di ionario
normati-vo[36℄.
reservado la Subse ión 2.2.1 para un estudio más detallado del fenómeno de
los lasi adores.
2.2.1. Clasi adores o onstru iones lasi atorias
El trabajo de Herrero Blan o [ 46℄ ha sido lave para el planteamiento seguido en
esta tesis en lo referente a los lasi adores. La gran importan ia de este trabajo
es que entra su estudio en la LSE frente a otros autores que han estudiado otras
LS y por lo tanto es el trabajo más relevante para esta tesis do toral. Además,
el análisis de los lasi adores se aborda desde una perspe tiva morfológi a, más
er anaa laaproxima iónquedebeserutilizada parala rea iónde unsintetizador.
HerreroBlan o presenta en su trabajo los siguientestiposde lasi adores:
2.2.1.1. Clasi adores nominales
Esta ategoría de lasi adores, también denominada omo nombres
lasi ato-rios, des ribe la apa idad mani esta de la LSE para generar nuevos signi ados
o on eptos, utilizando una pareja de signos. Así, por ejemplo, las onstru iones
AGUA CAUCE (río) y AGUA POLEA (pozo), donde elsigno AGUA se omporta
omonombre lasi atorio.Estesigno puedeapare er enuna onstru iónde
mane-ra aisladaaportandosu signi ado, omopor ejemploYOAGUA BEBER.Además,
se debe tener en uenta que un nombre lasi atorio puede apare er a ompañando
a otros signos, sin que lafusión de los signi ados genere un nuevo on epto lógi o
(AGUA MONTAÑA no se tradu e omo montaña de agua sino omo agua de la
Una de las mayores ompli a iones presentadas por HerreroBlan o es lamanera
que setiene de poder diferen iar los nombres lasi atorios de otras onstru iones
morfológi amente iguales,peroquenosedeben onsiderar omotales.Ésteesel aso
delosnombres ompuestos(AGUATIERRAsigni abarro) o onstru iones
de-rivativasquepermiten rear adjetivos(beatoesPERSONA PIEDAD), gentili ios
(PERSONAMADRID)onombresapartirdeverbos(eltérminoan triónseforma
omoPERSONA INVITAR).
Comosehamanifestado, ualquieranálisisquesellevea abodebeser onsiderado
úni amentedesdeelpuntodevistadeunsintetizadory,portanto,elfa torrelevante
delmismo eslamorfología de estoselementospara poder realizarlasíntesis. Quela
onstru iónseaunnombre lasi atorio,unnombre onunnú leo,unnombre
om-puestoounderivativoresultairrelevanteparalasíntesis.Todasestas onstru iones
se abstraen en una onstru ión de la forma signo + signo, donde ambos signos
pertene en ala ategoría de signos re ono idos o estable idos.
2.2.1.2. Clasi adores intro exivos
Los lasi adores intro exivos re ogen la apa idad que tiene la lengua de signos
paramatizaro añadirsigni ado enunsigno mediantelamodi a ióndealguno de
los PFQ que lo omponen. Varios de los autores que han estudiado este pro eso en
las LS han en ontrado analogías en distintas lenguas orales. En estos asos, iertos
fonemas de la palabra son sustituidos por otros distintos o pronun iados de otra
manera variando elsigni ado de di hostérminos.
Según Supalla[100℄estehe hoseponedemani estoenvaria iones delPFQ
on -gura ión durantelaeje u ióndedeterminadossignos.Talesel asodelsignoLIBRO
en elque la on gura ión on la quesereali e di ho signo permitedes ribir su
gro-sor.Deigualmanera uando seapli ala on gura ióndelsigno VOLCADOalsigno
TELEVISIÓNse añade al on epto de televisión una des rip ión sobresu situa ión
espa ial.Esta ara terísti adelaLSEsóloseapli a sise umple lasiguiente
restri - ión semánti a: tanto elsigno lasi ador omo el lasi ado deben ser propiedades
tangibles, omoporejemplolaqueha e referen iaalaforma deunlibro,peronoal
ontenido dedi ho libro.
Deigual manerasepuededes ribir alos lasi adoresnumerales.EnlaLSEexiste
unavariedaddelsigno HORAquesesignasobrelamuñe aizquierda (quesimularía
llevarelreloj) onunmovimiento ir ularde lamuñe aqueemulaelmovimiento de
(equivalente a signar 1). Se puede observar que para indi ar un determinado
nú-mero dehoras, en vezde generar una onstru ión deltipo(número +HORA)la
eje u ión delsigno HORA sealtera modi ando la on gura ión de la mano
domi-nante.Según elnúmero dehoras quesedeseeindi ar, lamanodominantetoma esta
on gura ión en la eje u ión de HORA. Si bien iertos autores no onsideran esta
onstru ión omo un lasi ador [46℄,morfológi amente sonidénti as.
Muñoz [80 ℄ presenta varia iones exivas del movimiento en la eje u ión de un
signo paragenerar lavaria ión re exiva delverbo. Talesel aso delsigno DARque
seeje uta on unmovimiento horizontal alejándosedel uerpo delsignante. Cuando
di ho movimiento se dirige ha ia el uerpo del propio signante, se genera la idea
de darme. Posteriormente Herrero Blan o [46 ℄ formaliza esta modi a ión en los
predi ados demovimiento.
La on lusión que aporta elestudiode los lasi adores intro exivos esla
apa i-dad y posibilidad que sedemuestra en las LS para modi ar alguno de los PFQ en
laeje u ióndeunsigno paraañadirunmayor signi ado.El grannúmerode
ombi-na ionesposiblesdes arta ualquier aproxima iónbasada ensu des rip ión manual.
Por tanto setrata deuna altera ión sobre larepresenta ión normal de unsigno que
debeserde nidaenlatradu ióny ontempladaporelsintetizador pararealizarlas
modi a iones pertinentesen di ha representa ión.
2.2.1.3. Clasi adores i óni os
Esta ategoríare oge la apa idad derepresenta ión de unmensaje atravésdela
mími a.El signante es apazde utilizar elespa iode signadotanto pararepresentar
distintas ara terísti as de un objeto, omo para rear un pequeño es enario en el
quesituardistintoselementos de la onversa ión e intera tuar onellos.
La literatura sere ere aeste tipo de lasi adores omo lasi adores
predi ati-vos o simplemente lasi adores [46℄. Liddell [68 ℄ re urre a lateoría de espa ios
mentales para la de ni ión de estos lasi adores. La des rip ión mími a que
es-tá ha iendo el signante sólo adquiere sentido uando se estable e una rela ión on
la realidad des rita, en lo que Liddell denomina un espa io mental fusionado. El
signante utiliza sus manos para ompletar des rip iones de objetos y situarlos en
el espa io de signado. El planteamiento de Liddell [69℄ de ende las ara terísti as
lingüísti as de este tipo de lasi adores, dado que aunque habla de un pro eso de
Cogill-Koez [20 ℄ planteaque estos lasi adores predi ativos pueden responder
aun onjunto deplantillaspreestable idas. Durantesu diserta ión,de ne ómopara
adaunodelosPFQ ómopuedeadaptarseaestasplantillaspre jadas.Elparámetro
on gura ión pare eserelmásregulado,y omoseveráeneltrabajodeHuenerfauth
[48 ℄esunhe ho bastantea eptado.Segúnesto, iertas on gura iones serela ionan
de manera onstante on la representa ión de iertos elementos, omo pueden ser
personas, animales u objetos. El parámetro que no onsigue estable erse dentro de
unaplantillapreestable idaeselparámetrodelo aliza ión.Estoadquieresentidosise
apli alateoríadeLiddell , yaquedi ha onstru iónrespondealarepresenta ióndel
espa iomentaldelsignante.Estehe hoha equeCogill-Koezseplanteelanaturaleza
de estos lasi adores omo entidades lingüísti aso no.
Dentrodeestarepresenta iónsein luyeel onjuntodemodi a ionesquees apaz
dein luirelsignanteen eldis ursoparaemularundiálogo entredosomáspersonas.
Lillo-Martin[71 ℄de endequeelsignante(mediantemovimientosdeloshombrosyla
abeza, ambiandoladire ión en laque mira y/ovariandola expresión de la ara)
tenderá a interpretar al personaje a tivo dentro de la presenta ión. Aunque según
rebatenLiddell yMetzger [70℄ ,esta a iónno sueleestar presentea lolargode toda
unarepresenta ión, por loquenodebeser onsiderada omoelúni oelemento enla
de ni ióndepapeles.Demaneraparalela,Engberg-Pedersen[30℄añade,alavaria ión
en la expresión del signante para ambiar de papel, un ambio de referen ias. Este
ambioseapli a,tantoalespa iodesignadodondeha olo adodemaneraimaginaria
objetos, omoalarealiza ióndepronombres(eneste aso,unpronombredeprimera
persona no ha ereferen iaalnarrador).
Por último resaltar la aporta ión que ha enLiddellyMetzger planteandoel
on- epto dea ión onstruida de nido omo la apa idad que tiene elnarrador
(sig-nante) para representar la a titud, posi ión y a iones de los personajes sobre los
que está narrando, eje utando di has a iones en el mundo real. En parti ular, la
a ión más fre uente sebasaen la dire iónen la quelos ojosyla abezaapuntan.
La Tabla 2.1 muestra algunos ejemplos de a iones que pueden apare er de manera
independiente unasde otras.
Tipo de a ión Lo que indi a
Arti ula iónde signos. Lo queelpersonaje di eo piensa.
Dire ión de la abezao los ojos. Dire ión en laquemira el personaje.
Expresión fa ialdel signante. Lo queelpersonaje siente.
Gestos delas manosylos brazos. Gestos produ idos por elpersonaje.
Independientemente desilos lasi adores i óni ossongestoslingüísti osono,su
morfologíadi ereen iertamedidadelossignosestable idos,loqueesrelevantepara
la rea ióndeunsintetizadordelenguadesignos.SibienPFQ omola on gura ión
o la orienta ión no requieren una aproxima ión diferente, la posi ión de las manos
(PFQlo aliza ión yplano)requiereelusodeunsistemadereferen ia ontinuoe
inde-pendientedereferen iasanatómi as.Deigualmanera,losmovimientos delasmanos
son apa esdemimetizarmovimientos deobjetosenelespa ioreal.Es por esto,por
loquelastraye toriasdelasmanosdebenpoderserde nidas arbitrariamente(ej:La
des rip ión deltraye to deuna montañarusa).
La de ni ión de expresiones fa iales es un elemento in luido dentro del PFQ no
manual de lossignos estable idos,por lotanto noimpli a unamodi a iónadi ional
sobre las onsidera iones ne esarias para la de ni ión de este tipo de elementos de
unaLS.Por el ontrario,mu hosautores oin idenen queelpunto alqueseorienta
la vista o la abeza del signante es muy importante. Entre todos, se debe desta ar
el análisis de a epta ión planteado por Baham [ 7℄ por el ual el movimiento de
la abezadelsignante genera unaaso ia ión entre elverbo,elsignante(o personaje
representado) y el objeto sobre el que re ae la aten ión, y que se onvierte en el
omplemento dire to delverbo.Por onsiguiente es ne esario estable er un método
parade nir elpunto ha iael ualel avatardirige lamiradayla abeza.
2.2.1.4. Clasi adores a jales
Como mani esta Herrero Blan o [46 ℄, Una de las ara terísti as fonológi as de
las LSs es que uentan on dos arti uladores manuales, las dos manos. Esta
a-ra terísti a permite generar onstru iones en las que haydos elementos presentes,
representados por ada una de las manos. Así por ejemplo, la mano pasiva puede
representar mediante el uso de un lasi ador i óni o el objeto de la a ión verbal
representada por la mano a tiva. También puede darse el aso en el que se aplique
una variante de lasi ador intro exivo, ya que la eje u ión del signo on la mano
a tiva se modi a para que la realiza ión del signo que representa la a ión verbal
termine orientada ha ia la mano pasiva (modi ando el PFQ orienta ión). In luso
la posi ión nal de di ha mano no sea la que di ta el signo, sino que también se
posi ionará en rela ión on lamanopasiva(modi andolosPFQlo aliza ión,plano
ymovimiento).
Resultamuyilustradorelejemplosiguiente:ElsignoMIRAR-DETENIDAMENTE
tiene unmovimiento dela manoha ia elfrente, di ho signomantiene laorienta ión
(a) SignoMIRAR-DETENIDAMENTE. (b) Signo MIRAR-DETENIDAMENTE
modi - adoporun lasi adora jal.
Figura2.4:Ejemplo de lasmodi a ionesqueimpli an enla eje u iónde un signolain lusión
de un lasi adora jal.
a mirar una naranja se presentará la naranja mediantesu signo. A ontinua ión,
utilizando un lasi ador i óni o, se estable e su situa ión en el espa io de
signa-do.Inmediatamente después, utilizando la mano a tiva,eje utará elsigno
MIRAR-DETENIDAMENTEperomodi adomedianteun lasi adora jal.Deestamanera
el naldel signo severá modi ado para que la mano a tiva apunte ha ia la mano
pasivaque representa elobjetomirado (eneste asouna naranja, Figura2.4(a) ).
Desde el punto de vista morfológi o, se determina que estos lasi adores a jales
tienen similitudesmorfológi as onlos lasi adoresintro exivos, dado quehayuna
modi a iónde losPFQdelsigno.Igualmente,sepuede onsiderar quelos
lasi a-doresa jalesrequierenlaeje u ióndealgúntipode lasi adori óni o, on luyendo
que los lasi adores a jales son onstru iones paralelas de losdos tiposde
lasi - adores antes des ritos.
Una diferen ia importante es que, en este aso, los nuevos PFQ que de nen un
lasi ador intro exivo no se obtienen ex lusivamente de la de ni ión de otros
sig-nos. Estas nuevas modi a iones, utilizan la posi ión de otros elementos del uerpo
para de nir la varia ión intro exiva del signo. Por esta razón es ne esario dotar al
sintetizador de un sistema que permita modi ar el signo utilizando el sistema de
2.3. Nota iones para la des rip ión de los signos
Las lenguas oraleshan desarrollado un sistemade representa ión grá a que
per-mite plasmardemaneraperdurablelainforma ión queseexpresa onlasmismas:la
es ritura. La aproxima ión a la de ni ión de la es ritura no es úni a, ya que puede
estar basada enun sistema fonéti o,ideográ o oi onográ o. LasLS también han
desarrollado varios sistemas que permiten re oger la des rip ión de los signos, y al
igualquehapasado onlaslenguasorales,noexisteunaúni aaproxima ión.Enesta
se iónrepasaremos lasnota iones másimportantes.
2.3.1. Nota ión Stokoe
La nota ión Stokoe (1965) re ibe el nombre de su autor William Stokoe y fue
presentadapor primeravez ensu di ionariodeLengua deSignosAmeri ana (ASL)
[98 ℄ que re oge la de ni ión paramétri a de los signos de esta lengua (Figura 2.5).
Estanota ióneslaprimeraaproxima iónalades rip iónparamétri a(ofonéti a)de
lasLS.Estanota iónutiliza ara teres alfanuméri os así omoun onjuntoredu ido
de símbolos para de nir laposi ión, la on gura ión yel movimiento delas manos.
La estru tura de esta nota ión omienza on la des rip ión de la posi ión de las
manos (Tab o tabula) que intervienen en el signo. Esta posi ión puede de nirse de
manera absoluta utilizando omo referen ia una parte del uerpo o biende manera
relativa;generalmentelamanoa tiva seposi iona dependiendo de lapasiva.
La on gura ión de la mano (Dez o designator) se des ribe utilizando la letra o
número orrespondientealdi ionarioda tilológi odelaASL.Sobreeste onjuntode
on gura iones sepueden añadirun onjunto demodi adoresquepermitenindi ar
la exióndelosdedosrelevantesendi ha on gura ión.Enelmomento deestable er
esta nota ión, el PFQ orienta ión no se onsideraba desvin ulado omo un PFQ
independiente (ver Se ión 2.1). Por esta razón la de ni ión de la orienta ión de
la mano sedes ribe supeditada a la des rip ión de la on gura ión. Esto se realiza
medianteun onjuntodesímbolospresentados omosubíndi esdel ará terquede ne
la on gura ión.
Por último, el movimiento de la mano (Sig o signi ation) se des ribe utilizando
un superíndi e de la on gura ión. Esta nota ión permite de nir los movimientos
tanto de trasla ión de las manos omo de varia iones de otros PFQ, en espe ial
de laorienta ión,mediante un onjunto de símbolos. La nota ión permitedes ribir
movimientosquedebenrealizarsetantoenparalelo omodemanerase uen ialsegún
X
[jC
+
jC
v.
(oso)^ ^v
B
|
B
:
( asa)Figura2.5:Ejemplos delanota ión Stokoepara lasde ni ionesdelossignosOSO yCASA en
ASL.
Esta nota ión presenta una serie de limita iones lógi as omo onse uen ia del
estado de los estudios sobre las LS en el momento de su de ni ión. El parámetro
PFQorienta ión está in luidodentrode lade ni ión dela on gura ión,porloque
no es posible estable er una varia ión en este parámetro de manera independiente.
OtrodelosPFQquenose ontemplaneselpuntode onta to.Por último,todaslas
referen iasala omponenteno manual sonomitidas delade ni ión.Suusonoseha
extendido debido, en gran medida, a la omplejidad y al alto grado de abstra ión
de estanota ión.
2.3.2. Nota ión SignWriting
Lanota iónSignWriting[102 ℄fuedesarrolladaporSuttonen1974 omoadapta ión
de la nota ión Dan eWriting [101 ℄. La gran diferen ia de esta nota ión frente a la
nota ión Stokoe, esquese trata de unsistema de representa ión i onográ o de los
signos. Además, esta nota ión omite todo análisis paramétri o de las omponentes
delsigno (Figura2.6).
( re er)
(aquí)
Figura2.6: Ejemplos de la nota iónSignWriting para las de ni ionesde lossignos CRECERy
AQUÍen LSE.
La on gura ión se representa en esta nota ión mediante el uso de un onjunto
de i onos que representa de manera esquemáti a la forma de la mano. Sobre este
i ono, sede ne laorienta ión mediantetresaltera iones deli ono de on gura ión:
la primera es la inser ión de una dis ontinuidad en el dibujo de la on gura ión
que permite diferen iar entre los planos frontal y horizontal. La segunda se de ne
planode rota iónindi ado.Porúltimo elrellenodelfondo deli onopermite ajustar
laorienta ión dela palmade lamanoen ladire ión previamentede nida.
La lo aliza ión delamanoseidenti a mediante uni onoque muestra la
referen- ia anatómi a ne esaria para el posi ionamiento de la mano. Se pueden de nir seis
maneras para el aso de que la mano dominante entre en onta to on otra parte
del uerpo. Los movimientos se de nen fá ilmente utilizando e has para des ribir
su traye toria y el gradode a elera ión o tensión on que deben representarse. Por
último, de ne el PFQ no manual mediante dibujos queindi an expresiones fa iales
o movimientos orporales.
El manejo de esta nota ión resulta muy intuitivo y fá il de entender por lo que
su uso se ha extendido en la omunidad sorda. Por el ontrario, su tratamiento en
apli a ionesinformáti asresultamuy omplejodebidopre isamenteasu omponente
grá a.Deigualmanera,existe iertalibertadalahoradede nirlossignos,dadoque
no se basaen una estru tura fonéti a. También hayque desta ar queesta nota ión
node ne elPFQplano,niespe i a laparte delamanoa tivaopuntode onta to.
2.3.3. Nota ión HamNoSys
La nota ión HamNoSys (1989 )presentada por Prillwitz et al. [86 ℄ utiliza la
apro-xima ión de la nota ión Stokoe realizando una des rip ión de los signos a nivel de
losPFQ.Esteniveldes riptivoañadelaideadei oni idad presentadaenlanota ión
SignWriting lo que aumenta su grado de usabilidad. Otra ara terísti a en omún
on la nota ión SignWriting es su independen ia delidioma, al ontrario que la
no-ta ión Stokoe, ya que se des riben los PFQ utilizando i onos representativos de la
forma. La última de las novedades importantes de esta nota ión HamNoSys y que
noposeeSignWriting eslade ni iónde unaestru tura sintá ti arígidaquepermite
la formaliza ión de este lenguaje, espe ialmente on vistas a su usoen el ordenador
[43 ℄ (Figura2.7 ).
( re er)
(aquí)
Figura 2.7: Ejemplos de la nota ión HamNoSyspara las de ni iones de los signos CRECERy
AQUÍ enLSE.
La última versión disponible de la nota ión HamNoSys es la 4.0 [42 ℄. En esta
La on gura ión se expresa mediante una ombina ión de i onos ynúmeros. Los
i onos,demanerasimilaralanota iónSignWriting,des ribendemaneraesquemáti a
laformaqueadquierelamano.Juntoaestosi onosseespe i a,mediantenúmeros,
los dedos afe tadosen la on gura ión y, mediante símbolos,el grado de exión de
di hosdedos.
Esta nota ión desvin ula la de ni ión de la orienta ión de la on gura ión.
Es-te PFQ se des ribe utilizando la ombina ión de dos i onos. El primero indi a la
dire ión enelespa io yelsegundolaorienta ión de lamuñe aen esadire ión.
La posi ión de las manos queda de nida pues por los PFQ lo aliza ión y plano,
siendolaúni anota iónexistentequein luyelades rip ióndelPFQplano.La
de ni- ióndelalo aliza ión seha eutilizando referen iasanatómi as des ritasigualmente
por i onos. El plano se distingue omo un onjunto dis reto de in o posibles
valo-res, espe i ando elvalorque debe tomarse por defe to sidi ho PFQseomite dela
des rip ión. La des rip ióndel movimiento serealizade manera detalladamediante
i onos que de nen latraye toria bási a, laes alade di ho movimiento, lavelo idad
ylosniveles de a elera ión.
La omponentenomanual seabordades ribiendolasexpresionesfa iales on
ua-troelementos, las ejas,los párpados,lanariz ylabo a (quein luyelabios, mejillas
ylengua).El númerode posibilidades para ada unode estos uatroelementos
pue-de verse en la Tabla 2.2 . La de ni ión de este PFQ también in luye la posibilidad
de representar movimientos orporales. Para ello aprove ha la de ni ión previa de
movimientosque, eneste aso, sonapli adosalaparte del uerpo paralaquedesea
indi ar el movimiento y que han sido de nidos dentro de la nota ión mediante un
onjunto dis retode posibilidades.
Componente de la expresión Unidadesde nidas
Cejas
4
Párpados13
Nariz3
Bo a59
+visemas a aUnvisemaeselpatróndereferen iavisualdeunfonema.
Tabla 2.2: Número de posiblesestados para ada omponentede la expresión fa ial de nidos
paralanota iónHamNoSys.
HamNoSys es la nota ión más ompleta para la des rip ión de los signos debido
a su desarrollo onjunto on determinados proye tos destinados a la síntesisvirtual
de signos. Como in onvenientes de esta nota ión podemos resaltar que are e de la
punto de onta to referidoa lasarti ula iones de lamano, di hos elementosseusan
paralade ni iónde la on gura ión yno paraelPFQ puntode onta to.
Sinembargo,elhe hodeagruparlasposi ionesdelalengua,loslabiosylasmejillas
en un sólo parámetro expresivo, penaliza el número nal de posibles expresiones,
uando seríamás ade uada su de ni ión independiente. Otro in onveniente de esta
nota ión, referida por el propio Hanke [43℄, es el elevado número de símbolos de
la misma lo que ha e difí il su aprendizaje y da lugar a múltiples des rip iones
equivalentes para un signo.
2.3.4. Nota ión SEA
El Sistemade Es ritura Alfabéti a (SEA)es unanota ión alfabéti a desarrollada
en 2003 por Herrero Blan o [44 , 45 ℄ parala des rip ión de los signos de laLSE. La
nota ión SEA de ne los parámetros del signo (elautor sere ere a ellos omo lases
defonemas)siguiendolaorganiza iónpresentadaenlaFigura2.8 .Estaaproxima ión
a lades rip ión parametrizada (o fonológi a) de los PFQ de un signo mediante un
sistemaalfanuméri oresultamuysimilaralanota iónStokoe.Laorganiza ióndelos
parámetros responde alordenen elque sepro esanlos parámetros en lagenera ión
del signo.Una diferen ia importante entre las nota iones Stokoe ySEA esque esta
últimaserepresentalinealmente,sinlane esidaddeusodesubíndi esnisuperíndi es,
loquesimpli a su uso.Losparámetros que onsideraparadi ha nota ión son:
Q
:la on gura ión de lamanoL
:ellugar de signadoC
:laexisten ia de onta to entreQ
yL
ysu naturalezaO
:laorienta ión de lamanoD
:elmovimiento dire ionalF
:elmovimiento internoS
:labimanualidadSLCQODF
Figura2.8:Estru turadelanota iónSEA.
Esta, relativamente re iente, nota ión alfabéti a presenta unaventajaimportante
su posible manejo mediante ordenadores. Esta ara terísti a tiene su lado negativo
enloqueasumanejoporpersonassere ere,yaque are edeintuitividadensuuso,
algoinherentea lasnota iones i óni as(Figura 2.9).
re-V (sordo)
sòaméahaâezpeyb (es ribir)
Figura2.9:Ejemplosde lanota ión SEAobtenidosde[36℄.
EnloreferentealosPFQquesepuedendes ribir onestanota ión,sedesta aque
elplanonosein luye omoelementoindependienteyvaligadoalade ni ióndellugar
de signado mediante la de ni ión de un sistema de oordenadas. En esta nota ión
no sein luye la de ni ióndel PFQ no manual. HerreroBlan o argumenta que este
PFQsólotienefun iónprosódi a.Sinembargoseadmitequelaformadelabo a,la
posi ión de la lengua y las expresiones fa iales son relevantes en para el signi ado
deun signo.Igualmenteelparámetro
F
ha ereferen ia amovimientos internos,queindi an ambios en la on gura ión u orienta ión de la mano. Se demuestra así la
falta de un riterio omún, quenos plantea lasiguiente uestión: elhe ho de quela
manopasede una on gura ión de dedosabiertosa otrade puño erradodentro de
un signo, ¾debería de nirse omo una varia ión de on gura ión o un movimiento
internode los dedosde lamano?
2.3.5. Nota ión Sz zepankowski
Setratadeunanota iónbasadaen ara teresASCIIdesarrolladaen1994por
Sz -zepankowskiyRona[104 ℄, Sz zepankowski [103℄ , onelobjetivoini ial dedarapoyo
alado en ia,demostrandoserfá ilmenteadaptableparasuusoenelordenador[33℄.
Estanota ión des ribelos signosmediantelossiguientes ampos:
la on gura ión delamano,medianteun onjuntodis retode 52posibilidades
laorienta ión odi adaen basea unnúmerode dosdígitos
lalo aliza ión des rita enrela ión a partesdel uerpo
larela iónentre lasmanos delsignante,en términos de posi ión ydistan ia
unadire ión de movimiento entre un onjunto de
21
posibilidadesLos uatro primerospuntosdes riben omponentes estáti osdelsigno,mientras que
los dosúltimos des riben lapartedinámi a delmismo.
PUm:35tpp#VI<+ (sordo)
PE:23k }/LBk:13k#P:III\V<- (es ribir)
Figura2.10:Ejemplosdelanota iónSz zepankowski.Lasdes rip ionespresentadas orresponden
almododeeje u iónde lossignosenlaLenguadeSignosPola a.
Aunqueestanota iónharesultadoserpioneraenelusodeunsistemaalfanuméri o
ylinealparalades rip ióndelosPFQdeunsigno,presenta unnúmero onsiderable
de in onvenientes quedi ultansu uso.Ini ialmente, puede observarsequeno todos
losPFQestán presentesen lanota ión:elplano,puntode onta to yel omponente
no manual no estándes ritos.Otra limita ión deesta nota ión esla apa idadpara
de nir los PFQ que sedeben utilizar. Como seexpli ó en la Se ión 2.1 , elnúmero
de orienta iones posibles es de
208
, luego utilizando solamente dos dígitos no sepueden abar ar todaslas posibilidades. Lo mismo o urre uando se trata de de nir
el movimiento, la limita ión de todos los posibles a veintiuno resulta insu iente.
Al igual quepasa on el sistemaSEA, elimina lai oni idad de larepresenta ión, lo
que onlleva mayor grado de di ultad en su aprendizaje. Por último, en términos
prá ti os, un gran in onveniente para su uso omo des rip ión para la LSE es que
ha sido desarrollado para la Lengua de Signos Pola a, y toda la do umenta ión y
nota ión están enpola o(Figura 2.10 ).
2.3.6. Resumen de las nota iones
En laTabla2.3 presentamos un resumen on las prin ipales ara terísti as de las
Stokoe SignWriting HamNoSys SEA Sz zepankowski
(2.3.1) (2.3.2) (2.3.3) (2.3.4) (2.3.5)
Representa ión Texto Grá a Grá a Texto Texto
Usabilidad Media MuyAlta Alta Media Media
Uso enordenador Si a No No Si Si Dependiente del idioma Si No No No No b PFQde nidos
3
6
6
5
4
aRequiere iertaadapta ión.
b
Estanota iónestádesarrolladaparaparalaLSpola a.
Tabla2.3:Resumendelasdistintasnota ionesparalades rip ióndelossignos.
2.4. Con lusión
En esteapartado hemos des rito treselementos teóri os delaLS:
Los distintos PFQ que intervienen en la des rip ión de un signo. Así mismo,
hemos presentado ómodistintos autores quehan des rito yañadido
progresi-vamente PFQdiferentes hastaal anzar los sietea tuales.
Las distintas unidades semánti as que apare en en un mensaje de LS: el
di - ionario da tilológi o,los signos re ono idos o estable idos ylos lasi adores.
Estas tres unidades estable en distintos niveles de omplejidad semánti a en
el mensaje signado. En el aso de los lasi adores hemos visto ómo
distin-tos autores presentan teorías alternativas para justi ar estas onstru iones
en distintos idiomas. Nosotros nos hemos entrado en la des rip ión de estas
unidades realizadaparala LSEyutilizando una aproxima iónmorfológi a.
Las distintas nota iones utilizadas para la des rip ión de los PFQ de los
sig-nos.Enestavariedaddenota ionesquedapatentelasdistintasaproxima iones
existentes según el número de PFQ que se onsideran ne esarios y por tanto
Estado del arte
3.1. Uso de la LS en los medios
Esta se ión pretende realizar un repaso sobre las distintas té ni as mediante las
ualessepresentanlaslenguasdesignos(LS)enlosmediosde omuni a ión.Aunque
la mayoría de los trabajos versan sobre las apli a iones que utilizan LS, en esta
se ión se ha tratado de ahondar en las té ni as y no en las apli a iones. Las tres
aproxima ionesquesehanutilizadopararepresentarLShansidoelusodenota iones,
graba iones en vídeo de personas y anima iones infográ as a partir de avatares
virtuales.
3.1.1. Uso de nota iones
Pare e lógi o pensar que dado quetradi ionalmente se ha utilizado el textopara
omuni ar yalma enarlaslenguas orales,unaprimeraaproxima iónpararealizarla
misma tarea pudiera ser utilizar una de las nota iones es ritas de las LS. Ahmed y
Seong[3 ℄sebasaronenestaaproxima iónparapermitirla omuni a iónbidire ional
entre personassordasmedianteteléfonos de texto.
La apli a ión propuesta por Ahmed ySeong realiza una tradu ión de texto a
nota ión SignWriting. Como se expli a en la Se ión 2.3, se trata de la nota ión
que mayor a epta ión ha tenido entre la omunidadsorda, debido prin ipalmente a
queresultamuyintuitivoyno requiereprá ti amenteaprendizaje.Obviamenteesta
aproxima iónparala omuni a ión de LSestable e lamismarela ión depérdida de
naturalidad onel lenguaje signadoque ellenguaje es rito estable e on el lenguaje
Estaaproxima iónplantea omoventajaunnúmerobajodere ursosde
alma ena-mientoydetiempode ál uloen ompara ión onlassolu ionesqueutilizanvídeoo
elementos 3D. Además, permite una omuni a ión bidire ional entre personas
sor-dasutilizando una manera de omuni arse más er ana a su lengua nativa (aunque
en estaapli a ión laentrada deinforma ión sigue siendo en texto).
3.1.2. Vídeos de personas
DadoquelaLSesunlenguajevisual,lamaneramásnaturaldealma enaro
trans-mitirestelenguajegeneradoporpersonasesenformadevídeos.Enprimerlugarhay
que men ionar los sistemas que utilizan vídeos pre-grabados parapresentar
mensa-jes largos. Tal esel aso de la página SignWriting
1
, en la quedisponen de le iones
sobre la lengua de signos, poemas y uentos infantiles, entre otros. La mayoría de
los vídeos que pueden en ontrarse en esta web están en ASL. Dentro de los
re ur-sosen LSE en ontramoslaBibliote a VirtualMiguel de Cervantes
2
quedispone de
diversosre ursos en forma de vídeos signados, entre ellos le iones de gramáti a de
laLSE.Además,en esta páginaweb seutilizan imágenes dinámi as,en formato gif,
on pequeñas anima iones de signos (Figura 3.1 ). Estas imágenes se utilizan para
mar are identi ar los enla esa otraspáginas utilizando lengua designos.
Dentro de esta ategoría se in luye la subtitula ión de programas de televisión.
En este aso la imagen de un intérprete de signos se ompone on la imagen del
programaoriginal. Dependiendo de siel programa seemite en dire too en diferido,
lagraba ión delintérprete deberáserrealizada de manera simultánea o no.
Figura3.1:Se uen iadeimágenesquetieneun herogifpararepresentarelsignoLINGÜÍSTICA.
Esta aproxima iónparapresentar ontenido signado mediante vídeosde personas
tiene la ventaja de presentar el mensaje manteniendo toda la naturalidad e
inteli-gibilidad que tendría un intérprete en dire to. Lo que se onvierte también en uno
de sus in onvenientes, puesto que setrata de un pro eso manual. La genera ión de
ontenidosesunpro eso ostoso, uya apa idadestálimitadaporelfa torhumano.
Además, los ontenidosgenerados no pueden ser reutilizados en distintos mensajes.
Porúltimo,hayqueseñalarquelosrequisitosdealma enamientone esariosparaesta
1
www.signwriting.org
2