Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
La traducción automática del habla
Traducción automática del habla y
comunicación persona-persona mediatizada
por un ordenador
La traducción automática del habla
Problemas lingüísticos en la traducción
automática del habla
Sistemas de traducción automática del habla
La traducción automática entre otras
modalidades
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
La traducción automática del habla
Traducción automática del habla y
comunicación persona-persona mediatizada
por un ordenador
La traducción automática del habla
Problemas lingüísticos en la traducción
automática del habla
Sistemas de traducción automática del habla
La traducción automática entre otras
modalidades
La comunicación persona-persona
mediatizada por un ordenador
CMM, Computer-Mediated Communication
La comunicación persona-persona
mediatizada por un ordenador
• Traducción entre modalidades
• Escrito - Oral
Conversión de texto en habla (TTS,
Text-to-Speech Synthesis)
• Oral - Escrito
Reconocimiento automático del
habla (ASR, Automatic Speech
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
La comunicación persona-persona
mediatizada por un ordenador
• Traducción entre modalidades
• Escrito - Escrito
Traducción automática de textos
(MT, Machine Translation)
• Oral - Oral
Traducción automática del habla
(SLT, Spoken Language Translation)
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
La traducción automática del habla
Traducción automática del habla y
comunicación persona-persona mediatizada
por un ordenador
La traducción automática del habla
Problemas lingüísticos en la traducción
automática del habla
Sistemas de traducción automática del habla
La traducción automática entre otras
modalidades
Traducción automática del habla
Spoken Language Translation
Reconocimiento del habla
Gestión del diálogo
Traducción automática de textos
Conversión de texto en habla
Arquitectura del sistema de SRI International
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Arquitectura de C-STAR
http://www-clips.imag.fr/projets/cstar/clips/Architecture.html
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
La traducción automática del habla
Traducción automática del habla y
comunicación persona-persona mediatizada
por un ordenador
La traducción automática del habla
Problemas lingüísticos en la traducción
automática del habla
Sistemas de traducción automática del habla
La traducción automática entre otras
modalidades
NESPOLE! NEgotiating through SPOken Language in E-commerce
http://nespole.itc.it/public/deliverables/D3forWeb/D3forWeb_f
ile/v3_document.htm
"... I'm available on Friday the 19th...”
"...sí sí venerdì diciannove
posso, sì perchè sai oggi
vado via per il viaggio D, la
verità è che questo mese è
pieno di viaggi parto il
giorno sei per un viaggio e
starò via fino al dodici ed è
per questo che il giorno
diciannove mi va proprio
bene francamente..."
“...yes yes on friday
nineteen can, yes
because know I go me of
trip today, the truth such is
that this month is very
traveller I go me the day six
of trip and I am until the
twelve as soon as the day
nineteen comes me very
well outspokenly”
=
WAIBEL, A. (1996) "Interactive translation of conversational speech”, IEEE
Computer 29, 7: 41-48
http://www.is.cs.cmu.edu/papers/speech/1996/COMPUTER-alex.ps.gz
“...sí sí el viernes diecinueve puedo sí porque sabes me
voy de viaje d hoy la verdad así es
que este mes es muy viajero me voy el día seis de viaje
y estoy hasta el doce así que el día
diecinueve me viene muy bien francamente...”
yes yes on friday nineteen can yes because know I go
me of trip D today the truth such is
that this month is very traveler I go me the day six of trip
and I am until the twelve as soon
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Traducción automática del habla
• Problemas del habla espontánea (disfluencies)
• Dudas
• Pausas “llenas”
• Alargamientos vocálicos
• Repeticiones
• Falsos principios
• Velocidad de elocución
Joaquim Llisterri Grup de Fonètica, Departament de Filologia EspanyolaTraducción automática del habla
• Problemas del diálogo
• Elementos anafóricos
• Elementos deícticos
• Elipsis
• Presuposiciones…
La traducción automática del habla
Traducción automática del habla y
comunicación persona-persona mediatizada
por un ordenador
La traducción automática del habla
Problemas lingüísticos en la traducción
automática del habla
Sistemas de traducción automática del habla
La traducción automática entre otras
modalidades
Verbmobil
http://verbmobil.dfki.de/overview-us.html
• Sistema móvil de traducción de diálogos
espontáneos (1993-2000)
• Dominios restringidos: citas, preparación
de viajes, reservas de hotel
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
WAHLSTER, W. (2000) "Mobile Speech-to-Speech Translation of Spontaneous Dialogs: An Overview of the Final Verbmobil System", in WAHLSTER, W. (Ed.) Verbmobil: Foundations of
Speech-to-Speech Translation. Heidelberg - New York: Springer Verlag (Artificial Intelligence).
http://verbmobil.dfki.de/ww.html
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Verbmobil
http://verbmobil.dfki.de/overview-us.html
• Independiente del locutor
• Bidireccional
• Teléfono móvil GSM
• Más de 10.000 palabras
• 75% de reconocimiento de palabras
• 80% de traducciones correctas
• 90% de éxito en tareas
• Generación de resúmenes de conversaciones
WAHLSTER, W. (2000) "Mobile Speech-to-Speech Translation of Spontaneous Dialogs: An Overview of the Final Verbmobil System", in WAHLSTER, W. (Ed.) Verbmobil: Foundations of
Speech-to-Speech Translation. Heidelberg - New York: Springer Verlag (Artificial Intelligence).
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Verbmobil
http://verbmobil.dfki.de/overview-us.html
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
JANUS
http://www.is.cs.cmu.edu/mie/janus.html
• Dominios limitados: citas, reserva de
hoteles, itinerarios de viajes
• Lenguas de entrada: inglés y alemán
• Lenguas de salida: inglés, alemán y
japonés
Janus - Videoconferencia
http://www.is.cs.cmu.edu/mie/janus2.html
• Reservas de viajes entre un cliente y
una agencia local
• Traducción oral y escrita de la
conversación
• Interacción establecida por
videoconferencia
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Janus - Traductor portátil
http://www.is.cs.cmu.edu/mie/janus3.html
• Información y ayuda para una persona
que viaja por un país extranjero
• Traducción oral y escrita y acceso a bases
de datos de información turística
• Independiente del locutor
• Dominio restringido
• Versiones portátil y móvil
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Janus - Traductor portàtil
http://www.is.cs.cmu.edu/mie/janus3.html
Janus - Traductor de conversaciones
http://www.is.cs.cmu.edu/mie/janus3.html
• Lenguas: inglés y castellano
• Seguimiento de la conversación
• Traducción presentada en forma escrita
LingWear
http://www.is.cs.cmu.edu/LingWear/intro.html
• Sistema móvil de traducción,
información, ayuda y navegación
• Dominio: turismo en un país extranjero
• Lenguas: inglés, alemán y japonés
• Multimodal: habla, texto, escritura
manuscrita, imagen y gesto
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
LingWear
http://www.is.cs.cmu.edu/LingWear/intro.html
Integrado en
el ordenador
portátil
Xybernaut
Mobile
Assistant IV
Joaquim Llisterri Grup de Fonètica, Departament de Filologia EspanyolaLingWear
http://www.is.cs.cmu.edu/LingWear/tourist2.html
LingWear
http://www.is.cs.cmu.edu/LingWear/movie.html
SRI International
http://www.speech.sri.com/
• Dominio restringido: información sobre
vuelos
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
SRI Spoken Language Translation
http://www.speech.sri.com/star-videos.html
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Nespole!
http://nespole.itc.it/
Negotiating through Spoken Language in
E-Commerce
• Traducción automática del habla para
centros de videoconferencia
• Lenguas: italiano con traducción al
inglés, alemán y francés
• Dominio: turismo
Nespole!
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Eutrans
http://prhltdemos.iti.es/demo/spanish_demo.html
Example Based Undestanding and Translation
Systems
• Lenguas: del castellano o del italiano al inglés
• Dominio: centralita y recepción de hoteles
• Accesible por teléfono
Pattern Recognition and Human Language Technology Group,
Instituto Tecnológico de Informática, Universitat Politècnica de
València
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Eutrans
http://www.iti.upv.es/~fcn/Talks/tah/EuTransI.avi
TC-STAR
http://www.tc-star.org/
Technology and Corpora for
Speech-to-Speech Translation
• 2004-2006 IST-2002-2.3.1.6 Multimodal
interfaces
• Traducción de habla espontánea en
varios dominios
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
TC-STAR
Automatic Speech Recognition (ASR) and Machine Translation (MT)
http://www.tc-star.org/pages/Demo.htm
•
This off-line demo consists in a video showing about 30 minutes of an
European Parliament Plenary Session (EPPS), English audio channel,
recorded September 7th, 2005. This audio stream is part of the eval06es
set, and has been automatically divided into segments. Only the segments
that are part of the eval set have been processed, in other segments a
message indicating the next transcribed segment is present. ASR and MT
have been fully developed at ITC-irst, version January 2007. The MT
process splits each sentence into chunks, and translation is done chunk by
chunk.
•
Aligned with the video there are two windows, showing respectively:
a) English ASR output, sentence by sentence.
b) Spanish MT output, sentence by sentence.
•
In both windows, the active chunk (synchronized with English audio) is
highlighted in yellow. In the English window active chunks are strictly
sequential, while in the Spanish one they are not.
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
TC-STAR
http://www.tc-star.org/Demo/demo_apr07_tcstar.zip
Traducción automática del habla
• Dominios restringidos
• Interacción pregunta-respuesta
• Accesible por teléfono
• Multimodalidad
• Técnicas de traducción automática específica
• Complementariedad del conocimiento
lingüístico y del conocimiento tecnológico
La traducción automática del habla
Traducción automática del habla y
comunicación persona-persona mediatizada
por un ordenador
La traducción automática del habla
Problemas lingüísticos en la traducción
automática del habla
Sistemas de traducción automática del habla
La traducción automática entre otras
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
La comunicación persona-persona
mediatizada por un ordenador
• Traducción entre modalidades
• Lengua oral - Lengua de signos
Reconocimiento del habla o de la
imagen
Traducción de/a lengua de signos
Conversión de texto en habla o de
texto a signos
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
DePaul University, American Sign Language project
http://asl.cs.depaul.edu/project_info.html
• Traducción del inglés
a la lengua de signos
americana (ASL)
• Generación de
animaciones
Nice to meet you
Tessa, TExt and Sign Support Assistant
http://www.visicast.sys.uea.ac.uk/Visicast_index.html
VISICAST
• Traducción de inglés oral a
lengua de signos británica
• Asistente para las
transacciones habituales de
una oficina de correos
Tessa, TExt and Sign Support Assistant
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
eSIGN
http://www.sign-lang.uni-hamburg.de/eSIGN/
Essential Sign Language Information on Government
Networks
• Introducción de vídeos en lengua de signos en
páginas web
• Basado en léxicos de signos y en avatares que
cumplen la función de “hablantes virtuales” de
lengua de señas
• Los signos se capturan a partir de un hablante o se
generan a partir de instrucciones
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
Visia 2
http://www.sign-lang.uni-hamburg.de/eSIGN/Movies/Movie_Visia2_news.html
SiSi
http://www-03.ibm.com/press/us/en/pressrelease/22316.wss
SiSi - Say it, Sign it
• IBM, University of East Anglia, Royal
National Institute for the Blind
• Conversión automática de lengua oral a
lengua de signos británica
• Un avatar produce en lengua de signos,
en tiempo real, los enunciados hablados
SiSi
Joaquim Llisterri Grup de Fonètica, Departament de Filologia Espanyola
