Webir /09/2014

(1)

Webir - 2014

08/09/2014

(2)

2

Extensiones

 Búsqueda de conceptos, por ej. “sistema

operativo”

 Medidas de cercanía , por ej. Gates cerca

de Microsoft

 Recuperación tolerante a errores de

(3)

3

Consultas por Conceptos o Frases

 Universidad de la República_{Universidad de la República}  “_“Universidad de la República”_{Universidad de la República”}

 Concepto relacionado con la cercanía de _{Concepto relacionado con la cercanía de}

palabras

 Soluciones eficientesSoluciones eficientes

 Índices de pares de palabras - biwords_{Índices de pares de palabras - biwords}  Índices posicionales_{Índices posicionales}

 Combinación de índices posicionales e índices _{Combinación de índices posicionales e índices}

de pares de palabras

(4)

4

Recuperación Tolerante a Errores de

Ortografía y Otras Inconsistencias

 Estructuras de datos auxiliares para las _{Estructuras de datos auxiliares para las}

búsquedas en el vocabulario del diccionario

 Búsquedas con ”comodines”Búsquedas con ”comodines”

 a*e*i*o*u_a*e*i*o*u  automat*_automat*

 Errores de ortografía_{Errores de ortografía}

 Búsquedas de términos fonéticamente _{Búsquedas de términos fonéticamente}

similares

(5)

5

Estructuras de Datos Auxiliares el

Vocabulario del Diccionario

 Búsqueda de términos_{Búsqueda de términos}

 Hashing_Hashing

 Árboles de búsqueda_{Árboles de búsqueda}

 Depende deDepende de

 Cuantos términos_{Cuantos términos}  Cantidad estática_{Cantidad estática}

 Sólo se agregan términos o pueden desaparecer_{Sólo se agregan términos o pueden desaparecer}  Frecuencia de acceso de los términos_{Frecuencia de acceso de los términos}

(6)

6

Estructuras de Datos Auxiliares el

Vocabulario del Diccionario

 Hashing_Hashing

 Transformar cada término en un entero_{Transformar cada término en un entero}  Resolver colisiones de forma simple_{Resolver colisiones de forma simple}

 Espacio grande para que hayan pocas o _{Espacio grande para que hayan pocas o}

ninguna colisión

 Demasiado espacio para Internet_{Demasiado espacio para Internet}

 Obsoleto en poco tiempo para Internet_{Obsoleto en poco tiempo para Internet}

(7)

7

Estructuras de Datos Auxiliares el

Vocabulario del Diccionario

 Árboles_Árboles

 Binarios_Binarios

 c/nodo tiene hasta 2 hijos_{c/nodo tiene hasta 2 hijos}

 O(logO(log₂₂ N) depende de mantenerlo balanceo N) depende de mantenerlo balanceo

 Árboles-B_Árboles-B

 c/nodo tiene entre [a,b] hijos_{c/nodo tiene entre [a,b] hijos}  Balanceados_Balanceados

 Práctico para levantar mayor porción del árbol de _{Práctico para levantar mayor porción del árbol de}

disco

 Requieren un orden asociado a los _{Requieren un orden asociado a los}

caracteres

(8)

8

Estructuras de Datos Auxiliares el

Vocabulario del Diccionario

Árbol binario Árbol-BÁrbol binario Árbol-B

Raiz aard vark muz a-m n-z Raiz a-h _i-n o-r r-z

(9)

9

Búsquedas con ”Comodines”

 No se conoce completamente la palabra - _{No se conoce completamente la palabra -}

S*dney

 Se busca conscientemente distintas _{Se busca conscientemente distintas}

versiones de la misma palabra - color y

colour

 Se buscan variantes de la palabra - Se buscan variantes de la palabra -

operating, operational, etc

 Se busca palabras en otros idiomas – _{Se busca palabras en otros idiomas –}

Universit* Stuttgart

(10)

10

Búsquedas con ”Comodines”

 mon* - se puede encontrar en un árbol de _{mon* - se puede encontrar en un árbol de}

búsqueda para las palabras del vocabulario

 El conjunto W de palabras con prefijo mon_{El conjunto W de palabras con prefijo mon}  |W| búsquedas en el diccionario_{|W| búsquedas en el diccionario}

 *mon - se puede encontrar en un árbol de _{*mon - se puede encontrar en un árbol de}

búsqueda para las palabras invertidas del

vocabulario

 árbol invertido_{árbol invertido}

 se*mon - se puede resolver mediante ambos se*mon - se puede resolver mediante ambos

árboles

(11)

11

Búsquedas con ”Comodines”

 Caso general de búsqueda de la palabra qCaso general de búsqueda de la palabra q_w_w

ev. con más de un comodín - conjunto W de

palabras que resuelven la consulta

 Buscar un conjunto Q tal que W _{Buscar un conjunto Q tal que W}⊂⊂ Q_Q

 Controlar las que cumplen las condiciones_{Controlar las que cumplen las condiciones}

 IndiceIndice Permuterm Permuterm  Indice_Indice k-gram_k-gram

(12)

12

Índice

Permuterm

_Permuterm

 Permutaciones de las palabras_{Permutaciones de las palabras}

 hello$_hello$  ello$h_ello$h  llo$he_llo$he  lo$hel_lo$hel  ..._...  Consulta m*n_{Consulta m*n}

 Se busca n$m* (ev. en un árbol de búsqueda)_{Se busca n$m* (ev. en un árbol de búsqueda)}

 Se incrementa el tamaño del diccionario_{Se incrementa el tamaño del diccionario}

hello$ ello$h llo$he lo$hel hello ...

(13)

13

Índice

Permuterm

_Permuterm

 Resolver fi*mo*er_{Resolver fi*mo*er}

 Buscar las palabras er$fi* (= fi*er)_{Buscar las palabras er$fi* (= fi*er)}

 Filtrar las que tengan ”mo” en el medio_{Filtrar las que tengan ”mo” en el medio}  fishmonger pero no filibuster_{fishmonger pero no filibuster}

 Buscar los términos que cumplen las _{Buscar los términos que cumplen las}

condiciones en el diccionario

(14)

14

“

Compressed Permuterm Index”

_{Compressed Permuterm Index”}

Ferragina

y

_y

Venturini

_Venturini

mississippi$ ississippi$m ssissippi$mi sissippi$mis issippi$miss ssippi$missi → sippi$missis ippi$mississ ppi$mississi pi$mississip i$mississipp $mississippi $ mississipp i i $mississip p i ppi$missis s i ssippi$mis s i ssissippi$ m m ississippi $ p i$mississi p p pi$mississ i s ippi$missi s s issippi$mi s s sippi$miss i s sissippi$m i ↑ → L = ipssm$pissii

(15)

15

Índice

k-gram

_k-gram

 Secuencias de k caracteres_{Secuencias de k caracteres}

 3-gram de la palabra castle: cas, ast y stl_{3-gram de la palabra castle: cas, ast y stl}

 $ para comenzar y finalizar las _{$ para comenzar y finalizar las}

subsecuencias de una palabra

 $castle$: $ca, cas, ast, stl, tle, le$_{$castle$: $ca, cas, ast, stl, tle, le$}

etr metric retrieval ...

metric

(16)

16

Índice

k-gram

_k-gram

 Resolver re*ve_{Resolver re*ve}

 Buscar $re AND ve$_{Buscar $re AND ve$}  relive, remove, retrieve_{relive, remove, retrieve}

 Buscar los términos que cumplen las _{Buscar los términos que cumplen las}

condiciones en el diccionario

 Resolver red*_{Resolver red*}

 Buscar $re AND red_{Buscar $re AND red}  Error retired_{Error retired}

 Filtrado posterior para eliminar errores_{Filtrado posterior para eliminar errores}

(17)

17

Correcciones Ortográficas

 britney spears = britian spears, britney’s _{britney spears = britian spears, britney’s}

spears, brandy spears, prittany spears

 Dos formas_{Dos formas}

 Distancia de edición_{Distancia de edición}  k-gram_k-gram

 Tipos de correcciones_{Tipos de correcciones}

 Encontrar el término más cercano_{Encontrar el término más cercano}

 Elegir entre dos (o más) términos cercanos, _{Elegir entre dos (o más) términos cercanos,}

 grnt = grunt, grant_{grnt = grunt, grant}

 Mayor frecuencia en la colección de documentos_{Mayor frecuencia en la colección de documentos}  Mayor frecuencia en las consultas de los usuarios_{Mayor frecuencia en las consultas de los usuarios}

(18)

18

Correcciones Ortográficas – Acciones

 Devolver documentos con el término original y _{Devolver documentos con el término original y}

otros términos que son correcciones del original

 Devolver documentos con términos que son _{Devolver documentos con términos que son}

correcciones del original sólo si el original NO

aparece en el diccionario

 Devolver documentos con términos que son _{Devolver documentos con términos que son}

correcciones del original sólo si el original devuelve

menos de

menos de mm resultados resultados

 Si el original devuelve menos de _{Si el original devuelve menos de}m_m resultados se _{resultados se}

presentan al usuario términos alternativos que son

correcciones del original

(19)

19

Correcciones Ortográficas

 Términos aislados_{Términos aislados}

 Corregir las palabras de la consulta en forma _{Corregir las palabras de la consulta en forma}

individual, aún en caso de conceptos o frases

 Agunas palabras se pueden NO corregir ya que _{Agunas palabras se pueden NO corregir ya que}

no se detectan como errores

(20)

20

Correcciones Ortográficas –

Distancia de Edición

 Distancia de edición entre sDistancia de edición entre s₁₁ y s y s₂₂ = mínimo = mínimo

número de operaciones de edición

necesarias para transformar s

necesarias para transformar s₁₁ en s en s₂₂

 Insertar un caracter_{Insertar un caracter}  Borrar un caracter_{Borrar un caracter}

 Reemplazar un caracter por otro_{Reemplazar un caracter por otro}

 Se puede asignar pesos a las operaciones_{Se puede asignar pesos a las operaciones}

 Reemplazar ”a” por ”p” es menos probable que _{Reemplazar ”a” por ”p” es menos probable que}

reemplazar ”a” por ”s” – teclado

(21)

21

Correcciones Ortográficas –

Distancia de Edición

 ¿Con que términos del vocabulario se debe _{¿Con que términos del vocabulario se debe}

comparar la palabra de la consulta?

 HeurísticasHeurísticas

 Términos que empiecen con la misma letra_{Términos que empiecen con la misma letra}  Versión del índice Permuterm sin $_{Versión del índice Permuterm sin $}

 Omitir algunas letras del comienzo y buscar en _{Omitir algunas letras del comienzo y buscar en}

el indice Permuterm

(22)

22

Correcciones Ortográficas –

k-gram

Buscar en el índice k-gram un conjunto de

palabras con muchas subsecuencias en

común con la original para buscar las más

cercanas – limitar aún más y usar dist. edición

 ¿k? ¿Cuántas palabras?¿k? ¿Cuántas palabras?

 ¿Cuántas subsecuencias en común?_{¿Cuántas subsecuencias en común?}

 Coeficiente Jaccard (medida de coincidencias)_{Coeficiente Jaccard (medida de coincidencias)}

|A

|A ⋂ ⋂ B| / |A B| / |A ⋃ ⋃ B|B|

 Conjuntos de subsecuencias que superen un _{Conjuntos de subsecuencias que superen un}

umbral

(23)

23

Correcciones Ortográficas -

Correccion Sensible al Contexto

 Corregir las palabras de la consulta en forma _{Corregir las palabras de la consulta en forma}

individual

 Buscar como conceptos o frases con y sin Buscar como conceptos o frases con y sin

las correcciones

 Usar frecuencias para acotar las búsquedasUsar frecuencias para acotar las búsquedas

 En el corpus_{En el corpus}

(24)

24

Correcciones Ortográficas -

Ejercicios

_Ejercicios

 La distancia en edición entre s1 y s2 nunca _{La distancia en edición entre s1 y s2 nunca}

es mayor que max{|s1|, |s2|}

(25)

25

Correcciones Ortográficas –

Fonética

 Hash fonético_{Hash fonético}

 Principalmente nombres propios_{Principalmente nombres propios}

 Algoritmos Soundex_{Algoritmos Soundex}

 Reducir cada término a 4 caracteres_{Reducir cada término a 4 caracteres}

 Construir un índice invertido de los términos de _{Construir un índice invertido de los términos de}

la colección reducidos a los originales – índice

Soundex

 Construir un índice invertido de los términos de _{Construir un índice invertido de los términos de}

la consulta reducidos a los originales

(26)

26

Correcciones Ortográficas –

Soundex Clásico

 Variaciones en la forma de reducir los términos_{Variaciones en la forma de reducir los términos}  1 letra y 3 dígitos (entre 0 y 9)_{1 letra y 3 dígitos (entre 0 y 9)}

 Dejar la primera letra del término_{Dejar la primera letra del término}

 Llevar a 0 las letras ”a”, ”e”, ”i”, ”o”, ”u”, ”h”, ”w”, ”y”_{Llevar a 0 las letras ”a”, ”e”, ”i”, ”o”, ”u”, ”h”, ”w”, ”y”}  Llevar a 1 las letras ”b”, ”f”, ”p”, ”v”_{Llevar a 1 las letras ”b”, ”f”, ”p”, ”v”}

 Llevar a 2 las letras ”c”, ”g”, ”j”, ”k”, ”q”, ”s”, ”x”, ”z”_{Llevar a 2 las letras ”c”, ”g”, ”j”, ”k”, ”q”, ”s”, ”x”, ”z”}  Llevar a 3 las letras ”d”, ”t”_{Llevar a 3 las letras ”d”, ”t”}

 Llevar a 4 la letra ”l”_{Llevar a 4 la letra ”l”}

 Llevar a 5 las letras ”m”, ”n”_{Llevar a 5 las letras ”m”, ”n”}  Llevar a 6 la letra ”r”_{Llevar a 6 la letra ”r”}

 Eliminar digítos repetidos consecutivos, dejando sólo uno _{Eliminar digítos repetidos consecutivos, dejando sólo uno}

de ellos

 Eliminar los 0s_{Eliminar los 0s}