Cap´ıtulo 1: Introducci´on

(1)

Cap´ıtulo 1: Introducci´

on

Del libro: Dise˜no de Algoritmos

C y Pascal

Agosto - 2011

(2)

´Indice

1 Algoritmos, Estructura de Datos y Programas

Algoritmos

Estructura de Datos Programas

2 Tipos de Datos y Tipos Abstractos de Datos

Tipos de Datos

Tipos abstractos de datos

3 Medida de tiempo de ejecuci´on de un programa

Comportamiento Asint´otico de Funciones Clases de comportamiento Asint´otico

(3)

Algoritmos

Definici´on:

Es una secuencia de acciones, cuya ejecución conduce a la obtención de una solución para un problema determinado. Según Dijkstra, un algoritmo corresponde a la descripción de un patrón de comportamiento, expresado en un conjunto finito de acciones.

• Los algoritmos son parte del d´ıa a d´ıa de las personas. Ejemplos de algoritmos:

• Instrucciones para el uso de medicamentos.

• Instrucciones para armar un aparato electr´onico.

• Una receta de cocina.

• Si realizamos la operaci´on a + b podemos percibir un patr´on de

(4)

Estructura de Datos

• Las estructuras de datos y algoritmos est´an estrechamente relacionados: • No se puede estudiar las estructuras de datos, sin considerar los algoritmos

asociados a ellos.

• La elecci´on de un algoritmo, depende en general, de la representaci´on y la estructura de datos.

• Para resolver un problema es necesario escoger una abstracción de la realidad, en general, mediante la definición de un conjunto de datos que representa la situación real.

(5)

Selecci´

on de la representaci´

on de los datos

• La elecci´on de la representaci´on de los datos es determinada, entre otras, por las operaciones a ser realizadas sobre los datos.

• Si consideramos una operaci´on de adici´on:

• Para números pequeños, una buena representación es por medio de barras verticales (|).

• La representaci´on por d´ıgitos decimales requiere de reglas mas complejas, las cuales deben ser memorizadas

• Sin embargo, cuando queremos sumar grandes números es más fácil la representación por d´ıgitos decimales, debido al principio basado en el peso relativo de la posición de cada d´ıgito dentro del número.

(6)

Programas (1/2)

Programar:

Es b´asicamente estructurar datos y construir algoritmos.

Programas:

• Son formulaciones concretas de algoritmos abstractos, basados en representaciones y estructuras espec´ıficas de datos.

• Representan una clase especial de algoritmos capaces de ser ejecutados por computadores.

• Un computador, es capaz de seguir instrucciones en lenguaje de m´aquina (instrucciones oscuras y desalentadoras).

(7)

Programas (2/2)

• Por tal motivo, es necesario construir lenguajes mas adecuados, que faciliten la tarea de programar un computador.

• Un lenguaje de programación es una técnica de notación para programar, con la intención de servir de veh´ıculo tanto para la expresión del raciocinio algor´ıtmico como para la ejecución automática de un algoritmo en un computador.

(8)

Tipos de Datos

• Caracteriza a un conjunto de valores al que pertenece una constante, o que pueden ser asumidos por una variable o expresi´on, o puede ser generado por una funci´on.

• Los tipos de datos simples, son grupos de valores indivisibles (c´omo los tipos de datos int, boolean, char y float del Java)

• Ejemplo: Una variable de tipo boolean puede asumir el valor verdadero o falso y ning´un otro valor.

• Los tipos de datos estructurados, en general definen una colecci´on de valores simples, o una composici´on de valores de tipos diferentes.

(9)

Tipos abstractos de datos (TADs) [1/2]

• Modelo matem´atico, acompa˜nado de las operaciones definidas sobre el modelo.

• Ejemplo: un conjunto de dos enteros, acompañado de operaciones de adición, substracción y multiplicación

• Los TADs son usados ampliamente como base para el diseño de algoritmos. • La implementación de un algoritmo en un lenguaje de programación

espec´ıfico, exige la representaci´on de TAD en t´ermino de los tipos de datos y de los operadores soportados.

(10)

Tipos abstractos de datos (TADs)[2/2]

• La representaci´on de un modelo matem´atico por un TAD es realizada mediante una estructura de datos.

• Podemos considerar a los TADs como generalizaciones de tipos de datos primitivos y los procedimientos como generalizaciones de operaciones primitivas.

• Un TAD encapsula tipos de datos. Una definici´on de los tipos y todas las operaciones quedan localizadas en una secci´on del programa.

(11)

Implementaci´

on de TADs (1/2)

• Considere una aplicaci´on que utilice una lista de enteros. Podr´ıamos definir el TAD Lista, con las siguientes operaciones:

1 Vaciar lista

2 Obtener el primer elemento de la lista: si la lista estuviera vac´ıa, entonces devolver nulo.

3 Insertar un elemento en la lista

• Hay varias opciones de estructuras de datos que permiten una implementaci´on eficiente para listas, como por ejemplo vectores. • Cada operaci´on del tipo abstracto de datos es implementada como un

(12)

Implementaci´

on de TADs (2/2)

• Cualquier modificación de la implementación del TAD, impacta sobre la parte encapsulada, sin causar impactos sobre las otras partes de código.

• Cada conjunto diferente de operaciones define un TAD diferente sobre el mismo modelo de datos.

• La selecci´on adecuada de la implementaci´on depende fuertemente de las operaciones a ser realizadas sobre el modelo.

(13)

Medida de tiempo de ejecuci´

on de un programa

• El dise˜no de algoritmos esta fuertemente influenciado por el estudio de sus comportamientos.

• Después que un problema es analizado y se han tomado decisiones sobre el diseño, es necesario estudiar varias opciones de algoritmos a ser utilizados, considerando los aspectos de: tiempo de ejecución y espacio ocupado. • Muchos de estos algoritmos son encontrados en áreas como: Investigación

Operativa, Optimizaci´on, Teor´ıa de Grafos, Estad´ıstica, Probabilidades, entre otras.

(14)

Tipos de problemas en an´

alisis de algoritmos

• An´alisis de un algoritmo en particular:

• ¿Cu´al es el costo de utilizar un algoritmo concreto para resolver un problema en particular?

• Caracter´ısticas a investigar:

• An´alisis del n´umero de veces que cada parte de un algoritmo debe ser ejecutada • Estudio de la cantidad de memoria que necesita.

• An´alisis de una clase de algoritmos:

• ¿Cu´al es el algoritmo de menor costo para resolver un problema en particular?

• Caracter´ısticas a investigar:

• Se debe analizar toda la familia de algoritmos para resolver el problema. • Identificar uno que sea el mejor posible.

• Fijar limites para la complejidad computacional de los algoritmos pertenecientes a la clase.

(15)

Costo de un algoritmo

• Determinar el menor costo posible para resolver problemas de una determinada clase, se tiene una medida de la dificultad inherente para resolver el problema.

• Cuando el costo de un algoritmo es igual al menor costo posible, el algoritmo es ´optimo para la medida de costo considerada.

• Pueden existir varios algoritmos para resolver el mismo problema.

• Si la misma medida de costo es aplicada a diferentes algoritmos, entonces es posible compararlos y escoger el mas adecuado.

(16)

Costo de la ejecuci´

on de un programa

• Todas las medidas son bastante inadecuadas y los resultados no deben ser generalizados jam´as:

• Los resultados son dependientes del compilador que puede favorecer algunas construcciones en detrimento de otras.

• Los resultados dependen del hardware.

• Cuando grandes cantidades de memoria son utilizadas, las medidas de tiempo pueden depender de este aspecto.

• A pesar de esto, hay argumentos a favor de que se obtengan medidas reales del tiempo

• Cuando hay algoritmos distintos para resolver un mismo problema, todos con un costo de ejecuci´on en el mismo orden de magnitud

• As´ı mismo, son considerados los costos reales de las operaciones como los costos no aparentes, tales como reserva de memoria, indexaci´on, carga entre otros.

(17)

Medida de costo por medio de un modelo matem´

atico

• Usa un modelo matemático basado en un computador idealizado. • Se debe especificar un conjunto de operaciones y sus costos de ejecución. • Es usual ignorar el costo de algunas operaciones y considerar sólo las

operaciones mas significativas.

• Ejemplo: algoritmos de ordenación. Se considerará el número de comparaciones entre los elementos del conjunto a ser ordenado e ignoramos las operaciones aritméticas, de asignación y manipulación de ´ındices (si existiesen).

(18)

Funci´

on de complejidad

• Para medir el costo de ejecución de un algoritmo es común definir una función de costo o función de complejidad f .

Definici´on:

Función de complejidad de tiempo: f (n) mide el tiempo necesario para ejecutar un algoritmo en un problema de tamaño n en un computador idealizado. Definición:

Funci´on de complejidad de espacio: f (n) mide la memoria necesaria para ejecutar un algoritmo en un problema de tama˜no n.

(19)

Funci´

on de complejidad

• Utilizaremos f para denotar una funci´on de complejidad de tiempo de aqu´ı en adelante.

• La complejidad de tiempo en realidad no representa el tiempo directamente, sino el n´umero de veces que una operaci´on considerada relevante es

(20)

Ejemplo: mayor elemento

• Considere un algoritmo para encontrar el mayor elemento en un vector de enteros: v[0 . . . n − 1], n ≥ 1

package Cap1; public class Max {

public static int max (int v[], int n) { int max = v[0];

for (int i = 1; i < n; i++) if (max < v[i]) max = v[i]; return max;

(21)

Ejemplo: mayor elemento

• Sea f una funci´on de complejidad tal que f (n) es el n´umero de comparaciones entre los elementos de v, si v contiene n elementos. • Luego f (n) = n − 1, para n > 0.

(22)

Ejemplo: mayor elemento

Teorema:

Cualquier algoritmo para encontrar el mayor elemento de un conjunto con n elementos, n ≥ 1, hay por lo menos n − 1 comparaciones.

Prueba.

Cada uno de los n − 1 elementos se debe examinar, mediante comparaci´on para comprobar que es menor que alg´un otro.

• Luego n − 1 comparaciones son necesarias

• El teorema anterior nos dice que, si el número de comparaciones fuera utilizado como medida de costo, entonces la función Max es óptima.

(23)

Tama˜

no de la entrada de datos

• La medida de la ejecuci´on de un algoritmo depende principalmente del tama˜no de la entrada de datos.

• Es común considerar el tiempo de ejecución de un programa como una función del tamaño de la entrada.

• Para algunos algoritmos, el costo de ejecución es una función particular de los datos de entrada, no del tamaño de la entrada.

• En el caso del algoritmo Max de la funci´on de ejemplo, el costo es uniforme sobre todos los problemas de tama˜no n.

• Esto no ocurre en los algoritmos de ordenaci´on, si los datos de entrada ya estuvieran ordenados, el algoritmos puede tener que trabajar menos.

(24)

Mejor caso, peor caso y caso medio

• Mejor caso: menor tiempo de ejecución sobre todas las entradas de tamaño n. • Peor caso: mayor tiempo de ejecución sobre todas las entradas de tamaño n. • Si f es una función de complejidad basada en el análisis del peor caso, el costo de

aplicar el algoritmo nunca ser´a mayor que f (n).

• Caso medio (caso esperado): media de los tiempos de ejecuci´on de todas las entradas de tama˜no n.

(25)

Mejor caso, peor caso y caso medio

• El análisis del caso esperado, se supone una distribución de probabilidades sobre un conjunto de entradas de tamaño n y el costo medio es obtenido en base a esta distribución.

• El an´alisis del caso esperado (caso medio) es generalmente mucho mas dif´ıcil de realizar que el an´alisis de mejor o peor caso.

• Es com´un suponer una distribuci´on de probabilidad en la que todas las posibles entradas sean equiprobables.

(26)

Ejemplo: Registros de una archivo

• Considere el problema de acceder a los registros de un archivo. • Cada registro contiene una clave ´unica que es utilizada para recuperar

registros de un archivo.

• El problema: dada una clave cualquiera, buscar el registro que contiene esta clave.

• El algoritmo mas sencillo, es el que hace una búsqueda secuencial. • Sea f una función de complejidad tal que f (n) es el número de registros

consultados del archivo (n´umero de veces que la clave de consulta es comparada con cada clave de registro) :

• Mejor caso: f (n) = 1 (el registro buscado es el primero)

• Peor caso: f (n) = n (el registro buscado es el ´ultimo o no se encuentra en el archivo.

(27)

Ejemplo: registro de un archivo

• En el estudio del caso medio, vamos a considerar que toda b´usqueda recupera un registro.

• Sea pi la probabilidad que el i-´esimo registro sea recuperado. Considerando

que para recuperar el i-´esimo registro son necesarias i comparaciones, entonces:

(28)

Ejemplo: registro de un archivo

• Para calcular f (n) basta conocer la distribuci´on de probabilidades de pi.

• Si cada registro tiene la misma probabilidad de ser accedido que otro entonces: pi = 1/n, 1 ≤ i ≤ n. En este caso:

f (n) = 1 n(1 + 2 + 3 + . . . + n) = 1 n( n(n + 1) 2 ) = n + 1 2

• El análisis del caso esperado revela que una búsqueda con éxito, examina la mitad de los registros.

(29)

Ejemplo: Mayor y menor elemento (1)

• Considere el problema de encontrar el mayor y menor elemento de un vector de enteros: v[1..n], n ≥ 1

• Un algoritmo simple puede ser derivado del algoritmo presentado en el programa para hallar el mayor elemento:

• El vector maxM in declarado localmente en el m´etodo maxM in1 es utilizado para retornar en las posiciones 0 y 1 el mayor y menor elemento del vector v respectivamente.

(30)

Ejemplo: Mayor y menor elemento (1)

package cap1;

public class MaxMin1 {

public static int [] maxMin1 (int v[], int n) { int max = v[0], min = v[0];

for (int i = 1; i < n; i++) { if (v[i] > max) max = v[i]; if (v[i] < min) min = v[i]; }

int maxMin[] = new int[2];

maxMin[0] = max; maxMin[1] = min; return maxMin;

} }

(31)

Ejemplo: Mayor y menor elemento (1)

• Sea f (n) el n´umero de comparaciones entre los elementos de v, si v contiene n elementos.

• Luego f (n) = 2(n − 1), para n > 0, para el mejor caso, peor caso y caso medio.

• MaxMin1 puede ser fácilmente mejorado: la comparación v[i] < M in sólo es necesaria cuando las comparación v[i] da falso.

(32)

Ejemplo: Mayor y menor elemento (2)

package Cap1;

public class MaxMin2 {

public static int [] maxMin2 (int v[], int n) { int max = v[0], min = v[0];

for (int i = 1; i < n; i++) { if (v[i] > max) max = v[i]; else if (v[i] < min) min = v[i]; }

int maxMin[] = new int[2];

maxMin[0] = max; maxMin[1] = min; return maxMin;

} }

(33)

Ejemplo: Mayor y menor elemento (2)

• Para esta nueva implementaci´on se tiene:

• Mejor caso: f (n) = n − 1(cuando los elementos se encuentran en orden creciente).

• Peor caso: f (n) = 2(n − 1) (cuando los elementos se encuentran en orden decreciente)

• Caso medio: f (n) = 3n/2 − 3/2.

• En el caso medio, v[i] es mayor que M ax la mitad de las veces. • Luego, f (n) = n − 1 +n−1₂ = 3n₂ −3

(34)

Ejemplo: mayor y menor elemento (3)

• Considerando el n´umero de comparaciones realizadas, existe la posibilidad de obtener un algoritmo mas eficiente:

• Comparar los elementos de v por pares, separ´andolos en dos subconjuntos (mayores en uno y menores en otro), a un costo de dn/2e comparaciones.

• El m´aximo es obtenido del subconjunto que contiene los mayores elementos, aun costo de dn/2e − 1 comparaciones.

• El m´ınimo es obtenido del subconjunto que contiene los menores elementos, aun costo de dn/2e − 1 comparaciones.

(35)

Ejemplo: mayor y menor elemento (3)

package Cap1; public class MaxMin3 {

public static int [] maxMin3 (int v[], int n) { int max, min, FinDeBucle;

if ((n % 2) > 0) { v[n] = v[n-1]; FinDeBucle = n; } else FinDeBucle = n-1;

if (v[0] > v[1]) { max = v[0]; min = v[1]; } else { max = v[1]; min = v[0]; }

int i = 2;

while (i < FinDeBucle) { if (v[i] > v[i+1]) {

if (v[i] > max) max = v[i]; if (v[i+1] < min) min = v[i+1]; }

else {

if (v[i] < min) min = v[i]; if (v[i+1] > max) max = v[i+1]; }

i = i + 2; }

(36)

Ejemplo: mayor y menor elemento (3)

• Los elementos de v son comparados dos a dos, y los elementos mayores son comparados con Max y los elementos menores son comparados con Min. • Cuando n es impar, el elemento que esta en la posici´on v[n − 1] es duplicado

en la posición v[n] para evitar el tratamiento de una excepción. • Para esta implementación,

f (n) = n 2 + n − 2 2 + n − 2 2 = 3n 2 − 2, para n > 0, para el mejor caso, peor caso y caso promedio.

(37)

Comparaci´

on entre los algoritmos MaxMin1, MaxMin2 y

MaxMin3

• La tabla presenta una comparaci´on entre los algoritmos de los programas M axM in1, M axM in2 y M axM in3, considerando el n´umero de comparaciones como medida de la complejidad.

• Los algoritmos M axM in2 y M axM in3 son superiores al algoritmo M axM in1 de forma general.

• El algoritmo M axM in3 es superior al algoritmo M axM in2 con relaci´on al peor caso y es bastante pr´oximo en cuanto al caso promedio.

Algoritmos Mejor caso Peor caso Caso promedio MaxMin1 2(n − 1) 2(n − 1) 2(n − 1) MaxMin2 n − 1 2(n − 1) 3n/2 − 3/2 MaxMin3 3n/2 − 2 3n/2 − 2 3n/2 − 2

(38)

Limite inferior - Uso de un or´

aculo

• ¿Existe la posibilidad de obtener un algoritmo M inM ax mas eficiente? • Para responder tenemos que conocer el limite inferior de esta clase de

algoritmos.

• Una de las t´ecnicas mas utilizadas: uso de un or´aculo.

• Se establece un modelo computacional que exprese el comportamiento de un algoritmo, el or´aculo informa el resultado de cada paso posible (en nuestro caso, de cada comparaci´on)

• Para calcular el l´ımite inferior, el oráculo siempre intenta forzar que el algoritmo trabaje al máximo, escojiendo como resultado de la próxima comparación aquel que cause el mayor trabajo posible para determinar la respuesta final.

(39)

• El teorema nos dice que si un n´umero de comparaciones entre los elementos de un vector fuera utilizado como medida del costo, entonces el algoritmos

(44)

Comportamiento Asint´

otico de Funciones

• El par´ametro n proporciona una medida de la dificultad para resolver el problema.

• Para valores suficientemente peque˜nos de n, cualquier algoritmo tiene un coste peque˜no incluyendo los algoritmos ineficientes.

• La elección de un algoritmo no es un problema cr´ıtico para problemas de tamaño pequeño

• Por lo tanto, el an´alisis de algoritmos es realizado para valores grandes de n. • Se estudia el comportamiento asint´otico de las funciones de coste.

• El comportamiento asint´otico de f (n) representa el comportamiento l´ımite de coste cuando n crece.

(45)

Dominaci´

on Asint´

otica

Definici´on:

Una función f (n) domina asintóticamente a otra función g(n) si existen dos constantes positivas c y m tales que cuando n ≥ m se cumple que |g(n)| ≤ c × |f (n)|

• El an´alisis de un algoritmo generalmente s´olo tiene en cuenta apenas algunas operaciones elementales.

• La medida del coste o la medida de la complejidad, pone de manifiesto el crecimiento asint´otico de la operaci´on considerada.

(46)

Notaci´

on O

Definici´on:

Una funci´on g(n) es O(f (n)) si existen dos constantes positivas c y m tales que: g(n) ≤ cf (n), para todo n ≥ m

• Escribimos g(n) = O(f (n)) para expresar que f (n) domina asint´oticamente a g(n), y se lee g(n) es del orden m´aximo de f (n).

• Ejemplo: cuando decimos que el tiempo de ejecuci´on T (n) de un programa es O(n2_{), significa que}

existen constantes c y m tales que, para valores de n ≥ m, T (n) ≤ cn2_.

(47)

Ejemplos de notaci´

on O

• Ejemplo: g(n) = (n + 1)2.

• Luego g(n) es O(n2_{), cuando m = 1 y c = 4.} • Debido a que: (n + 1)2≤ 4n2

para n ≥ 1 • Ejemplo: g(n) = n y f (n) = n2_.

• Sabemos que g(n) es O(n2), pues para n ≥ 0, n ≤ n2

• Sin embargo, f (n) no es O(n)

• Supongamos que exista constantes c y m tales que, para todo n ≥ m, n2_{≤ cn.}

• Luego c ≥ n para cualquier n ≥ m, y no existe una constante c que pueda ser mayor o igual a n para todo n.

(48)

Ejemplos de notaci´

on O

• Ejemplo: g(n) = 3n3_{+ 2n}2_{+ n es O(n}3_).

• Basta mostrar que 3n3_{+ 2n}2_{+ n ≤ 6n}3_{, para n ≥ 0 .}

• La función g(n) = 3n3+ 2n2+ n es también O(n4), sin embargo esta afirmación es mas debil que decir que g(n) es O(n3_).

• Ejemplo: g(n) = log5n es O(logn).

• El logbn difiere de logcn por una constante que en nuestro caso es: logbc. • C´omo n = clogcn_{, tomando el logaritmo en base b en ambos lados de la}

(49)

Operaciones con Notaci´

on O

• f (n) = O(f (n))

• c × O(f (n)) = O(f (n)), c es una constante • O(f (n)) + O(f (n)) = O(f (n))

• O(O(f (n))) = O(f (n))

• O(f (n)) + O(g(n)) = O(maxf (n), g(n)) • O(f (n))O(g(n)) = O(f (n)g(n))

(50)

Operaciones con Notaci´

on O

• Ejemplo: regla de suma O(f (n)) + O(g(n))

• Suponga 3 porciones de programa cuyos tiempos de ejecuci´on son: O(n), O(n2) y O(nlogn)

• El tiempo de ejecuci´on de las dos primeras porciones es: O(max(n, n2_{)), que} es O(n2).

• El tiempo de ejecuci´on de las 3 porciones de algoritmos es: O(max(n2_{, nlogn)), que es O(n}2_).

• El producto de [log n + k + O(1/n)] por [n + O(√n)] es n log n + kn + O(√n log n).

(51)

Notaci´

on Ω

Definici´on:

Una funci´on es Ω(f (n)) si existen dos constantes c y m tales que g(n) ≥ cf (n), para todo n ≥ m.

• Especifica un l´ımite inferior para una funci´on g(n).

• Ejemplo 1: Para demostrar que g(n) = 3n3+ 2n2 es Ω(n3) basta con hacer c = 1, entonces: 3n3+ 2n2≥ n3 _{para n ≥ 0.}

on Θ

• Decimos que g(n) = Θ(f (n)) si existen constantes positivas c1, c2 y m tales

que, para todo valor de n ≥ m, el valor de g(n) se encuentra sobre c1f (n) y

por debajo de c2f (n).

• Esto es, para todo n ≥ m, una funci´on g(n) es igual a f (n) salvo por una constante.

(55)

Ejemplos de Notaci´

on Θ

• Sea g(n) = n2_{/3 − 2n, debemos demostrar que g(n) = Θ(n}2_).

• Se tiene que encontrar las constantes c1, c2 y m tales que:

0 ≤ c1n2≤ n2/3 − 2n ≤ c2n2 para todo n ≥ m.

• S´ı dividimos por n2 _{tenemos que: c}

1≤1₃−_n2 ≤ c2.

• El lado derecho de la desigualdad ser´a siempre v´alido para cualquier valor de n ≥ 1 cuando se elige c2≥ 1₃

• Si elegimos c1≤ ₂₁1, el lado izquierdo de la desigualdad ser´a v´alido para

cualquier valor de n ≥ 7.

• Luego, eligiendo c1= ₂₁1, c2=1₃ y m = 7, se verifica que

n2_{/3 − 2n = Θ(n}2_).

(56)

Clases de comportamiento Asint´

otico

• Si f es una función de complejidad para un algoritmo F , entonces O(f ) es considerada como complejidad asintótica o comportamiento asintótico del algoritmo F .

• Una relación de dominación asintótica permite comparar funciones de complejidad.

• Entretanto, si las funciones f y g dominan asint´oticamente una a otra, entonces los algoritmos asociados son equivalentes.

• En estos casos, el comportamiento asint´otico no sirve para comparar los algoritmos.

(57)

Clases de comportamiento Asint´

otico

• Por ejemplo, considere dos algoritmos F y G aplicados a la misma clase de problemas, si F lleva 3 veces el tiempo de ejecuci´on de G en ser ejecutado, esto es, f (n) = 3g(n), es decir: O(f (n)) = O(g(n)).

• Luego, el comportamiento asint´otico no sirve para comparar los algoritmos F y G porque ellos difieren apenas por una constante.

(58)

Comparaci´

on de programas

• Podemos validar programas comparando las funciones de complejidad, sin considerar las constantes de proporcionalidad.

• Un programa con tiempo de ejecuci´on O(n2_{) es mejor que otro de tiempo}

O(n2).

• No obstante, las constantes de proporcionalidad pueden alterar esta consideraci´on.

(59)

Comparaci´

on de programas

• Ejemplo: un programa lleva 100n unidades de tiempo para ser ejecutado y otro lleva 2n2_{. ¿Cu´}_{al de los dos es mejor?}

• Depende del tama˜no del problema.

• Para n < 50, el programa con tiempo 2n2 _{es mejor que el de tiempo de} ejecuci´on 100n.

• Para problemas con entrada de datos peque˜na es preferible usar un programa cuyo tiempo de ejecuci´on es O(n2).

• Entretanto, cuando n crece, el programa con tiempo de ejecuci´on O(n2) lleva mucho mas tiempo que el programa O(n).

(60)

Principales clases de problemas

• f (n) = O(1)

• Los algoritmos de complejidad O(1) son distintos de complejidad constante.

• Uso de un algoritmos independiente de n.

(61)

Principales clases de problemas

• f (n) = O(logn).

• Un algoritmo de complejidad O(logn) se dice que tiene complejidad logaritmica.

• Es t´ıpico de algoritmos que transforman un problema en problemas menores.

• Se puede considerar un tiempo de ejecuci´on menor que una constante grande.

• Cuando n es 1000, log2n ≈ 10, cuando n es 1000000, log2n ≈ 20. • Para doblar el valor de logn tenemos que considerar el cuadrado de n.

• La base de logaritmo influye muy poco en estos valores: cuando n es 1000000 el log2n es 20 y log10n es 6.

(62)

Principales clases de problemas

• f (n) = O(n)

• Un algoritmo de complejidad O(n) es llamado complejidad lineal.

• En general, un trabajo peque˜no es realizado sobre cada elemento de entrada.

• En la mejor situaci´on posible, tiene que procesar n elementos de entrada, o producir n elementos de salida.

(63)

Principales clases de problemas

• f (n) = O(nlogn)

• Se da en algoritmos que parten un problema en otros menores, resuelven cada uno de ellos de manera independiente y juntan las soluciones despu´es.

• Cuando n es 1 mill´on, nlog2n es cerca de 20 millones.

• Cuando n es 2 millones, nlog2n es cerca de 42 millones, un poco mas del doble.

(64)

Principales clases de problemas

• f (n) = O(n2₎

• Un algoritmo de complejidad O(n2) es llamado de complejidad cuadr´atica.

• Ocurre cuando los items de datos son procesados en pares, muchas veces en un bucle dentro de otro.

• Cuando n es mil, el n´umero de operaciones es en el orden de un mill´on.

• Siempre que n se duplica, el tiempo de ejecuci´on es multiplicado por 4.

(65)

Principales clases de problemas

• f (n) = O(n3)

• Un algoritmo de complejidad O(n3) es llamado de complejidad c´ubica.

• Utiles apenas para resolver peque˜´ nos problemas.

• Cuando n es 100, el n´umero de operaciones esta en el orden de un mill´on.

(66)

Principales clases de problemas

• f (n) = O(2n₎

• Un algoritmo de complejidad O(2n_{) es llamado de complejidad exponencial.} • No son ´utiles desde el punto de vista pr´actico.

• Aparecen cuando se soluciona un problema empleando fuerza bruta.

• Cuando n es 20, el tiempo de ejecución es cerca de un millón. Cuando n se duplica, el tiempo de ejecución es elevado al cuadrado.

(67)

Principales clases de problemas

• f (n) = O(n!)

• Un algoritmo de complejidad O(n!) es tambi´en llamado de complejidad exponencial, a pesar de O(n!) tiene un comportamiento peor que O(2n)

• Aparecen cuando se soluciona un problema empleando fuerza bruta.

• Cuando n = 20 → 20! = 2432902008176640000, un n´umero de 19 d´ıgitos.

(68)

(69)

Algoritmos Polinomiales

• Un algoritmo exponencial tiene un tiempo de ejecuci´on en funci´on de la complejidad O(cn_{), c > 1.}

• Un algoritmo polinomial tiene un tiempo de ejecuci´on en funci´on de la complejidad O(p(n)), donde p(n) es un polinomio.

• La diferencia entre estos dos tipos de algoritmo es significativa cuando el tama˜no del problema a resolver crece.

• Por eso, los algoritmos polinomiales son más utiles en la prácica que los exponenciales, ya que estos en la practica, son variaciones simples de una búsqueda exhaustiva.

• Los algoritmos polinomiales son obtenidos mediante un estudio mas profundo de la estructura del problema.

(70)

Algoritmos Polinomiales

• Un problema es considerado:

• Intratable: si no existe un algoritmo polinomial para resolverlo.

(71)

Algoritmos polinomiales vs algoritmos exponenciales

• La diferencia entre algoritmos polinamiales eficientes y algoritmos exponenciales ineficientes posee varias excepciones.

• Ejemplo: un algoritmo con funci´on de complejidad f (n) = 2n _{es m´}_{as rapido}

que un algoritmo g(n) = n5 _{para valores de n menores o iguales a 20.}

• También existen algoritmos exponenciales que son muy útiles en la práctica. • Ejemplo: el algoritmo simplex para programación lineal tiene una complejidad

de tiempo exponencial para el peor caso, pero en la pr´actica se ejecuta mucho mas r´apido.

• Por desgracia, tales ejemplos no aparecen con frecuencia en la pr´actica, y muchos algoritmos exponenciales conocidos no son muy ´utiles.

(72)

Ejemplo de un algoritmo exponencial

• Un agente viajero desea visitar n ciudades de tal forma que su viaje inicie y termine en una misma ciudad, y cada ciudad debe ser visitada una ´unica vez.

• Supongamos que siempre existe un camino entre dos ciudaddes cualesquiera, el problema es encontrar la menor ruta para el viaje.

• La figura ilustra un ejemplo para cuatro ciudades: c1, c2, c3, c4, los n´umeros sobre los arcos indican la

distancia entre las ciudades

• El recorrido < c1, c3, c4, c2, c1> es una soluci´on para el problema, cuyo recorrdio total tiene una

(73)

Ejemplo de un algoritmo exponencial

• Un algoritmo simple seria recorrer todas las rutas y seleccionar la menor de ellas.

• Existen (n − 1)! rutas posibles y la distancia total recorrida en cada ruta realiza n sumas, luego el n´umero total de sumas es n!

• Para el ejemplo anterior tendremos24 sumas.

• Ahora supongamos que tenemos 50 ciudades, el n´umero de adiciones ser´ıa 50! ≈ 1064.

• En un computador que ejecuta 109_{sumas por segundo, el tiempo total para resolver el problema con 50}

ciudades, ser´ıa mayor que 1045_{siglos, s´}_{olo para realizar las sumas.}

• El problema del agente viajero aparece con frecuencia en problemas relacionado con el transporte, tambi´en en aplicaciones importantes relacionadas con el recorrido de los brazos robotizados.

(74)

T´

ecnicas de an´

alisis de algortimos

• Determinar el tiempo de ejecuci´on exacto de un programa puede ser un problema matem´atico complejo.

• Determinar el orden del tiempo de ejecuci´on, sin preocupaci´on del valor de la constante, puede ser una tarea mas simple.

• El análisis utiliza técnicas de matemática discreta entre las que se encuentran el conteo o enumeración de un conjunto:

• manejo de sumas,

• productos,

• permutaciones,

• factoriales,

• coeficientes binomiales,

(75)

An´

alisis de Tiempo de Ejecuci´

on

• Sentencia de asignaci´on, de lectura o de escritura: O(1).

• Secuencia de sentencias, esta determinada por el mayor tiempo de ejecuci´on de cualquier comando de la secuencia.

• Sentencia de desición, tiempo de ejecución de las setencias que se ejecutan dentro de la estructura de control mas el tiempo necesario para evaluar la condición.

• Bucles, se suma el tiempo de ejecución del cuerpo del bucle mas el tiempo de evaluación de la condición de terminación (generalmente O(1) ), multiplicado por el número de iteraciones.

(76)

An´

alisis de Tiempo de Ejecuci´

on

• Procedimientos no recursivos, cada uno debe ser calculado de manera separada uno a uno, iniciando con aquellos que no llaman a otros procedimientos. Luego se eval´uan los procedimientos que llaman a los ya calculados con anterioridad. El proceso se repite hasta llegar al programa principal.

• Procedimientos recursivos, asociado a una función de complejidad f (n) desconocida, en donde n mide el tamaño de los argumentos en cuestión.

(77)

Procedimiento no recursivo

Algoritmo para ordenar los n elementos de un conjunto v en orden ascendente.

package Cap1;

public class Ordenacion {

public static void ordena (int v[], int n) { for (int i = 0; i < n - 1; i++) {

int min = i;

for (int j = i + 1; j < n; j++) if (v[j] < v[min])

min = j;

/* @{ intercambia v[min] y v[i]}@ */ int x = v[min];

v[min] = v[i]; v[i] = x; }

(78)

An´

alisis de un procedimiento no recursivo

• Selecciona el menor elemento del conjunto.

• Intercambia este elemento con el primer elemento v[0].

• Se deben repetir ambas operaciones para los n − 1 elementos restantes, luego con los n − 2 elementos restantes y as´ı sucesivamente hasta que quede un elemento.

(79)

An´

alisis de un procedimiento no recursivo

Bucle interno:

• Contiene un comando de decisi´on, con un sentencia de asignaci´on. Ambos tienen un tiempo constante en ser ejecutados.

• En cuanto al cuerpo del comando de decisi´on, debemos considerar el peor caso, asumiendo que siempre puede ser ejecutado.

• El tiempo para incrementar el indice y validar su condici´on de terminaci´on es O(1).

• El tiempo combinado para ejecutar una vez el bucle es O(max(1, 1, 1)) = O(1), seg´un la regla de suma para la notaci´on O.

• Como el número de iteraciones es n − i, el tiempo de ejecución en el bucle es O((n − i) × 1) = O(n − i), deacuerdo a la regla del producto para la notación O.

(80)

An´

alisis de un procedimiento no recursivo

Bucle externo:

• Contiene, adem´as del bucle interno, cuatro comandos de asignaci´on: O(max(1, (n − i), 1, 1, 1)) = O(n − i)

• La l´ınea (1) es ejecutada n − 1 veces, y el tiempo total para ejecutar el programa esta limitado por el producto de una constante por la sumatoria de (n − i):

n−1 X 1 (n − i) =n(n − 1) 2 = n2 2 − n 2 = O(n 2₎

• Si consideramos el n´umero de comparaciones c´omo medida de costo relevante, el programa realiza (n2_{)/2 − n/2 comparaciones para ordenar n elementos.}

(81)

Procedimiento recursivo

Busqueda (n) ; (1) if n <= 1

(2) then ’inspeccione elemento’ y termine else begin

(3) para cada uno de los n elementos ’inspecione elemento’ ;

(4) Busqueda(n/3) ;

end;

• Para cada procedimiento recursivo es asociada una funci´on de complejidad f (n) desconocida, donde n mide el tama˜no de los argumentos para el procedimiento.

• Obtenermos una ecuaci´on de recurrencia para f (n).

• Ecuación de recurrencia: manera de definir una función por una expresión en la que se encuentra incluida la misma función.

(82)

An´

alisis de un procedimiento recursivo

• Sea T (n) una funci´on de complejidad que represente el n´umero de veces que se ha examinado los n elementos de un conjunto.

on de recurrencia

Otra soluci´on:

T (n) = x−1 X i=0 n 3i + T ( n 3x) • Si x = log3n, entonces T (3nx) = 1 y, T (n) = (log₃n)−1 X i=0 n 3i + 1 T (n) = n(1 − ( 1 3) log3n₎ (1 −1₃) + 1 = 3n 2 − 1 2 ,