Creación de un ambiente para la interacción entre agentes inteligentes en una subasta de primer precio repetida

Texto completo

(1)II-02(2)5. CREACIÓN DE UN AMBIENTE PARA LA INTERACCIÓN ENTRE AGENTES ARTIFICIALES EN UNA SUBASTA REPETIDA DE PRIMER PRECIO. DIEGO ANDRES AMAYA G.. UNIVERSIDAD DE LOS ANDES FACULTAD DE INGENIERIA DEPARTAMENTO DE INDUSTRIAL. BOGOTA D.C 2002.

(2) II-02(2)5. CREACIÓN DE UN AMBIENTE PARA LA INTERACCIÓN ENTRE AGENTES ARTIFICIALES EN UNA SUBASTA REPETIDA DE PRIMER PRECIO. DIEGO ANDRES AMAYA G.. ASESOR FERNANDO BELTRAN. UNIVERSIDAD DE LOS ANDES FACULTAD DE INGENIERIA DEPARTAMENTO DE INDUSTRIAL. BOGOTA D.C 2002.

(3) II-02(2)5. CONTENIDO 1. INTRODUCCIÓN ____________________________________________1. 2. AGENTES INTELIGENTES ________________________________ ____3 2.1. Características Generales___________________________________4. 2.2. Sistemas que actualmente soportan la participación de agentes en. una subasta___________________________________________________5. 3. 2.2.1. WALRAS ___________________________________________ 5. 2.2.2. AUCTIONBOT _______________________________________ 6. AMBIENTE PARA LA NEGOCIACIÓN DE AGENTES ARTIFICIALES. EN UNA SUBASTA ______________________________________________8 3.1. Pasos para la creación de un ambiente de aprendizaje con agentes. artificiales________________________________ ____________________9 3.2 4. Validación del ambiente ________________________________ ___ 11. MODELAJE E IMPLEMENTACIÓN DE LA SUBASTA _______________ 12 4.1. Descripción de la subasta __________________________________ 12. 4.2. Dinámica de la subasta de primer precio secuencial ______________ 12. 4.2.1. Condiciones para el inicio de la subasta ______________________ 13. 4.2.2. Integridad en las rondas de la subasta _______________________ 13. 4.2.3. Determinación del ganador la subasta _______________________ 13. 4.2.4. Subasta simultánea de primer precio secuencial como una clase. especial de juego bayesiano extenso con acciones observables. ____________ 14 4.2.4.1. Jugadores ________________________________ _________ 14. 4.2.4.2. Tipos ________________________________ ____________ 15. I.

(4) II-02(2)5. 4.2.4.3 Espacio de acciones ________________________________ ________ 15. 4.3. 4.2.4.4. Historia __________________________________________ 16. 4.2.4.5. Creencias ________________________________ _________ 16. 4.2.4.6. Función de Utilidad__________________________________ 17. 4.2.4.7. Estrategias ________________________________________ 18. Especificación de las creencias de un jugador como un caso. particular de un juego ficticio ____________________________________ 18 4.3.1. Juego Ficticio para dos jugadores __________________________ 19. 4.3.2. Juego Ficticio para múltiples jugadores______________________ 22. 4.3.3. Condiciones para la existencia de un equilibrio en un juego ficticio __ 23. 4.3.4. Juego ficticio como esquema de aprendizaje en una subasta. secuencial de primer precio. ________________________________ _____ 24 4.3.5. Generación de ofertas en una subasta secuencial________________ 25. 4.3.5.1. Supuestos sobre los agentes ____________________________ 26. 4.3.5.2. Algoritmo________________________________ _________ 26. 4.3.5.3. Especificación del algoritmo para la selección de la mejor accion. a tomar. 31. 4.4 5. 4.3.5.4. Algoritmo para la generacion de ofertas en cada secuencia de la. subasta. 32. Existencia de equilibrio en el tipo de subasta formulada. ___________ 32. RESULTADOS DE LA SIMULACIÓN DEL AMBIENTE ______________ 38 5.1. Indicadores ________________________________ ____________ 38. 5.1.1. Indicadores económicos_________________________________ 39. 5.1.2. Indicadores sobre los algoritmos ___________________________ 39. 5.1.3. Perfil ________________________________ ______________ 40. 5.1.4. Coeficiente de aversión _________________________________ 40. 5.1.5. Característica ________________________________________ 40. 5.2. Escenarios _____________________________________________ 40. 5.2.1. Escenarios para el número de jugadores en la subasta ____________ 40. 5.2.2. Escenarios para el coeficiente de aversión al riesgo: caso agente. negociador _________________________________________________ 45. II.

(5) II-02(2)5. 5.2.3. Escenarios pa ra la valoración del bien: caso agente negociador _____ 53. 5.2.4. Escenarios para el tamaño del recall ________________________ 57. 5.2.5. Escenarios para la entrada de jugadores cuando la subasta ya ha. comenzado: caso agente negociador y negociador______________________ 61 5.2.6. Escenarios para la salida de jugadores _______________________ 71. 6. CONCLUSIONES ___________________________________________ 76. 7. BIBLIOGRAFIA ________________________________ ____________ 78. III.

(6) II-02(2)5. LISTA DE FIGURAS Figure 1 Interacción de MAS...................................................................................4 Figure 2 Proceso de oferta en un escenario creado con Warras. ..............................6 Figure 3 Arquitectura de AuctionBot.......................................................................7 Figure 4 Modelo de la creación de un ambiente para agentes artificiales..............10 Figure 5 Ejemplo de una subasta con tres participantes representada en forma extensa............................................................................................................27. IV.

(7) II-02(2)5. LISTA DE TABLAS Ejemplo 1. Forma normal de un juego que se repite.............................................20 Tabla 2. Frecuencias de ocurrencia de las acciones para los jugadores B y C a partir del juego ficticio planteado por A. .......................................................30 Tabla 3Perfiles de riesgo seguido por los agentes..................................................40. V.

(8) II-02(2)5. LISTA DE GRAFICAS. Gráfica 1.................................................................................................................41 Gráfica 2.................................................................................................................42 Gráfica 3.................................................................................................................43 Gráfica 4.................................................................................................................44 Gráfica 5.................................................................................................................46 Gráfica 6 ................................................................................................................47 Gráfica 7.................................................................................................................48 Gráfica 8.................................................................................................................49 Gráfica 9.................................................................................................................50 Gráfica 10 ...............................................................................................................51 Gráfica 11 ...............................................................................................................52 Gráfica 12 ...............................................................................................................54 Gráfica 13 ...............................................................................................................55 Gráfica 14 ...............................................................................................................56 Gráfica 15 ...............................................................................................................58 Gráfica 16 ...............................................................................................................59 Gráfica 17 ...............................................................................................................60 Gráfica 18 ...............................................................................................................62 Gráfica 19 ...............................................................................................................63 Gráfica 20 ...............................................................................................................64 Gráfica 21 ...............................................................................................................66 Gráfica 22 ...............................................................................................................67 Gráfica 23 ...............................................................................................................68 Gráfica 24 ...............................................................................................................70. VI.

(9) II-02(2)5. Gráfica 25 .............................................................................................................. 72 Gráfica 26 ...............................................................................................................73 Gráfica 27 ...............................................................................................................74. VII.

(10) II-02(2)5. 1. A mi mamá, A mi papá y a todos Mis hermanos y hermanas.

(11) II-02(2)5. 1. INTRODUCCIÓN. La forma tradicional como en economía se viene trabajando el análisis de sistemas económicos es mediante el estudio del comportamiento de un sistema cuando éste se encuentra en equilibrio. Para realizar este análisis es necesario hacer dos supuestos principalmente; el primero consiste en la maximización que los individuos desean hacer sobre su utilidad, y el segundo esta basado sobre las expectativas racionales 1 que éstos deben poseer. Al analizar más detenidamente el supuesto de racionalidad surge de inmediato una pregunta, ¿qué pasa si los individuos no son completamente racionales?. Si este fuera el caso, una respuesta lógica seria que el equilibrio al que se llega no es valido, pero esta respuesta no examina la posibilidad que, eventualmente, los individuos serian capaces de alcanzar esta racionalidad por completo, con lo que se llegaría al equilibrio descrito por la teoría. Como ejemplo de este caso, supóngase que una persona esta participando en una subasta y realiza una oferta substancialmente menor a el valor que realmente estaría dispuesta a dar por el bien, como resultado de esta puja tan baja el bien no le es asignado y su utilidad seria igual a cero. Si esta persona fuera sometida de nuevo a la misma subasta bajo las mismas condiciones, muy seguramente ofrecería un valor mayor que el anterior para tratar de adquirir el bien y así asegurar una utilidad mayor. Es aquí donde nace una nueva pregunta, ¿cómo fue el proceso que llevo al agente a alcanzar un comportamiento completamente racional?.. 1. Por expectativas racionales se entiende que todos los individuos poseen correctas e idénticas creencias sobre el comportamiento que tendrán sus competidores..

(12) II-02(2)5. Como consecuencia de esta pregunta muchos economistas pensaron que los modelos utilizados eran reglas de decisión pertenecientes a algún estado estable de un proceso adaptativo.. Gracias a esto, surgieron modelos que partían del. relajamiento del supuesto de racionalidad y cuyo objetivo era explicar cómo la consecución de un equilibrio era el limite de un. proceso de aprendizaje o. adaptación.. La mayoría de los modelos propuestos se basan en la idea de cómo los agentes actualizan sus creencias sobre el comportamiento que poseen sus rivales y como éstos reaccionarán ante sus acciones, es decir, si la decisión que sus rivales tomarán va a ser optima con base en los supuestos que ellos hayan formulado.. Tomando esta alternativa sobre el estudio de sistemas económicos, es de particular interés explorar algunos modelos propuestos por la teoría del aprendizaje en teoría de juegos y analizar su posible utilización para el estudio del comportamiento de los agentes participantes en las subastas. Acompañado de un estudio teórico, es deseable tener resultados empíricos sobre las hipótesis. y. resultados desarrollados, por lo que una implementación de estos modelos deberá ser realizada.. Para implementar estos modelos y simular un entorno donde todos lo individuos que participan en una subasta tengan un modelo propuesto, es necesario utilizar una herramienta como lo son agentes inteligentes artificiales. Estos agentes son entidades de software capaces de realizar tareas específicas, para lo cual poseen la inteligencia suficiente (basada en un modelo matemático) para ejecutar sus tareas de forma autónoma, o con ayuda de otros agentes, siempre buscando la maximización dinámica de unos objetivos previamente propuestos para finalmente generar un resultado..

(13) II-02(2)5. 2. AGENTES INTELIGENTES. En la actualidad la mayoría de las aplicaciones basadas en agentes inteligentes sólo utilizan un agente, pero a medida que la tecnología avanza y surgen retos mayores, la necesidad de un sistema con más de un agente se vuelve evidente. Los MAS (Multi Agent System) han sido estudiados principalmente por una rama de la Inteligencia Artificial (AI) denominada Inteligencia Artificial Distribuida que provee los principios para la construcción de sistemas complejos que envuelven múltiples agentes y para la coordinación de diferentes comportamientos de éstos. La IA ha logrado muchos avances y en la actualidad se enfrenta a problemas cada vez más complejos, reales y de una escala mayor, los cuales sobrepasan las capacidades de un solo agente, debido a limitaciones como conocimiento, recursos computacionales y por el enfoque del problema que este posea. Para la solución de estos problemas se emplean dos poderosas herramientas, la modularidad y la abstracción del problema lo cual permite a cada agente que compone el sistema utilizar objetos específicos para resolver una pequeña parte del problema.. Los MAS modelan a los otros agentes como entidades espaciales y se comunican con ellos no como parte del medio sino como otro agente que es capaz de interactuar.. 3.

(14) II-02(2)5. Ambiente Agente. Agente Figure 1 Interacción de MAS. Un sistema Multi-agente puede ser definido como una red acoplada de entidades que solucionan conjuntamente un problema que se encuentra más allá de las capacidades de una de estas entidades ( Durfee y Leseer 1989 ).. 2.1. Características Generales •. Cada agente tiene información o capacidades incompletas para completar una tarea: este punto consiste en que cada agente no es capaz de tener todo el conocimiento relacionado con el contexto y con las herramientas necesarias para resolver el problema debido a la dimensión y complejidad del mismo.. •. No existe un sistema de control global: el control se encuentra distribuido a través de los diferentes agentes que componen el sistema pues son estos los encargados de realizar una tarea en un instante específico de tiempo.. •. La información se encuentra descentralizada: gracias a que cada agente posee la información necesaria para resolver su correspondiente subproblema, no existe un agente que posee toda la información relevante para el problema.. 4.

(15) II-02(2)5. •. El sistema es asincrónico: En cualquier momento se pueden tener. llamados de/a otros agentes para delegar tareas que serán desarrolladas en paralelo o para recibir resultados de tareas específicas.. 2.2. Sistemas que actualmente soportan la participación de agentes en una subasta. Son diferentes aplicaciones las que se pueden encontrar en el mercado que presenten esta característica dada la variedad de métodos, simulaciones y teorías que hay acerca de subastas. Sin embargo podemos resaltar dos aplicaciones desarrolladas alrededor de este tema.. 2.2.1. WALRAS. Los mercados orientados a la programación realizan un acercamiento a problemas distribuidos mediante actividades y recursos los cuales son distribuidos entre los diferentes componentes del sistema (MAS) para lograr de manera competitiva un equilibrio artificial de la economía. El sistema WALRAS permite construcciones básicas para la definición de estructuras computacionales de mercado y diferentes protocolos y reglas que permiten llegar a un equilibrio artificial del sistema que en nuestro caso sería una subasta 2. La figura 1 presenta una vista esquemática del proceso de ofertas en WALRAS, en el cual existe una subasta para cada objeto y para cada agente existe un enlace a cada una de las subastas en las que está interesado. Además existe un “tablero” con los precios actuales de cada una de las subastas que se están desarrollando en ese momento. Cada agente mantiene una agenda de ofertas en donde se especifica cual hace falta por realizar y cuál fue la última oferta realizada para una subasta. La existencia de cada agente es independiente del otro y no tiene conocimiento de 2. WELLMAN Michael P. Application to Distributed MultiCommodity Flow Problems.. 5.

(16) II-02(2)5. la existencia de otros agentes. Cada vez que se reciben ofertas sobre una subasta, el “tablero” es actualizado si es necesario y nuevas tareas son establecidas en los age ntes para calcular una oferta dado que el “tablero” ha sido afectado. El proceso finalmente logra un equilibrio cuando los agentes no tienen más tareas asignadas dentro sus agendas.. G1. G2. Gk. .... P1 P2 . . . pk. A1. A2. .... Ai. .... An. Agenda de tareas [1],[7],[9]. Figure 2 Proceso de oferta en un escenario creado con Warras.. 2.2.2. AUCTIONBOT. Los mecanismos de mercado, como las subastas, pueden ser representadas como una interacción entre agentes, dada la necesidad que tienen estos de compartir tareas e información para poder llegar a un resultado. Debido a la aplicabilidad que tienen las subastas para desarrollar agentes en la universidad de Michigan fue desarrollado un servidor robusto, escalable y flexible de subastas que permite la interacción de personas y agentes en un mismo ambiente (AuctionBot). El servidor tiene la capacidad de manejar subastas de forma simultánea separando la interfaz de los procedimientos hechos en el núcleo del mismo. El AuctionBot se. 6.

(17) II-02(2)5. ha utilizado en diferentes cursos, y está disponible para la gente que utilice Internet3. El diseño básico del AuctionBot es mostrado en la siguiente figura 2. En esta, se pueden apreciar dos partes; la primera compuesta por la interfaz web para los clientes (humanos) y la segunda por una interfaz TCP/IP de los agentes. La parte derecha del diagrama muestra el subastador y el programador de tareas. La interfaz y los programas de los subastadores actualizan su información en una base de datos común. Por ejemplo, un cliente (humano) especifica la oferta sobre un objeto a través de un cuestionario diligenciado por el mismo y enviado vía web. La oferta es grabada en la base de datos y mantiene un flag (sin procesar). Acto seguido, el usuario recibe la notificación que su oferta fue recibida y almacenada. Después, el subastador se encarga de procesar todas las ofertas realizadas. El programador de tareas es un demonio que continuamente está monitoreando la base de datos en busca de subastas que no estén procesadas u ofertas que falten por ser verificadas; cuando esto sucede se llama al programa subastador encargado. El programa subastador carga los parámetros y toma las diferentes ofertas que se encuentran en la base de datos para finalmente procesarlas. Interfaz Web Servidor de correo Servi dor HTTP. CGI Programador de Tareas. CGI Base de datos. Subastador Servidor TCP. Interfaz para los agentes. Figure 3 Arquitectura de AuctionBot. 3. WURMAN Peter, WELLMAN Michael, WLASH William. The Michigan Internet AuctionBot: A configurable Auction Server for Human and Software Agents.. 7.

(18) II-02(2)5. 3. AMBIENTE PARA LA NEGOCIACIÓN DE AGENTES ARTIFICIALES EN UNA SUBASTA. El foco de una negociación es maximizar los resultados dentro de las restricciones del entorno. Tratar de dar una clasificación exhaustiva de estrategias de negociación es difícil puesto que una estrategia puede ser realizada por cualquier algoritmo que evalué resultados, compute acciones apropiadas y siga protocolos para el intercambio de información.. Las negociaciones pueden ser pensadas como un proceso de búsqueda.. Los. participantes realizan búsquedas en un espacio multidimensional (e.g. cantidad, precio, calidad, etc) tratando de encontrar un punto del espacio en el cual ellos lleguen a un acuerdo en común y cumplan con sus objetivos.. Cuando las. interacciones entre los participantes de la negociación son del tipo muchos a muchos, el mecanismo apropiado es un mercado; para el caso de uno a muchos, es utilizado el mecanismo de la subasta.. Existen varias técnicas para la realización de un proceso de negociación. Por una parte se encuentran técnicas analíticas, las cuales están basadas en principios de negociación e interacción entre individuos desarrollados por la teoría de juegos; por otro lado, se encuentran modelos desarrollados con aproximaciones evolutivas, en las cuales existe un algoritmo que opera sobre la historia de la negociación para que ésta sea usada como base para el posterior desarrollo de la misma. Existe otro tipo de técnica, la cual se basa en la formulación de un problema de satisfacción de restricciones CSP (Constraint Satisfaction Problem), en los cuales se busca la asignación de valores a las variables de interés satisfaciendo el conjunto de restricciones propuestas.. 8.

(19) II-02(2)5. Como pudo verse, existen diferentes aproximaciones para el proceso de negociación, los cuales pueden ser de gran ayuda en la búsqueda de una forma más rápida y eficiente de estos procesos. Dependiendo del contexto donde se planee desarrollar la negociación se puede emplear una u otra técnica, aunque puede darse el caso que a partir del uso combinado de éstas se genere un híbrido con el que se tengan mejores resultados.. Como conclusión de la descripción anterior, especificar un modelo de negociación está íntimamente relacionado con el ambiente donde ésta se planea implementar. Por tal motivo, el tratamiento de una subasta desde el punto de vista de teoría de juegos parece ser una buena aproximación debida la imposibilidad que para un agente significa en un momento de la negociación conocer de alguna manera la estrategia seguida por los otros participantes, lo cual puede ser solucionado si se escoge de manera adecuada un modelo planteado por esta teoría... 3.1. Pasos para la creación de un ambiente de aprendizaje con agentes artificiales. El objetivo de este trabajo es crear un ambiente que soporte la interacción de agentes artificiales y garantice de alguna manera la obtención de resultados aplicables a la realidad.. En la siguiente grafica se muestra como sería el proceso de creación de un ambiente para agentes artificiales. 9.

(20) II-02(2)5. Subasta. 1. Modelaje. Teoríade juegos 3. Verificación. 2. Implementación. Agentes Inteligentes. Figure 4 Modelo de la creación de un ambiente para agentes artificiales. El primer paso a realizar es plantear la subasta como un juego, el cual tiene como objetivo brindar una abstracción de la subasta con lo cual se tendrá un sistema simplificado para la interacción de los agentes. Luego de tener el modelo sobre el cual se va a trabajar se debe especificar la manera en que los agentes incorporarán la información de la subasta al juego especificado, para esto debe definirse el esquema de aprendizaje a seguir.. Como ultimo paso se tiene la verificación de la implementación realizada, la cual se realiza a partir del análisis de los datos generados por la simulación. En este paso se busca ver que tan bueno fue el modelo y la implementación lograda a partir del comportamiento exhibido por los agentes cuando estos interactúan en la subasta.. 10.

(21) II-02(2)5. 3.2. Validación del ambiente. Una vez construido el modelo mediante los pasos antes enunciados, es necesario validar que éste sea consistente en alguna medida con la subasta, pues si el modelo no cumple con esto el éxito de la negociación no podrá ser garantizado.. Como se menciono antes, el proceso de negociación es una búsqueda en un espacio multidimencional de un punto que tenga la característica que para todos los participantes en dicho proceso los objetivos y necesidades de cada individuo sean satisfechos. Desde el punto de vista de teoría de juegos esto equivaldría a garantizar la existencia de un equilibrio en el juego asociado a la negociación, pues justamente es este concepto el manejado por equilibrio.. Como primera mediada, se debe mostrar que el juego asociado a la subasta en efecto conlleva a un equilibrio simétrico. Esto se hará en el siguiente capitulo cuando se exprese de una manera formal la subasta.. Luego de tener el modelo y haber especificado la forma en que los agentes interactuarán, se procede a validar el esquema que estos utilizaran para asegurar que no se violan los supuestos hechos por el juego asociado a la subasta. Para este caso especifico, este paso consistirá en garantizar la consistencia del esquema de aprendizaje propuesto con el de creencias del juego; lo anterior será explicado más en detalle en el próximo capitulo.. 11.

(22) II-02(2)5. 4. MODELAJE E IMPLEMENTACIÓN DE LA SUBASTA. En este capitulo se especificara el primer y segundo paso para la construcción del ambiente de los agentes artificiales. Además, se hará la validación final del modelo para que cumpla con las propiedades que se esperaría tuviese este modelo.. 4.1. Descripción de la subasta. El tipo de subasta a utilizar es una de primer precio secuencial, la cual consiste en subastar varias veces el mismo bien . Este tipo de subasta fue seleccionada debido a la disponibilidad de información que se tiene acceso en cada ronda de la subasta. Cabe aclarar que por secuencia se entiende al inicio de una nueva subasta con las mismas características salvo que para el inicio de ésta, nueva información estará disponible sobre las ofertas realizadas en la secuencia anterior.. 4.2. Dinámica de la subasta de primer precio secuencial. Existe un bien a subastar el cual es de interés común para más de un agente, el subastador hace publico el precio mínimo por el cual él esta dispuesto a entregar el bien, además de informar la hora de inicio de la subasta.. Antes de dar inicio a. cada secuencia, un agente que quiera participar se registra con el subastador quien luego informa a todos los agentes sobre este nuevo participante. Los agentes tienen un tiempo preestablecido para enviar sus ofertas. Cuando este se cumple, el subastador da por terminada la secuencia, con lo cual procede a decidir quién es. 12.

(23) II-02(2)5. el ganador y enviar esta información a los participantes; si ésta es la última secuencia da por terminada la subasta.. 4.2.1. Condiciones para el inicio de la subasta. Una subasta se iniciará si se cumplen las siguientes condiciones:. 1. Se ha llegado a la hora de inicio programada para la subasta 2. Hay por lo menos dos agentes interesados en el bien. 3. Si la segunda condición no se llegara a cumplir cuando. el tiempo. programado para la subasta llega, se procederá a esperar hasta que ésta sea cumplida.. 4.2.2. Integridad en las rondas de la subasta. Una secuencia de la subasta será inválida si existe sólo un participante. Este estado se alcanza únicamente por condiciones exógenas (fallas en la comunicación, caídas en los servidores, etc.) a los agentes, es decir, la decisión de retirarse de una subasta por parte de un agente no está contemplada como una alternativa para un agente. Si en algún momento de la subasta se llegara a este estado, se dará por terminada y se reiniciará una hora después. 4.2.3. Determinación del ganador la subasta. Luego de finalizar la última secuencia, el ganador de la subasta será aquel que tenga la máxima oferta en esa secuencia. Si hay dos o más participantes con una oferta igual al máximo de las ofertas realizadas en esa secuencia, el ganador será aquel que haya ganado más secuencias anteriormente; si el empate persiste, se decidirá el ganador aleatoriamente. El ganador siempre paga la cantidad ofrecida en la secuencia que está siendo evaluada.. 13.

(24) II-02(2)5. 4.2.4. Subasta simultánea de primer precio secuencial como una clase. especial de juego bayesiano extenso con acciones observables.. La descripción formal de la subasta va a ser realizada partiendo de un juego bayesiano extenso con acciones observables4, para luego ser ampliado a un modelo que logre incorporar características especiales de la subasta.. 4.2.4.1 Jugadores. El conjunto de los jugadores para la ronda inicial está denotado por N0 = {1,...,n}. En este caso los jugadores son los n agentes que ratifican su interés por participar en la subasta al inicio de una secuencia. Dado que en cualquier secuencia de la subasta los jugadores pueden entrar o abandonarla, es necesario identificar este tipo de jugadores con dos conjuntos más.. Sea Ei el conjunto de los jugadores. que entran a la subasta en la secuencia i-esima, y Oi el conjunto de los jugadores que no participarán en la secuencia i; es así como el conjunto de jugadores para la secuencia i-esima de la subasta está definido por: N i = (N i −1 − Oi ) U E i. donde:. Oi ⊆ N i −1 : Los jugadores que no participan son aquellos que estaban presentes en la ronda anterior. Ei I N i −1 = Φ : un jugador que entra en i sólo puede participar si no estuvo en la anterior ronda. Existen varios supuestos que debemos hacer sobre los agentes participantes en la subasta: 1. El objetivo primario de los agentes es maximizar su utilidad. 2. Los agentes tienen aversión al riesgo5. 4. Una completa descripción de este tipo de juego se encuentra en Osborne, Martín. Rubintein Ariel. A course in game theory. 14.

(25) II-02(2)5. 3. La utilidad de los agentes está en función de la valoración que tienen sobre el bien a subastar.. 4.2.4.2 Tipos Debido a que la utilidad generada por la posible adquisición del bien es información privada para cada agente, el tipo de un agente es la valoración que tiene sobre el bien. Esto se debe a que la utilidad del agente está en función de la valoración; así la caracterización de un jugador, es decir su tipo, puede ser hecha partiendo de su valoración.. El tipo de un jugador está denotado por la variable vi la cual es un numero natural no negativo. Este conjunto será identificado como Θi . Aunque el conjunto al que pertenece esta variable es potencialmente infinito, puede pensarse que existe una cota superior para éste, determinada por la restricción presupuestal que un individuo tiene al participar en la adquisición de un bien; este hecho hace que el conjunto al que pertenece la valoración pueda suponerse finito cumpliendo con la condición impuesta por un juego bayesiano con acciones observables. Los siguientes son supuestos realizados sobre los tipos: 1. El tipo de un jugador es una variable exógena al modelo. 2. El tipo permanecerá constante a lo largo de la participación del agente en el juego.. 4.2.4.3 Espacio de acciones Un supuesto importante realizado para el espacio de acciones fue la discretización de la oferta realizada por el agente. Esto se hizo basándose en la idea de que la. 5. Un agente tiene aversión al riesgo si su función de utilidad definida sobre un rengo de números reales es cóncava, es decir U α ∗ x + 1 − α y ≥ α ∗ U ( x ) + (1 − α )U ( y ) . Luenberger, David. Investment Science Pág. 231.. [. (. ) ]. 15.

(26) II-02(2)5. oferta representa el dinero que el agente está dispuesto a pagar el cual aunque puede tomar valores racionales, es escalable a un valor natural. Para este juego, las acciones tomadas por los participantes son las ofertas que éstos realizan en cada ronda por el bien a subastar, las cuales pertenecen a los naturales.. La acción tomada por el agente i para la ronda j de la subasta será denotada por bi j ∈ Ai , donde A i denota el espacio de acciones.. 4.2.4.4 Historia La historia del juego es una secuencia de acciones tomadas por los jugadores, formalmente la historia para el jugador i esta definida por:. (a ). k i k =z ,z +1,..., K. ∈ H iK , donde z es la secuencia desde la cual empezó a partic ipar en. el juego y Hki es la secuencia finita de acciones tomadas por el jugador i hasta la secuencia k-esima de la subasta,. Es claro que la longitud de las secuencias puede ser diferente para cada jugador debido a que éste puede entrar en una etapa posterior al inicio del juego.. Cabe aclarar que existe una correspondencia entre las secuencias y los jugadores que están participando en la subasta, con lo que se garantiza que cualquier tipo de función definida sobre el conjunto H =. UH. i. , es consistente con los jugadores. i∈Ai. que intervienen en el juego.. 4.2.4.5 Creencias Un participante de este juego sólo posee información acerca de su valoración y de la historia de las ofertas realizadas en rondas pasadas, desconociendo. 16.

(27) II-02(2)5. completamente la valoración de sus competidores. Como consecuencia de esta asimetría en la información los jugadores deben hacer supuestos que les permita identificar de alguna manera el tipo de los otros jugadores con los que esta compitiendo.. Los supuestos que un jugador hace sobre sus oponentes serán denominados creencia, la cual es una función de probabilidad sobre los tipos de los otros participantes. Más formalmente una creencia será una función µ i j , donde i es el jugador y j es la ronda, tal que : j. µi j : U H k → ∆( Θ −i ) k =0. ∆ (Θ −i ) es la distribución de probabilidad sobre el conjunto de tipos de todos los. jugadores sin incluir a i. En el desarrollo de este trabajo no se supondrá esta función de creencias, más bien, esta creencia será realizada basándose en un determinado esquema de aprendizaje, el cual será definido mas adelante.. 4.2.4.6 Función de Utilidad El tipo de la función de utilidad es de tipo Von Neumann-Morgenstern6, la cual para el jugador i va a estar definida como:. (. U i vi , bi. j. ). γ ⋅ ( vi − bi j ) γ , si fue el ganador de la ronda j de la subasta  =  , de lo contrario 0 . donde el parámetro γ es determinado exógenamente y 0 ≤ γ ≤ 1 ; γ caracteriza la aversión al riesgo del jugador.. 6. Las funciones de tipo Von Neumann-Morgenstern suponen que las preferencias de las personas están formadas sobre loterías, las cuales determinan su utilidad esperada. http://cepa.newschool.edu/het/essays/uncert/choicecont.htm. 17.

(28) II-02(2)5. La definición de la utilidad se hizo en el ámbito de rondas, pero también es aplicable para el resultado final de la subasta sin perdida de generalidad.. 4.2.4.7 Estrategias Una estrategia para un jugador es un plan que le indica cual acción debe tomar. En el caso de esta subasta la acción será qué oferta realizar para la secuencia en que se encuentra participando.. Una estrategia está definida como: j. f i : U H k → Ai k =0. El parámetro de esta regla de asignación va a ser un sistema de valoración sobre el juego compuesta por dos elementos (β,µ). El primero de estos es una colección de acciones que determinan la forma como el jugador debe comportarse a lo largo del juego, mientras que la segunda es el sistema de creencias que posee el jugador sobre los tipos de los otros participantes.. 4.3. Especificación de las creencias de un jugador como un caso particular de un juego ficticio. Un juego ficticio es un proceso de aprendizaje basado en creencias propuesto por Brown en 1951 en el cual los agentes tienen un comportamiento inducido por un conjunto de supuestos los cuales lo llevan a tomar decisiones de cómo éste va a interactuar con los otros agentes a lo largo del juego7. Los siguientes son los supuestos del modelo:. 7. Toda la teoria y ejemplos utilizados en este capitulo están basados en el capitulo 2 del libro “The theory of learning in games”. FUDENBERG, Drew. LEVINE, David. 1998. 18.

(29) II-02(2)5. •. Cada jugador supone que los otros participantes estan utilizando una. estrategia mixta proveniente de una distribución estacionaria la cual es deducida de manera empírica a partir de las acciones que estos jugadores toman a lo largo del juego •. El juego en el que están participando se repite con las mismas condiciones y reglas.. •. Los jugadores escogen sus acciones en cada periodo de tal manera que se maximice el valor esperado de su utilidad para ese periodo dada la conjetura realizada sobre la estrategia de los otros jugadores.. Para entender mejor este modelo a continuación se describe un juego ficticio para dos jugadores. 4.3.1. Juego Ficticio para dos jugadores. Las creencias del jugador i sobre el otro jugador van a estar dadas por una función de peso κ ti : S −i → ℜ + , la cual esta definida como: 1 si st−−i1 = s −i , κ ti ( s −i ) = κ ti −1 ( s −i ) +   (1) 0 si st−−i1 ≠ s −i . κ 0i = un valor inicial exógeno.. Como puede verse en la ecuación (1), las creencias que un jugador hace sobre las estrategias del otro son simplemente una actualización en la observación de la estrategia a lo largo de la historia del juego. Teniendo como base este hecho, la probabilidad que el jugador i asigna a la estrategia s-i del jugador –i en el tiempo t va a estar dada por:. ( ). γ ti s −i =. κ ti ( s −i ) ∑ κ ti ~s −i. ~ s −i ∈S − i. ( ). (2). 19.

(30) II-02(2)5. De esta manera se puede ver como un juego ficticio puede ser definido como una regla ρ ti (γ ti ) que asigna ρ ti (γ ti )∈ BR i (γ ti ) 8.. A continuación se brindara un ejemplo de un juego ficticio para dos jugadores: En este caso se tiene un juego con dos jugadores que toman decisiones simultáneamente. El espacio de estrategias para cada jugador es finito y será denotado por S1 para el jugador uno y S2 para el jugador dos.. Considérese el siguiente juego en su forma normal el cual se repite y en el cual participan dos jugadores los cuales deben tomar una de dos decisiones posibles en cada secuencia del juego: A. B. A. 1,-1. -1,1. B. -1,1. 1,-1. Ejemplo 1. Forma normal de un juego que se repite. Suponga que inicialmente cada jugador tiene los siguientes valores para la función definida en la ecuación (1). κ 01 ( A) = 1.5 κ 01 ( B) = 2 κ 02 ( A) = 2. (3). κ 02 ( B ) = 1 .5. Con estos pesos la probabilidad asociada a cada una de estas acciones es la siguiente:. 8. Cabe la pena resaltar que no existe una única manera de definir este tipo de regla, por ejemplo en el articulo “Consistency and cautious Fitctitious play” de Fundenberg y Levine, ellos definen la probabilidad de una acción como una función exponencial de la utilidad de dicha acción en lugar de la frecuencia histórica del juego del oponente, concluyendo que este tipo de regla es aproximadamente optima en un tipo especifico de ambiente.. 20.

(31) II-02(2)5. 1 .5 3 = 1 .5 + 2 7 2 4 γ 01 ( B) = = 1 .5 + 2 7 2 4 γ 02 ( A) = = 2 + 1 .5 7 1 .5 3 γ 01 ( B) = = 2 + 1.5 7 γ 01 ( A) =. (4). Con base en estas probabilidades, los dos jugadores deben tomar la decisión de cuál acción tomar para la siguiente secuencia del juego. Para esto es necesario hallar el valor esperado de la utilidad que se obtendría al utilizar una estrategia en particular, dadas las creencias para esta etapa.. E 1 [ A] = γ 01 ( A) ⋅ (1) + γ 10 (B ) ⋅ (− 1) =. 3 4 1 − =− 7 7 7 3 4 1 E 1 [B ] = γ 01 ( A) ⋅ (− 1) + γ 01 (B ) ⋅ (1) = − + = 7 7 7 4 3 1 E 2 [A ] = γ 02 ( A) ⋅ (− 1) + γ 02 (B ) ⋅ (1) = − + = − 7 7 7 4 3 1 E 2 [B ] = γ 02 ( A) ⋅ (1) + γ 02 (B ) ⋅ (− 1) = − = 7 7 7. (5). A partir de (5) se deduce que tanto el jugador uno como dos utilizarán la acción B, por lo que su función de pesos para la siguiente secuencia será: κ 11 ( A) = κ 01 ( A) + 0 = 1.5 κ 11 ( B) = κ 01 ( B) + 1 = 3 κ 12 ( A) = κ 02 ( A) + 0 = 2. (6). κ 12 ( B ) = κ 02 ( B) + 1 = 2.5. Si se continúa con esta dinámica, la siguiente sería una secuencia de acciones realizadas por los jugadores para este proceso. 21.

(32) II-02(2)5. T. 1. 2. 3. 4. 5. 6. 7. 8. Jugador 1 B. B. B. A. A. A. A. A. Jugador 2 B. A. A. A. A. A. A. B. Tabla 1. Secuencia de acciones seguida por los jugadores. Una vez visto cómo decisiones. es el proceso de actualización de creencias y toma de. en un juego ficticio con dos jugadores se definirá cómo es para. múltiples jugadores.. 4.3.2. Juego Ficticio para múltiples jugadores. Un problema que surge al tratar de definir un juego ficticio cuando hay mas de dos jugadores es el de especificar sobre que espacio se debe realizar las creencias. Por un lado se pueden hacer de mane ra individual sobre cada espacio de estrategias y luego multiplicar las distribuciones marginales de cada una: γ ti (s 1 , K , s i − 1 , s i + 1 , K , s n ) = γ ti ( s 1 ) ⋅ K ⋅ γ ti ( s i − 1 ) ⋅ γ ti (s i + 1 ) ⋅ K ⋅ γ ti ( s n ) γ ti (⋅ ) : Χ S j ≠i. j. → [0,1]. (7). La otra forma es realizar las creencias sobre el espacio generado por el producto cartesiano de los espacios de estrategias de cada uno de los otros jugadores: γ ti (⋅) : ∆ ( Χ S j ) → [0,1] (8) j ≠i. Cada una de estas aproximaciones tiene sus pro y contra, pero las dos son igualmente validas. Por tal motivo y para propósito de este trabajo se utilizara la primera aproximación (6), por lo que la definición de un juego ficticio para múltiples jugadores va a ser 9:. 9. Basado en el modelo propuesto por . HON -SNIR, Shlomit. MONDERER, Dov. SELA, Aner “A learning approach to auctions” en Pág. 9. 22.

(33) II-02(2)5. γ ti ( s1 ,K, s i −1 , s i +1 ,K, s n ) = γ ti ( s1 ) ⋅ K ⋅ γ ti ( s i −1 ) ⋅ γ ti ( s i +1 ) ⋅K ⋅ γ ti (s n ) (9) 1 γ ti ( s j ) = ⋅ Ε , Ε = l : 0 ≤ l ≤ t − 1, xlj = x j , ∀x j ∈ S j , j ≠ i t. {. }. La definición proporcionada por (9) muestra como la regla que define al juego ficticio no es mas que una frecuencia de ocurrencia de una acción, y la forma como se actualizan las creencias conserva la forma propuesta en (1).. 4.3.3. Condiciones para la existencia de un equilibrio en un juego ficticio. Dado que un juego ficticio puede ser visto como una secuencia de acciones tomadas por un jugador a lo largo de un juego repetido, existen varias inquietudes sobre la convergencia de la secuencia. La primera es si esta convergencia conlleva a un equilibrio para dicho juego. La otra esta relacionada con el modelo en si, pues el supuesto de estacionalidad realizada por los jugadores tendría sentido con lo cual su mantenimiento parecería razonable. Para un juego ficticio se define la convergencia en términos de los perfiles de estrategias generados por este proceso. De esta manera si el perfil de estrategias asociado a este proceso está en un estado estable 10 se dice que el juego ficticio convergerá a dicho estado.. A partir de la definición anterior se dice que un equilibrio de Nash para un juego ficticio va a ser un perfil de estrategias s con la ca racterística que si este perfil es jugado en algún momento del proceso, en todos los periodos subsecuentes este será utilizado.. 10. Un perfil de estrategias esta en un estado estable si dicho perfil es jugado en todos los periodos a partir de cierto tiempo finito t.. 23.

(34) II-02(2)5. Otra forma más conveniente de analizar el equilibrio de un juego ficticio es a partir de la distribución de las estrategias, para esto es necesario definir la distribución marginal empírica de una estrategia:. ( ). d tj s j =. ( ). ( ). κt s j −κ0 s j t. (10). Con base en (10) se puede definir que bajo un juego ficticio si las distribuciones empíricas de las escogencias de cada jugador convergen entonces la estrategia correspondiente al producto de estas distribuciones constituye un equilibrio de Nash11.. Considérese el ejemplo 1, para este juego la distribución empírica sobre las estrategias de cada jugador converge a (1/2,1/2), así que el producto de las distribuciones marginales empíricas {(1/2,1/2),(1/2,1/2)} es un equilibrio en estrategias mixtas para el juego.. Hasta ahora se han mostrado generalidades del juego ficticio y condiciones para la existencia de equilibrios, ahora se procede a mostrar como este tipo de modelo puede ser aplicado a las subastas y más específicamente al caso de una subasta como la planteada.. 4.3.4. Juego ficticio como esquema de aprendizaje en una subasta secuencial de primer precio.. En la definición de esta subasta como una clase especial de juego bayesiano extenso con acciones observables se mencionó las creencias que los jugadores tienen sobre los otros participantes. Hasta ese momento no se establecía la forma funcional de estas creencias, pero ahora se definirá estas creencias como un juego ficticio.. 11. FUDENBERG, Drew. LEVINE, David. “The theory of learning in games”. The Mit Press.. 24.

(35) II-02(2)5. En el capitulo 12.3 del libro “ A course in game theory” de Osborne y Rubinstein, se establecen cuatro condiciones para la existencia de un equilibrio en un juego como el utilizado para el modelaje de la subasta. Las tres primeras condiciones son fácilmente satisfechas por el juego ficticio pues estas justamente coinciden con la definición de éste; la satisfacción. de la condición de actualización. bayesiana surge del hecho que el método como se forman las creencias en e l juego ficticio corresponde a una inferencia bayesiana cuando el jugador piensa que el juego de su oponente es una secuencia de variables aleatorias multinomiales 12 idénticamente distribuidas e independientes con una distribución fija pero desconocida. 13. De esta manera la utilización de un juego ficticio como modelo utilizado por los participantes para la especificación de creencias en un juego bayesiano con acciones observables no altera las condiciones para la existencia de equilibrio en dicho juego.. 4.3.5. Generación de ofertas en una subasta secuencial. Una oferta realizada por un agente es una decisión basada en la historia que este ha observado y en el modelo de aprendizaje que utilice. El objetivo del agente siempre es la maximización de su función de ut ilidad, por lo que la oferta realizada debe estar acorde con este principio.. 12. Distribución Multinomial: Sea n una secuencia de i.i.d intentos donde en cada periodo uno de k resultados ocurre. p z es la probabilidad de ocurrencia del resultado z. Defina el vector κ como el resultado de n intentos, donde κ z es el numero de resultados de tipo z. La distribución de κ es llamada distribución multinomial con parámetros n, p=(p1 ,...,p k) y esta definida como:. f (κ ) = 13. n! k p1κ1 L pκk k , para κ : ∑ z =1κ z = n κ 1 Lκ k. “The theory of learning in games”. FUNDENBERG, Drew. LEVINE, David. Pág. 31. 25.

(36) II-02(2)5. El algoritmo propuesto tiene como fin generar una oferta que maximice la utilidad del agente dada una historia observada, a esta oferta se le conocerá como oferta optima. 4.3.5.1 Supuestos sobre los agentes Este algoritmo supone que el agente utiliza un juego ficticio como esquema de aprendizaje en la subasta, por lo que para cada secuencia de la subasta las acciones tomadas por cada uno de sus participantes están determinadas mediante una función de distribución determinada por dicho esquema.. 4.3.5.2 Algoritmo. En este algoritmo se denotara por. f ji (⋅) : A j → [0,1] como la probabilidad que el. agente j utilice una acción en la secuencia i-esima de la subasta, f − j es la función de distribución para cualquier jugador excepto j. El conjunto de información para la i-esima secuencia de la subasta para el agente j será identificado como Ι ij , mientras que un nodo que pertenezca a este conjunto será η ij ( k , a j , Ι i− j ) , donde k es el numero del nodo, a j la acción asociada a ese nodo y Ii-j los conjuntos de información para los otros agentes.. El algoritmo esta basado en la solución de un juego representado en su forma extensa, pero en los conjuntos de información no se encuentran todas las estrategias que pueden tomar los participantes sino aquellas que han sido utilizadas en alguna secuencia anterior del juego.. Tratar de solucionar un juego en su forma extensa puede ser considerado como un problema NP, por lo que es necesario desarrollar un criterio que permita replantear la solución a uno de menor complejidad. A continuación se describe dicho criterio:. 26.

(37) II-02(2)5. La idea del algoritmo se dará con base en la figura 9 donde se representa una subasta en su forma extensa. El jugador A debe elegir la acción a tomar, x, para la secuencia de la subasta en que se encuentra. Existen otros. jugadores, B y C,. cada uno con dos acciones posibles a tomar. La función de utilidad de a A va a estar dada por u ( x ) = 0 .5 ⋅ (8 − x ) 0.5. A X. B. 7. 3. C 3. 4. 3. 4. Figura 1 Figure 5 Ejemplo de una subasta con tres participantes representada en forma extensa. Dado que A desea maximizar su utilidad, la oferta que realice b debe satisfacer:. [. ]. b = arg max(E γ ⋅ (ν − x)γ ) b = arg max(γ ⋅ (ν − x)γ ⋅ P{x ≥ max(aB , aC )} b = arg max(γ ⋅ (ν − x)γ ⋅ P{x ≥ aB ∧ x ≥ aC }) (1) b = arg max(γ ⋅ (ν − x)γ ⋅ P{x ≥ aB } ⋅ P{x ≥ aC }) .. 27.

(38) II-02(2)5. donde x es la oferta de A, v la valoración que tiene el jugador sobre el bien y γ es una constante para A. aB y aC representan las acciones que pueden tomar los jugadores B y C respectivamente (en este caso a B∈{7,3} y a C∈{3,4} ). Para este ejemplo, existen dos conjuntos de información uno para B y otro para C,14 los cuales se presenta a continuación:. Ι B = {(1,7, Ι C ), (1,3, Ι C )} Ι C = {(1,3, φ ), (1,4 ,φ ), (2,3,φ ), (2,4 ,φ )}. La probabilidad que x sea mayor a una acción tomada por el jugador j va a estar condicionada por la frecuencia con que esta ha sido utilizada 15,. así. esta. probabilidad va a ser definida por:  f ji (a j ) , si x > a j  P{ x ≥ a j } =   (2)  0 , de lo contrario  Teniendo esto en cuenta, la ultima igualdad de (1) puede ser redefinida como:. b = arg max( γ ⋅ (ν − x)γ ⋅ f Bi (aB ) ⋅ f Ci ( aC )), x > max( aB , aC ) (3). Al analizar la ecuación (3) se ve que esta función puede ser descompuesta en dos partes. La primera de estas va a estar conformada por la expresión γ ⋅ (ν − x ) γ la cual representa la utilidad devengada al utilizar la acción x, esta va a ser denotada como u(x); la segunda parte es. f Bi (a B ) ⋅ f Ci ( a C ) y es simplemente la. multiplicación de las frecuencias de las acciones posibles a tomar por los otros 14. En la definición de un juego representado en su forma extensa, se debe tener para cada participante un conjunto de información, pero en esta representación no se tendrá en cuenta el conjunto del jugador para el cual se generara la oferta, esto se debe a la forma como opera el algoritmo. 15 Este supuesto proviene del esquema de aprendizaje utilizado, pues en un juego ficticio se supone que los otros jugadores utilizaran alguna acción tomada en el pasado para la cual existe una frecuencia de utilización asociada.. 28.

(39) II-02(2)5. jugadores. Es claro que u(x) crece a medida que x tiende a cero, pero por otro lado se tiene que x > max( a B , a C ) ; combinando estas dos ideas se llega a que 16:. x = {max( a B , ac ) + 1 } (4) Ahora es necesario encontrar la tupla (a B , aC ) ∈ AB × AC , AB = {7,3} ∧ AC = {3,4} que satisfaga (3), para esto se definen: ψ = {( x i , ji ) : x i > x i +1 , x i ∈ AB ∪ AC , j i = {B, C }} φ k = {( y i ) : f k ( y i ) > f k ( y i +1 ), y i ∈ A j }, j = {B, C }.. Con estos dos conjuntos, se procede a buscar iterativamente tuplas de acciones que dominen a otras 17, a continuación se describe el procedimiento a realizar para dicha selección: 1. Seleccione la primera componente del primer elemento de ψ tal que 18 ψ 1 . Este elemento tiene la particularidad que. ∀( aB , aC ) ∈ {7,3}× {3,4}(max(ψ 1 , a B , aC ) = ψ 1 ) ,. es. así. que. u(max(ψ 1 , aB , aC )) = u(ψ 1 ) , por lo que la utilidad parcial19 esperada para esta acción va a ser u (ψ 1 ) ⋅ f j (ψ 1 ) 2. Para determinar por completo la tupla falta escoger el otro elemento, para esto se debe seleccionar la acción a que cumpla con que su imagen bajo 16. Por los supuestos del modelo se tiene que x∈Ν, entonces x debe ser el siguiente natural al máximo de la tupla de acciones a B y aC 17 Este procedimiento esta basado en la idea de la eliminación de estrategias dominadas, en donde el sentido de dominación va a estar dado por la función de utilidad esperada.. (ψ , φ 1. −ψ 2. ). (1) f (ψ 1 , b). u(ψ 1 ,φ −ψ 2 (1)) fψ 2 (ψ 1 ) f −ψ 2 (φ −ψ 2 (1)) ≥ u(ψ 1 , b) f ψ1 (ψ 1 ) f −ψ 2 (b) Para abreviar se denotara por ψ 1 a la primera componente del elemento (la acción) ψ , y ψ 2 la segunda componente (el identificador del jugador). 19 Por utilidad parcial se entiende como aquella utilidad donde aun no se ha especificado todos las acciones que la conforman. 18. 29.

(40) II-02(2)5. φ − j sea el máximo de este conjunto y que no haya sido eliminada del conjunto ψ en iteraciones pasadas , esta va a ser denotada por φ − j (1) . Una vez identificado este elemento, la utilidad esperada va a estar representada por: u(ψ 1 ) ⋅ fψ 2 (ψ 1 ) ⋅ φ −ψ 2 (1) 3. Se elimina ψ 1 de ψ .. Si todas las acciones disponibles para un conjunto. de información formaron parte de un proceso de selección como el descrito en 1 o ya se especificaron todas las acciones disponibles en los conjuntos de información se detiene la iteración, de lo contrario hay que retornar al paso 1 . 4. A partir de las tuplas seleccionadas, se debe escoger aquella que tenga la mayor utilidad esperada. Con esta tupla y utilizando la ecuación 4 se estable la oferta a realzar para la i-esima secuencia de la subasta. La siguiente tabla representa las frecuencias de ocurrencia de las acciones de B y C:. 7 B. 4. ¼. C. 3 ¾. 2/3. 1/3. Tabla 2. Frecuencias de ocurrencia de las acciones para los jugadores B y C a partir del juego ficticio planteado por A.. Para este caso ψ seria igual a {(7,B), (4,C),(3,B),(3,C)}, y φ B = {3,7} , φC = {4,3} El primer paso del algoritmo daría como resultado ψ 1 = 7 , con lo que la utilidad parcial seria igual a 0.125. El segundo paso del algoritmo arrojaría φ − B (1) = 4, obteniéndose una utilidad igual a 0.083; el resultado de esta iteración seria la pareja (7,4). Ahora como resultado de la siguiente iteración se tendría la pareja (3,4) con una utilidad asociada de 0.5. En la tercera iteración se tiene la pareja (3,3) con una utilidad de 0.27 . Dado que las acciones disponibles de B ya se eliminaron, no es. 30.

(41) II-02(2)5. necesario seguir iterando pues ya se tienen todas las parejas que dominan al resto. Es claro que la pareja (3,4) es la que maximiza la utilidad esperada, por lo que la oferta que A debe realizar de acuerdo con la ecuación (4) debe ser 5.. Una vez dada la idea intuitiva del algoritmo, se procederá a describirlo en su forma general.. 4.3.5.3 Especificación del algoritmo para la selección de la mejor accion a tomar. 1. Crear los elementos ψ y φ k , ∀k ∈ Ν .. Si el conjunto de información. asociado para algún jugador es vació entonces la acción asociada a este jugador va a ser igual a 20:. ) γ ⋅ b + v ⋅ (n − 1) γ + n −1 Seleccionar el primer elemento de ψ , el cual va a ser identificado por ψ 1 2. Sea j el jugador que tiene la acción asociada al elementoψ 1 , ahora se debe escoger para cada uno de los jugadores i ∈ Ν, i ≠ j la acción a i tal que cumpla con que su imagen bajo φ i sea el máximo de este conjunto y no haya sido eliminada del conjunto ψ en iteraciones pasadas , esta va a ser denotada por φi (1) . Con φ i (1) y ψ 1 se forma el conjunto de acciones ϑk para la k-esima iteración. 3. Se elimina ψ 1 de ψ .. Si todas las acciones disponibles para algún. conjunto de información formaron parte de un proceso de selección como. 20. Dado que en la primera secuencia de la subasta no se tiene información disponible sobre las acciones de los otros participantes, se puede suponer que la acción que cada uno de los otros va a ˆ Sup ], donde realizar será una variable aleatoria uniformemente distribuida sobre el int ervalo [ b, Sup es un valor no determinado. Asumiendo esta distribución para las ofertas de los otros participantes y utilizando las ecuaciones proporcionados en (1) se llega que la oferta a realizar debe ser la solución del siguiente problema:.  b − bˆ   max .γ ⋅ (v − b) ⋅  ˆ  Sup − b . n −1. γ. 31.

(42) II-02(2)5. el descrito en 2. se detiene la iteración, de lo contrario hay que. retornar al paso 2. 4. A partir de ϑ , se debe escoger el k-esimo elemento tal que tenga la mayor utilidad esperada. Con esta tupla y utilizando la ecuación 4 se establece la oferta a realzar para la i-esima secuencia del juego. Si esta oferta es mayor a limite superior de las ofertas (la valoración del objeto para este caso) la oferta a realizar debe ser este limite.. 4.3.5.4 Algoritmo para la generación de ofertas en cada secuencia de la subasta 1. Seleccione la mejor acción por medio del algoritmo 3.4.4.3, esta será denotada por b * 2. Calcular los limites de donde debe estar la oferta 3. Calcular el promedio de las ultimas k secuencias de la subasta. Este k es el tamaño de la memoria limitada del aprendizaje del agente. A este promedio denótese por b 4. Si el periodo de calentamiento 21 no ha terminado, genere una oferta de la siguiente forma: si(b * > b ) ⇒ b * = b * − γ ⋅ lim Sup − lim Inf sino ⇒ b * = b * + (1 − γ ) ⋅ lim Sup − lim Inf Si el periodo de calentamiento ya ha terminado, b * debe ser calculado como b * = b * + valoracion− b * ⋅ (1 − γ ) 5. Verificar si se violo la valoración del bien, si este es el caso la b * debe ser igual a la valoración.. 4.4. Existencia de equilibrio en el tipo de subasta formulada.. 21. El periodo de calentamiento sirve para brindar la oportunidad a los agentes de conocer la forma como los otros participantes realizan sus ofertas.. 32.

(43) II-02(2)5. Para la existencia de un equilibrio en un tipo de subasta como la propuesta, se utilizara el resultado hallado en “A learning approach to auctions”. En este articulo se plante un modelo de subasta con la misma dinámica que el propuesto en este trabajo y los jugadores que participan en esta se suponen que poseen un sistema de aprendizaje como el utilizado por los agentes. El resultado de esa publicación es la siguiente: Asuma que todo jugador de una subasta repetida de primer precio esta utilizando un esquema de aprendizaje con bounded recall además de utilizar las reglas T1 y T2, entonces existe un tiempo T0 y un perfil de estrategias x ∈ S el cual constituye un equilibrio en una subasta de primer precio sin repetir, tal que xt = x, ∀t (t > T0 ) Donde: T1: Si t > ε i y xti−1 ∈ BR i ( B i (ht −1 )) , entonces f i (ht −1 ) = xti−1 22 T2: Si v i > 1 entonces el jugador i nunca escoge una oferta que exceda v i − 1 La diferencia principal entre la subasta planteada por ese articulo y la formulada en este trabajo es la dinámica que se maneja en el conjunto de jugadores para cada secuencia de la subasta. En el modelo propuesto, un jugador pues entrar o salir en cualquier secuencia de la subasta, lo que en el modelo del articulo no esta permitido. Como consecuencia de este hecho, para garantizar la existencia de un equilibrio es necesario mirar en que condiciones los dos modelos seran equivalentes y asi podra ser utilizado los resultados llegados en el articulo.. Equivalencia de los dos modelos Para simplificar términos, defínase como A al modelo de subasta presentado en el articulo “A learning approach to auctions” y B al modelo de subasta trabajado en esta tesis. Los siguientes son los casos para los cuales podría asumirse equivalencia entre A y B. 22. Aquí BR i denota el conjunto de mejor respuesta del jugador i. 33.

(44) II-02(2)5. •. El conjunto de jugadores permanece c onstante a lo largo de la subasta. B: como consecuencia del no cambio en el conjunto de jugadores de B, los dos modelos serán equivalentes •. Ingreso o salida de jugadores en A con la característica que su valoración por el bien no influye en la secuencia de ofertas que se llevaban hasta el momento de su ingreso: Supóngase que nuevos jugadores entran en A en secuencias avanzadas de esta subasta y además suponga que sus valoraciones están considerablemente por debajo de las ofertas realizadas, como consecuencia se tendrá que estos nuevos jugadores ofrecerán sus valoraciones y las ofertas realizadas por los participantes que estaban en la subasta no se verán afectadas. Antes de la entrada de los nuevos jugadores A y B eran equivalentes, ahora como las secuencias subsecuentes de ofertas al ingreso de los nuevos jugadores no van a ser afectadas, puede asumirse que esta equivalencia no se ve afectada. Un argumento similar puede ser utilizado para mostrar la equivalencia para el caso en que salen jugadores.. Como se ve la existencia final del equilibrio en este tipo de subasta va a estar condicionado a la existencia de uno en una subasta de primer precio pero sin repetición, esto será analizado a continuación. Existencia de un equilibrio para el caso de una subasta de primer precio con participantes adversos al riesgo. En la mayoría de los trabajos realizados sobre subastas el supuesto manejado sobre la utilidad de los participantes era que estos tenían una aversión neutral al riesgo, y con base en esto se garantizaban y encontraban los equilibrios para estas subastas. Samuelson y Riley en el articulo “Optimal Auctions” desarrollan una serie de importantes resultados sobre equivalencias desde el punto de vista del subastador entre diferentes tipos de subastas.. También en este articulo, los autores. 34.

(45) II-02(2)5. encuentran un equilibrio para una subasta de primer precio cuando el vendedor anuncia un precio mínimo por el cual esta dispuesto a vender el bien. Estos resultados se obtuvieron bajo el supuesto de neutralidad al riesgo por parte de los participantes en la subasta.. Debido a que en el modelo planteado para los agentes contempla una función de utilidad con aversión al riesgo, los resultados antes enunciados y en especial garantizar un equilibrio van a ser aplicables para est e caso.. Riley y Maskin en el paper “Optimal Auction with Risk Averse Buyers”, llegan a los mismos resultados que Samuelson y Riley, pero esta vez los compradores del bien eran adversos al riesgo.. Para el desarrollo de este trabajo es de particular interés la demostración que en “Optimal Auction with Risk Averse Buyers” hacen sobre la existencia de un único equilibrio en una subasta de primer precio, pues este es precisamente el resultado necesario para garantizar la existencia de un equilibrio en el modelo propuesto para el ambiente de aprendizaje para los agentes inteligentes.. El resultado al que se llega en este articulo sobre la existencia de un único equilibrio es el siguiente: “En una subasta de precio mas alto con dos o mas jugadores, suponga que el subastador anuncia un precio mínimo por el cual esta dispuesto a vender el bien, b 0, y por lo menos un tipo de comprador sea indiferente entre comprar y no comprar a ese precio el bien, esto es: u(-b 0,θ0)=0, para algún θ ∈ [0 ,1] . Si las preferencias satisfacen el supuesto A y 0.  ∂u    ∂ ∂x   u      < 0 ∂v. ,. para aquellos jugadores cuyos tipos cumplan θ < θ 0 no realizaran una oferta exitosa, entonces existe una única función de oferta la cual constituye un equilibrio simétrico para aquello participantes con θ ≥ θ 0 . Esta función será diferenciable y creciente con respecto a θ “.. 35.

(46) II-02(2)5. Como se pude ver, para garantizar el cumplimiento de este teorema, es necesario verificar que se cumplan con los supuestos establecidos, para lo cual basta con mirar que la función de utilidad cumpla con las condiciones del teorema.. Verificación de los supuestos del teorema. Defínase x = v-b γ (x )γ ,0 < b < v  Con u(x,v) =  , 0 ≤ γ ≤1 , de lo contrario  0. w(b)=0 1. Supuesto A. A1. u(x,v), w(b) son tres veces diferenciables. A partir de su forma funcional es claro que estas dos funciones cumplen con el supuesto.. •. A2.. ∂u ∂w ≥ 0, ≥ 0. ∂x ∂x. γ −1 ∂ u γ 2 (x ) = ∂x 0.   , de lo contrario . ,0 < b < v. ∂w =0 ∂x Con lo cual se ve que las funciones cumplen con el supuesto •. A3. w(0)=0 Fácilmente se observa que se cumple. •. A4.. ∂2u ∂ 2w ≤ 0 , ≤0 ∂x 2 ∂x 2. 36.

(47) II-02(2)5. γ −2  ∂ 2 u γ 2 (γ − 1)( x) ,0 < b < v =   dado que γ ≤ 1 , se cumple con el 2 ∂x , de lo contrario  0. supuesto que sea menor o igual a 0 ∂2w =0 ∂x 2. •. A5.. ∂u > 0. ∂v. γ −1  ∂ u γ 2 ( x) ,0 < b < v =  claramente es mayor o igual a 0 ∂v 0 , de lo contrario . 2. Segundo supuesto:.  ∂u    ∂ ∂x   u      < 0 ∂v. A partir de la definición de la función de utilidad se puede ver que:  ∂ u  ∂  ∂ x  u  ∂ v.     . =. ∂ (γ ⋅ x −1 ) = − γ ⋅ x −2 <0 ∂v. 37.

(48) II-02(2)5. 5. RESULTADOS DE LA SIMULACIÓN DEL AMBIENTE. En este capítulo se pretende mostrar los resultados obtenidos por el motor de inteligencia artificial, para lo cua l se definirían algunos indicadores que nos permitan evaluar el desempeño obtenido a partir de la utilización de éste. Para la realización de esta prueba se construirán diferentes escenarios los cuales nos permitirán analizar los resultados obtenidos a pa rtir de los algoritmos.. 5.1. Indicadores. Para el desarrollo de esta prueba es necesario contar con ciertos indicadores que sirvan como puntos de comparación entre diferentes escenarios para realizar una posterior evaluación de los resultados obtenidos por el mismo. Los indicadores a construir van a ser de dos tipos, los primeros estará relacionados con el aspecto económico de la subasta mientras que los segundos tendrán que ver con aspectos generales de los algoritmos.. 38.

(49) II-02(2)5. 5.1.1. •. Indicadores económicos. Utilidad del subastador: Este indicador tiene como objetivo identificar cuál es la ganancia en términos monetarios obtenida por el subastador al finalizar la subasta, la cual esta representada por la ultima oferta recibida.. •. Utilidad del comprador:. Este indicador tiene como objetivo identificar. cuál es la ganancia en términos monetarios obtenida por el oferente a quien finalmente se le es adjudicado el bien. Este valor va a ser igual a la valoración del objeto menos la oferta final realizada. •. Ganancia de la sociedad: Este es un indicador definido como la ganancia neta de la subasta, es decir, la suma de la utilidad del subastador y del ganador de la subasta.. El objetivo de este indicador es evaluar la. eficiencia de la asignación lograda.. 5.1.2. •. Indicadores sobre los algoritmos. Velocidad de convergencia: Este indicador tiene como objetivo evaluar la velocidad con que el algoritmo llega a un estado estable del proceso de negociación.. •. Adjudicación del bien: Este indicador busca determinar qué tan buena fue la recomendación realizada por el agente, lo cual estará reflejado en la adjudicación o no del bien al comprador.. Antes de establecer los distintos escenarios, se definirán algunos perfiles de aversión al riesgo con el objetivo de facilitar el análisis del comportamiento seguido por los agentes.. 39.

(50) II-02(2)5. 5.1.3. Perfil 5.1.4. Coeficiente. de 5.1.5. Característica. aversión Ansioso. 0.1. Este tipo de agente no desea perder el bien. Preocupado. 0.25. La posible pérdida del bien preocupa al agente. Temeroso. 0.5. Siente un poco de temor al no ganar el bien. Fresco. 0.75. Desea el bien pero no se verá tan afligido por la posible pérdida. Gates. 0.9. La posible pérdida del bien no preocupa a este tipo de agente. Tabla 3Perfiles de riesgo seguido por los agentes.. 5.2. Escenarios. Los escenarios están construidos con el fin de estudiar el comportamiento de los agentes en diferentes ambientes y de esta manera determinar si dicho comportamiento es el esperado o no. Para cada uno de los parámetros se construirán diferentes escenarios, los cuales buscan identificar explorar como reaccionan los agentes ante cambios en el valor de este parámetro.. 5.2.1. Escenarios para el número de jugadores en la subasta 23. Para mirar el efecto del número de jugadores en la interacción de los agentes se aumentara poco a poco el numero de participantes con que inicialmente cuenta la subasta.. 23. El agente recomendador tendrá como parámetros un perfil de tipo Fresco y una valoración igual a US $ 5000.. 40.

(51) II-02(2)5. Objeto a subastar: Televisor plasma 46”. Escenario 1. Número de participantes al inicio de la subasta: 2 Mínima oferta: US $1 Tamaño del recall: 10 Parámetros de los participantes: Particip ante. Perfil. Valoración. A. Preocupado. US $ 3500. B. Temeroso. US $ 4000. 4000 3500 3000 2500 A. 2000. B. 1500 1000 500 40. 37. 34. 31. 28. 25. 22. 19. 16. 13. 10. 7. 4. 1. 0. Gráfica 1. A partir de la gráfica se puede establecer que la convergencia del algoritmo se logra en la ronda número 33 con una valoración de $3700 por el bien.. Escenario 2. Número de participantes al inicio de la subasta: 5 Mínima oferta: US $1 Tamaño del recall: 10 Parámetros de los participantes: Participante. Perfil. Valoración. 41.

(52) II-02(2)5. A. Preocupado. US $ 3500. B. Temeroso. US $ 4000. C. Gates. US $ 3000. D. Fresco. US $ 3700. E. Gates. US $ 3000. 4500 4000 3500 A. 3000. B. 2500. C. 2000. D. 1500. E. 1000 500 57. 53. 49. 45. 41. 37. 33. 29. 25. 21. 17. 13. 9. 5. 1. 0. Gráfica 2. En la gráfica 2 se puede ver como la convergencia del algoritmo se logra en la ronda número 53 con una valoración de $3820 por el bien y es al jugador B a quién se le adjudica el bien. Escenario 3. Número de participantes al inicio de la subasta: 10 Mínima oferta: US $1 Tamaño del recall: 10 Parámetros de los participantes: Participante. Perfil. Valoración. A. Preocupado. US $ 3500. B. Temeroso. US $ 4000. C. Gates. US $ 3000. D. Fresco. US $ 3700. 42.