1
UNIVERSIDAD POLITÉCNICA DE CARTAGENA
Escuela Técnica Superior de Ingeniería Industrial
ANÁLISIS DE CAMBIO DE PUNTO EN ENTROPÍA DE PERMUTACIÓN
TRABAJO FIN DE MÁSTER
MÁSTER EN INGENIERÍA INDUSTRIAL
Autor: Jose Manuel Tovar Sastre Codirector: José Salvador Cánovas Peña Codirector: María Carmen Ruiz Abellón
Cartagena, 10 de Julio de 2022
2
3
ÍNDICE
Capítulo 1: Introducción y conceptos previos ... 11
1.1 Introducción a series temporales ... 11
1.2 Permutaciones y entropía ... 15
1.2.1 Permutaciones en una serie temporal ... 15
1.2.2 Funciones de entropía ... 16
1.2.3 Entropía de permutación ... 17
1.3 Introducción a técnicas de cambio de punto ... 18
1.3.1 Paquetes de R para técnicas de cambio de punto ... 22
Capítulo 2: Metodología ... 25
2.1 Procedimiento de cálculo ... 25
2.2 Entropía de la entropía ... 26
2.3 Descripción de los capítulos ... 27
Capítulo 3: Evaluación de técnicas de cambio de punto ... 29
3.1 Descripción de las simulaciones ... 29
3.2 Resultados del análisis y conclusiones ... 31
Capítulo 4: Evaluación de la metodología propuesta ante la presencia de un único cambio de estructura ... 33
4.1 Detalles de simulación ... 33
4.2 Resultados y conclusiones ... 33
4.3 Entropía de la entropía ... 45
Capítulo 5: Evaluación de la metodología propuesta ante la presencia de varios cambios de estructura ... 49
5.1 Simulación Logística + Autorregresivos + Normal ... 49
5.1.1 Resultados para m=5 ... 50
5.1.2 Resultados para m=6 ... 68
5.2 Simulación de modelo 2D + Autorregresivo + Uniforme ... 75
5.2.1 Resultados para m=6 ... 76
5.2.2 Entropía de la entropía ... 80
Capítulo 6: Aplicación a series reales ... 83
6.1 Análisis de una arritmia ... 83
Conclusión ... 88
6.2 Análisis de la serie del índice NASDAQ ... 93
Conclusión ... 98
Bibliografía ... 103
ANEXOS ... 105
4
ANEXO 1: Códigos de R para calcular de forma automática CV y ARS para cada una de las técnicas de cambio de punto ... 105 ANEXO 2: Código de Matlab para calcular las entropías ... 107 ANEXO 3: Código de Matlab para calcular la entropía de la entropía ... 113
5
Índice de figuras
Figura 1. Vacunados de COVID en España. Fuente: Our Word in Data. ... 11
Figura 2. Muertes por COVID en España. Fuente: JHU CSSE COVID-19 Data. ... 12
Figura 3. PIB trimestral de España en los últimos 15 años. Fuente: Expansión. ... 12
Figura 4. Valor de mercado de Apple el 2/02/2022. Fuente: NASDAQ... 13
Figura 5 a) Ejemplo gráfica heterocedástica. (izq) b) Ejemplo gráfica homocedástica. (der) ... 13
Figura 6 a) Ejemplo gráfica estacionaria (izq) b) Ejemplo gráfica no estacionaria (der) ... 14
Figura 7: a) Pronóstico de la demanda de visitantes internacionales en México, b) Componente tendencia, c) Componente de estacionalidad, d) Componente de aletoreidad. Fuente: https://www.elsevier.es/es-revista-economia-informa-114-pdf-S018508491630007X ... 14
Figura 8. Ejemplo gráfica cambio en media. Fuente: https://unicsoft.com/blog/change-point- detection-definition-examples-and-types/ ... 18
Figura 9. Ejemplo gráfica cambio en varianza. Fuente: https://unicsoft.com/blog/change-point- detection-definition-examples-and-types/ ... 19
Figura 10. Ejemplo gráfica cambio en patrón. Fuente: https://unicsoft.com/blog/change-point- detection-definition-examples-and-types/ ... 19
Figura 11. Ejemplo gráfica cambio en frecuencia. Fuente: https://unicsoft.com/blog/change- point-detection-definition-examples-and-types/ ... 20
Figura 12. Simulaciones en la evaluación de técnicas de cambio de punto. ... 31
Figura 13. Cambios de punto en datos originales de la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura. ... 33
Figura 14a. Resultados para s=1 en la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura para las entropías sin reescalar. ... 35
Figura 14b. Resultados para s=1 en la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura para las entropías reescaladas. ... 36
Figura 15a. Resultados para s=10 en la evaluación de la metodología propuesta ante un único cambio de estructura para las entropías sin reescalar. ... 37
Figura 15b. Resultados para s=10 en la evaluación de la metodología propuesta ante un único cambio de estructura para las entropías reescaladas. ... 38
Figura 16a. Resultados para s=120 en la evaluación de la metodología propuesta ante un único cambio de estructura para las entropías sin reescalar. ... 39
Figura 16b. Resultados para s=120 en la evaluación de la metodología propuesta ante un único cambio de estructura para las entropías reescaladas. ... 40
Figura 17. Máximos y mínimos para cada uno de los casos en la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura. ... 43
Figura 18. ARS en los resultados de la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura. Para cada entropía, a la izquierda el caso sin reescalar y a la derecha el reescalado. ... 44
6
Figura 19. CV en los resultados de la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura. Para cada entropía, a la izquierda el caso sin reescalar y a la derecha el reescalado. ... 45 Figura 20. Entropías de la entropía de Shannon en la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura.; a)Entropía de Shannon de la serie original en la evaluación de la metodología propuesta ante la presencia de un único cambio de
estructura; b)Entropía de Akimoto de la entropía de Shannon; c)Entropía de Machado de la entropía de Shannon; d)Entropía de Renyi de la entropía de Shannon; e)Entropía de Shannon de la entropía de Shannon; f)Entropía de Tsallis de la entropía de Shannon; g)Entropía de Wang de la entropía de Shannon ... 46 Figura 21. Serie Logística+Autorregresivos+Normal ... 50 Figura 22. Resultados de la entropía de Akimoto para m=5 la simulación Logística +
Autorregresivos+ Normal ... 51 Figura 23. Resultados de la entropía de Akimoto para m=5 la simulación Logística +
Autorregresivos+ Normal con Q=3. ... 52 Figura 24. a) Entropía de Akimoto sin reescalar con a=0.5 para la simulación Logística+
Autorregresivos+ Normal, b) Entropía de Akimoto de la entropía de Akimoto, c) Entropía de Machado de la entropía de Akimoto, d) Entropía de Renyi de la entropía de Akimoto, e) Entropía de Shannon de la entropía de Akimoto, f) Entropía de Tsallis de la entropía de
Akimoto., g) Entropía de Wang de la entropía de Akimoto. ... 53 Figura 25. Resultados de la entropía de Machado para m=5 la simulación Logística +
Autorregresivos+ Normal ... 55 Figura 26. Resultados de la entropía de Machado para m=5 la simulación Logística +
Autorregresivos+ Normal con Q=3. ... 57 Figura 27. Resultados de la entropía de Renyi para m=5 la simulación Logística +
Autorregresivos+ Normal ... 59 Figura 28. Resultados de la entropía de Shannon para m=5 la simulación Logística +
Autorregresivos+ Normal ... 61 Figura 29. Resultados de la entropía de Tsallis para m=5 la simulación Logística +
Autorregresivos+ Normal ... 62 Figura 30. Resultados de la entropía de Tsallis para m=5 la simulación Logística +
Autorregresivos+ Normal con Q=3 ... 64 Figura 31. Resultados de la entropía de Wang para m=5 la simulación Logística +
Autorregresivos+ Normal ... 66 Figura 32. Resultados de la entropía de Akimoto para m=6 la simulación Logística +
Autorregresivos+ Normal ... 69 Figura 33. Resultados de la entropía de Machado para m=6 la simulación Logística +
Autorregresivos+ Normal ... 70 Figura 34. Resultados de la entropía de Renyi para m=6 la simulación Logística +
Autorregresivos+ Normal ... 71 Figura 35. Resultados de la entropía de Shannon para m=6 la simulación Logística +
Autorregresivos+ Normal ... 72
7
Figura 36. Resultados de la entropía de Tsallis para m=6 la simulación Logística +
Autorregresivos+ Normal ... 73
Figura 37. Resultados de la entropía de Wang para m=6 la simulación Logística + Autorregresivos+ Normal ... 74
Figura 39. Serie Modelo 2D+Autorregresivo+Uniforme ... 75
Figura 40. Resultados de la entropía de Akimoto para m=6 la simulación Modelo 2D+ Autorregresivo+ Uniforme ... 76
Figura 41. Resultados de la entropía de Machado para m=6 la simulación Modelo 2D+ Autorregresivo+ Uniforme ... 77
Figura 42. Resultados de la entropía de Renyi para m=6 la simulación Modelo 2D+ Autorregresivo+ Uniforme ... 78
Figura 43. Resultados de la entropía de Shannon para m=6 la simulación Modelo 2D+ Autorregresivo+ Uniforme ... 79
Figura 44. Resultados de la entropía de Tsallis para m=6 la simulación Modelo 2D+ Autorregresivo+ Uniforme ... 79
Figura 45. Resultados de la entropía de Wang para m=6 la simulación Modelo 2D+ Autorregresivo+ Uniforme ... 80
Figura 46. a) Entropía de Machado reescalado con a=0.85 para la simulación Modelo 2D+Autorregresivo+ Normal ; b) Entropía de Akimoto de la entropía de Machado ; c) Entropía de Machado de la entropía de Machado o; d) Entropía de Renyi de la entropía de Machado; e) Entropía de Shannon de la entropía de Machado; f) Entropía de Tsallis de la entropía de Machado.; g) Entropía de Wang de la entropía de Machado. ... 82
Figura 47. Serie arritmia señal ECG. ... 83
Figura 48. Resultados de la entropía de Akimoto para m=6 de la serie de Arritmia ... 84
Figura 49. Resultados de la entropía de Machado para m=6 de la serie de Arritmia ... 85
Figura 50. Resultados de la entropía de Renyi para m=6 de la serie de Arritmia ... 86
Figura 51. Resultados de la entropía de Shannon para m=6 de la serie de Arritmia ... 86
Figura 52 Resultados de la entropía de Tsallis para m=6 de la serie de Arritmia ... 87
Figura 53. Resultados de la entropía de Wang para m=6 de la serie de Arritmia ... 88
Figura 54. Análisis de la anticipación en la serie de Arritmia: En rojo: ventana de cambio de punto en Renyi 2.5. En amarillo: ventana de cambio de punto en Wang 4. ... 90
Figura 55. a) Entropía de Renyi reescalado con r=2 para la serie de arritmia; b) Entropía de Akimoto de la entropía de Renyi ; c) Entropía de Machado de la entropía de Renyi; d) Entropía de Renyi de la entropía de Renyi; e) Entropía de Shannon de la entropía de Renyi; f) Entropía de Tsallis de la entropía de Renyi.; g) Entropía de Wang de la entropía de Renyi ... 91
Figura 56. Comparación entropías serie Arritmio. ... 92
Figura 57. Serie NASDAQ desde 1971 hasta 2018. ... 93
Figura 58. Resultados de la entropía de Akimoto para m=6 de la serie de NASDAQ ... 94
Figura 59. Resultados de la entropía de Machado para m=6 de la serie de NASDAQ ... 95
Figura 60. Resultados de la entropía de Renyi para m=6 de la serie de NASDAQ ... 96
8
Figura 61. Resultados de la entropía de Shannon para m=6 de la serie de NASDAQ ... 96 Figura 62. Resultados de la entropía de Tsallis para m=6 de la serie de NASDAQ ... 97 Figura 63. Resultados de la entropía de Wang para m=6 de la serie de NASDAQ ... 98 Figura 64. a) Entropía de Renyi reescalado con r=2 para la serie de NASDAQ; b) Entropía de Akimoto de la entropía de Renyi ; c) Entropía de Machado de la entropía de Renyi; d) Entropía de Renyi de la entropía de Renyi; e) Entropía de Shannon de la entropía de Renyi; f) Entropía de Tsallis de la entropía de Renyi.; g) Entropía de Wang de la entropía de Renyi ... 100 Figura 65. Análisis resultados serie NASDAQ. En amarillo Machado 0.75. En rojo: Renyi 2.5.
Línea roja cambio de punto detectado en la entropía de la entropía. ... 100 Figura 66. Comparación entropías serie NASDAQ. ... 101
9
Índice de tablas
Tabla 1. Resultados en la evaluación de técnicas de cambio de punto. ... 31 Tabla 2. Resultados del análisis de la metodología propuesta antes un único cambio de
estructura. ... 41 Tabla 3. Resultados de la entropía de la entropía en la evaluación de la metodología propuesta para un único cambio de estructura. (*) Entropías donde el valle no toma valor nulo. ... 47 Tabla 4. Resultados de ARS y CV para la entropía de Akimoto de la serie Logística+
Autorregresivos+ Normal ... 54 Tabla 5. Resultados de ARS para m=5 para la simulación Logística+ Autorregresivos+ Normal 67 Tabla 6. Explicación de los distintos casos evaluados en m=5 en la simulación Logístico+
Autorregresivos+ Normal ... 67 Tabla 6. Análisis del poder discriminatorio a través del ARS en la serie de Arritmia. ... 89 Tabla 7. Análisis de la anticipación a través de la ventana de cambio de punto en la serie de Arritmia. ... 90 Tabla 8. Resultados cambio de punto en serie NASDAQ ... 99
10
11
Capítulo 1: Introducción y conceptos previos
1.1 Introducción a series temporales
Cuando se quiere estudiar y analizar algún fenómeno de la naturaleza o de la actividad humana con el fin de entenderlo o de realizar una predicción, se toman una serie de muestras o mediciones secuenciales de una magnitud que varía en el tiempo.
Una serie temporal es una sucesión de datos que se han tomado en el tiempo de una magnitud medible como la temperatura, la cotización bursátil, etcétera. Es importante enfatizar que son datos secuenciales puesto que cada dato pertenece a un instante particular de tiempo[11] [2] . A veces, estos datos van a servir para realizar predicciones debido a que los valores futuros dependerán en mayor o menor medida de los datos que se han tomado en el presente y en el pasado. En cambio, existen otros casos donde los datos del presente y del futuro no están relacionados de ninguna manera a los datos del pasado, como por ejemplo el resultado de lanzar una moneda.
Definimos una serie temporal como una realización de N variables distribuidas de manera ordenada a lo largo del tiempo, de forma que cada dato pertenece a una observación de la variable que se está estudiando en un tiempo concreto.
Matemáticamente la representamos por 𝑋𝑡, (𝑡 = 1, … , 𝑁), donde 𝑋𝑡 es la observación de una variable en el instante 𝑡, con 𝑡 entre 1 𝑦 𝑁, siendo N un número natural.
Las series temporales son motivo de estudio en todas las disciplinas científicas. En la medicina, geología, astronomía, economía, etcétera siempre van a existir magnitudes que es preciso modelar a lo largo del tiempo. A modo de ejemplo podemos citar la cotización del oro, las precipitaciones diarias en una región o los datos proporcionados por un encefalograma.
Recientemente aquellas que más destacan en los medios, que a su vez son aquellas que más interesan a la población, son algunas como la relación de infectados en la pandemia, número de personas desempleadas o el cambio de temperatura en el planeta debido al cambio climático.
A continuación, mostramos algunos ejemplos de series temporales que se pueden encontrar en la actualidad en diversos medios identificando algunas características que las hacen propias.
Figura 1. Vacunados de COVID en España. Fuente: Our Word in Data.
En la Figura 1 se muestran el número de personas vacunadas en España desde el comienzo de la vacunación. Se puede observar como este número de personas ha ido incrementando de
12
manera rápida hasta finales de octubre donde se alcanza una cifra cercana al total de la población.
Figura 2. Muertes por COVID en España. Fuente: JHU CSSE COVID-19 Data.
En la Figura 2 quedan representadas las muertes semanales por COVID en España desde el inicio de la pandemia. Se observan de manera clara cada una de las olas que ha habido y a su vez, como desde el inicio de la vacunación la cifra ha ido cayendo hasta encontrarse en una situación
“estable”.
Figura 3. PIB trimestral de España en los últimos 15 años. Fuente: Expansión.
En la Figura 3 se representa el PIB de España en los últimos 15 años y como este se ha visto afectado de manera brusca con la pandemia.
Con estas tres gráficas se ha visto que una serie temporal puede reflejar de manera visual como ha afectado en la sociedad, a nivel de mortalidad y economía, una pandemia mundial. A su vez también ha quedado reflejada la manera en la que el cumplimiento de las medidas sanitarias establecidas y la vacunación de la población ha servido para estabilizar la situación y proporcionar así la recuperación económica.
Las series temporales se pueden clasificar atendiendo a varios aspectos[11] . Por ejemplo:
13
• Dependiendo del carácter aleatorio que posean se clasifican en series deterministas o estocásticas: En el primer caso los valores de los datos futuros dependen completamente de los valores pasados, mientras que en el segundo caso la serie es totalmente aleatoria.
Como ejemplo de un comportamiento con un componente estocástico se tienen los valores de mercado de las empresas que se encuentran en bolsa:
Figura 4. Valor de mercado de Apple el 2/02/2022. Fuente: NASDAQ.
• Según la variabilidad que presenten pueden ser homocedásticas o heterocedásticas, siendo las primeras aquellas donde la dispersión de los datos es constante, mientras que en las heterocedásticas esta dispersión varía a lo largo del tiempo.
A modo de ejemplo se tiene lo siguiente:
Figura 5 a) Ejemplo gráfica heterocedástica. (izq) b) Ejemplo gráfica homocedástica. (der)
• Según la variación de la media y la varianza a lo largo del tiempo pueden ser estacionarias y no estacionarias. En el primer caso, la varianza y la media se mantienen constantes con el paso del tiempo, mientras que para las no estacionarias estos dos parámetros varían.
Como ejemplo se tiene lo siguiente:
14
Figura 6 a) Ejemplo gráfica estacionaria (izq) b) Ejemplo gráfica no estacionaria (der)
Para estudiar una serie temporal es útil representarla gráficamente y tener en cuenta las medidas descriptivas básicas. Este estudio se basa en obtener las distintas componentes de la serie temporal, que, de manera general, son:
• Tendencia: Cambio a largo plazo de la media.
• Estacionalidad: Componente periódica de la serie.
• Aleatoriedad: Los valores que quedan eliminando las componentes anteriores.
Figura 7: a) Pronóstico de la demanda de visitantes internacionales en México, b) Componente tendencia, c) Componente de estacionalidad, d) Componente de aletoreidad. Fuente: https://www.elsevier.es/es-revista-
economia-informa-114-pdf-S018508491630007X
Son varios los objetivos que busca el análisis de una serie temporal. Entre ellos podemos citar, comprender la dinámica interna de la serie, es decir, que ley obedecen los datos contenidos en la serie temporal. De la comprensión de la dinámica se pueden hacer predicciones futuras sobre el comportamiento de la serie que, eventualmente, nos permitirá actuar para modificar el futuro en estos procesos.
En cuanto a las técnicas más utilizadas para el modelado y predicción de series temporales destacan los modelos lineales y no lineales[12] . Los modelos lineales son los más fáciles de utilizar y proporcionan buenos resultados en muchas aplicaciones. Dentro de los modelos
15
lineales, los más utilizados son los modelos autorregresivos de media móvil (ARMA). Una serie lineal 𝑥𝑡 viene dada por la siguiente ecuación:
𝑥𝑡 = 𝜇 + ∑ 𝜑𝑖𝑎𝑡−𝑖
∞
𝑖=0
Donde 𝜇 y 𝜑𝑖 son números reales con 𝜑0= 1 y ∑∞𝑖=0|𝜑𝑖|< ∞ 𝑦 𝑎𝑡 son coeficientes reales.
Sin embargo, las series experimentales suelen tener un carácter no lineal. En estos casos los modelos no lineales pueden ser más adecuado para estudiarlos. En esta memoria trabajaremos con varias series temporales provenientes de modelos no lineales.
El análisis de estas series temporales abarca el estudio de cambios estructurales. Las modificaciones en la estructura de una serie temporal aparecen como consecuencia de un cambio. Este cambio se da en un instante de tiempo y por lo tanto en un punto de la serie, y este es aquel que se quiere detectar en este trabajo. La caracterización de estos fenómenos es de gran importancia debido a que su detección permite localizar variaciones en la estructura global de un sistema y con esto prevenir situaciones indeseables o peligrosas, o comprender de mejor manera aquello que está sucediendo en el tiempo con la variable que se estudia.
1.2 Permutaciones y entropía
1.2.1 Permutaciones en una serie temporal
Debido a la naturaleza de una serie temporal, mientras que algunos cambios estructurales son fácilmente localizables a partir de esta, en muchos otros casos esto no sucede. Por lo tanto, la serie de datos original no serviría para encontrar estos cambios. Debido a esto, es necesario tratar los datos para reflejar un cambio estructural. En este proyecto se utiliza una técnica sencilla como es la dinámica simbólica mediante permutaciones. La dinámica simbólica consiste en cambiar los términos de la serie por una cantidad finita de símbolos para facilitar su estudio.
A continuación, se explica de manera detallada en que consiste este método [3] .
Definición 1. Sea (𝑥𝑛)𝑛=1𝑇 , 𝑇 𝜖 ℕ una serie temporal, donde 𝑥𝑛 𝜖 ℝ para cada 𝑛 𝜖 {1, … , 𝑇}
A la serie completa se le van seleccionando una serie de ventanas dadas por:
𝑥𝑚(𝑙) = (𝑥1, 𝑥2, , … , 𝑥𝑙+𝑚−1)
Para 1 ≤ l ≤ T – m + 1, donde m es un número natural previamente fijado.
Este parámetro m proporciona el tamaño de la ventana y se denomina dimensión de embedding. La serie temporal se recorre con estas ventanas, que a su vez pueden presentar un solapamiento unas con otras. La variable i utilizada en el código de esta memoria se encarga de reflejar este solapamiento entre ventanas atendiendo al número de posiciones que avanza una ventana con respecto a la anterior.
Definición 2. Sea 𝑚 𝜖 ℕ un número natural previamente fijado y 𝜋 = (𝑖1, 𝑖2, … , 𝑖𝑚) ∈ 𝑆𝑚 una permutación. La ventana deslizante
𝑥m(l) = (xl, xl+1, … , xl+m−1)
se dice que es de tipo 𝜋 si es la única permutación que cumple los siguientes requisitos:
1. 𝑥𝑙+𝑖1≤ 𝑥𝑙+𝑖2≤ ⋯ ≤ 𝑥𝑙+𝑖𝑚 2. 𝑖𝑠−1≤ 𝑖𝑠 𝑠𝑖 𝑥𝑙+𝑖
𝑠−1 = 𝑥𝑙+𝑖
𝑠
16
Sea Sm el conjunto de permutaciones de longitud m. El número de permutaciones viene dado por |𝑆𝑚| = 𝑚!
Definición 3. Sea (𝑥𝑛)𝑛=1𝑇 , 𝑚 ∈ ℕ 𝑦 𝜋 ∈ 𝑆𝑚 , entonces la frecuencia relativa de la permutación 𝜋 se define de la siguiente manera:
p(π) =|{j: xm(j), es de tipo π, j = 1,2, … , T − m + 1}|
T − m + 1
Es decir, el número de veces que la permutación se repite entre el total de permutaciones que han sido halladas. Es por esto por lo que la suma de las frecuencias relativas de todas las permutaciones debe ser igual a 1.
1.2.2 Funciones de entropía
La entropía se Shannon, que debe su nombre a Claude Shannon y se define como sigue. Dados unos sucesos con probabilidades 𝑝1, 𝑝2, … , 𝑝𝑘, la entropía de Shannon de dichos sucesos se define como sigue[14] :
𝐻𝑆(𝑝1, 𝑝2, … , 𝑝𝑘) = − ∑ 𝑝𝑖log 𝑝𝑖
𝑘
𝑖=1
Se cumple que 𝐻𝑆(𝑝1, … , 𝑝𝑘) ≤ log 𝑘 y el valor log 𝑘 se alcanza cuando 𝑝𝑖 =1
𝑘 , para 𝑖 = 1,2, … , 𝑘.
Durante las tres últimas décadas ha habido una gran tendencia en obtener nuevas funciones de entropía, fundamentalmente en el campo de la física. Según[14] , la entropía de Shannon puede describirse como:
[− 𝑑
𝑑𝛼] ℎ(𝛼)|𝛼=1= − ∑ 𝑝𝑖log 𝑝𝑖 ≔ 𝐻𝑆(𝑝1, . . , 𝑝𝑘)
𝑖
Con ℎ(𝛼) ≡ ∑ 𝑝𝑖 𝑖𝛼, según [9] .
Si sustituimos el término derivativo por la q-derivada de Jackson [15] : 𝐷𝛼;𝑞𝐽 𝑓(𝑥) =𝐹(𝑞𝑥) − 𝑓(𝑥)
𝑞𝑥 − 𝑥 Queda representada la función de la entropía de Tsallis [9] [11]
𝐷𝛼;𝑞𝐽 ⌋ℎ(𝛼)|𝛼=1 =1 − ∑ 𝑝𝑖 𝑖𝑞
𝑞 − 1 ≔ 𝐻𝑞𝑇(𝑝1, … , 𝑝𝑘) Nótese que para el límite q -> 1 se tiene la expresión general de Shannon.
También aparece la entropía de Rènyi [16] :
𝐻𝑟𝑅(𝑝1, … , 𝑝𝑘) =log (∑𝑘𝑖=1𝑝𝑖𝑟) 1 − 𝑟
Para 𝑟 < 0 y distinto de 1. Cuando 𝑠 → 1 se obtiene la entropía de Shannon.
En 2001, Akimoto y Suzuki [9] proponen una función uniparamétrica de la siguiente manera:
17 𝐻𝑞𝐴𝐾(𝑝1, … , 𝑝𝑘) = − lim
𝑥→1∑ 𝑑𝛼
𝑑𝑥𝛼𝑒𝑥𝑙𝑜𝑔𝑝𝑖
𝑘
𝑖=1
Llegando finalmente a la siguiente expresión:
𝐻𝑞𝐴𝐾(𝑝1, … , 𝑝𝑘) = ∑ 𝛼 − 1 Γ(2 − α)
𝑘
𝑖=1
F11(1,1 − α, logpi) para 0 < α < 1
Donde Γ(2 − α) es la función gamma con parámetro 2 − α, y F11(1,1 − α, logpi) es la función hipergeométrica confluyente de primer tipo. También se cumple que el límite α → 1 coincide con la entropía de Shannon.
La función gamma se define para x>0 por la siguiente integral [18] : Γ(x) = ∫ 𝑒−𝑡𝑡𝑥−1𝑑𝑡
∞
0
La función hipergeométrica confluente de primer tipo se define como [17] :
𝐹11(𝑎, 𝑏, 𝑧) = ∑𝑎 𝑧𝑛 𝑏 𝑛!
𝑛
𝑛=0
En 2014, Radhakrishnan y otros introducen la siguiente función biparamétrica [19]
𝐻𝑞,𝑎𝑅𝐶𝐽(𝑝1, … , 𝑝𝑘) = ∑ 𝑝𝑖𝑞(−𝑙𝑜𝑔 𝑝𝑖)𝛼 𝑝𝑎𝑟𝑎 𝑞, 𝑎 > 0
𝑘
𝑖=1
Tomando 𝑎 = 1 llegamos a la expresión de Wang:
𝐻𝑞𝑊(𝑝1, … , 𝑝𝑘) = ∑ 𝑝𝑖𝑞(−𝑙𝑜𝑔 𝑝𝑖) 𝑝𝑎𝑟𝑎 𝑞 > 0
𝑘
𝑖=1
También en 2014, Machado obtiene la siguiente expresión para la entropía [8] :
𝐻𝛼𝑀(𝑝1, … , 𝑝𝑘) = ∑(− 𝑝𝑖−𝛼
Γ(1 + α)log 𝑝𝑖
𝑘
𝑖=1
+ ψ̃
Donde ψ̃ = ψ̃(1) − ψ̃(1 − α). El operador ψ̃ 𝑟𝑒𝑝𝑟𝑒𝑠𝑒𝑛𝑡𝑎 𝑙𝑎 𝑓𝑢𝑛𝑐𝑖ó𝑛 𝑑𝑖𝑔𝑎𝑚𝑚𝑎.
La función digamma se define como la primera derivada del logaritmo natural de la función gamma, para x>0:
ψ̃(x) = d
dxln Γ(x) =Γ′(x) Γ(x) 1.2.3 Entropía de permutación
Cuando en las funciones de entropía anteriores se toman como 𝑝𝑖 = 𝑝(𝜋), 𝜋 𝜖 𝐴𝑚
Siendo 𝐴𝑚 = {𝜋 𝜖 𝑆𝑚: 𝑝(𝜋) > 0}, se obtienen las entropías de permutación.
Por ejemplo, la entropía de permutación de Shannon vendrá dada por la fórmula:
18
𝐻𝑆(𝑚) = − ∑ 𝑝(𝜋) log 𝑝(𝜋)
𝑘
𝑖=1
De manera similar se definen las demás entropías de permutación, que son las que utilizaremos en esta memoria.
1.3 Introducción a técnicas de cambio de punto
Existen referencias bibliográficas que contemplan diferentes definiciones de cambio de punto en una serie temporal. Por ejemplo, según [4] un cambio de punto representa una variación abrupta en los datos de una serie temporal. Sin embargo, en [5] se define como una instancia en el tiempo donde las propiedades estadísticas antes y después difieren.
Atendiendo al cambio identificado, se pueden considerar fundamentalmente cuatro tipos de cambio de punto.
• Cambios en media
Es el más común de los tipos de cambio y el más fácil de detectar visualmente. Ocurre cuando la serie temporal puede ser dividida por diferentes segmentos con diferentes medias:
Figura 8. Ejemplo gráfica cambio en media. Fuente: https://unicsoft.com/blog/change-point-detection-definition- examples-and-types/
• Cambios en varianza
Con una media igual en el conjunto de la serie temporal esta puede mostrar un cambio en su varianza:
19
Figura 9. Ejemplo gráfica cambio en varianza. Fuente: https://unicsoft.com/blog/change-point-detection-definition- examples-and-types/
• Cambios en patrón
En una serie temporal que sigue un patrón se pueden detectar cambios en este:
Figura 10. Ejemplo gráfica cambio en patrón. Fuente: https://unicsoft.com/blog/change-point-detection-definition- examples-and-types/
• Cambios en frecuencia
Se definen como un cambio en una serie temporal que contiene unas propiedades cíclicas:
20
Figura 11. Ejemplo gráfica cambio en frecuencia. Fuente: https://unicsoft.com/blog/change-point-detection- definition-examples-and-types/
Los cambios de punto han sido objeto de estudio en múltiples disciplinas y sus orígenes se remontan al 1954, el año en el que fue publicado el primer artículo que trata esta temática.
Dicho artículo estudió la existencia de un cambio de punto en una serie de datos pertenecientes a una distribución paramétrica común, y fue motivado por una configuración en el control de calidad de un proceso de fabricación.
Con el paso de los años, el análisis del cambio de punto ha evolucionado de manera rápida al caso de múltiples cambios, diferentes tipos de datos y otro tipo de casos que se siguen estudiando hoy en día.
Los cambios de punto han aparecido en diversos artículos bajo una gran variedad de definiciones en varios campos científicos. Esto incluye segmentación, rupturas estructurales, puntos de ruptura, cambio de régimen, y detección de trastornos. También aparecen en un amplio rango de la literatura, incluyendo el control de calidad, la economía, la medicina, medio ambiente, lingüística, etcétera.
La URL http://www.changepoint.info/ es un repositorio donde investigadores y usuarios pueden encontrar y compartir múltiples recursos relacionados con el análisis de cambio de punto, incluyendo numerosas publicaciones y software libre. En particular, el paquete de R denominado changepoint, que se describe más adelante.
Cabe destacar que, en este proyecto, recurriremos a las técnicas de cambio de punto para identificar cambios en media. Pero no sobre la serie original en estudio, sino sobre la serie de entropía. Recordemos que la entropía mide el grado de complejidad de una serie. Por tanto, dada una serie temporal en estudio, calcularemos su entropía (que también es una serie temporal) y sobre ésta, analizaremos si existen cambios en media. Los cambios en media que se detecten sobre la serie de entropía significan cambios de complejidad (cambios de estructura) sobre la serie original.
Estos cambios de estructura en una serie temporal a veces pueden identificarse visualmente a partir de la propia serie en estudio, y otras veces a través de la visualización de su entropía. En este proyecto nos proponemos la detección automática de dichos cambios, mediante el uso de técnicas de cambio de punto (en media).
21
A la hora de estudiar cambios de punto en una serie, nos podemos referir a la búsqueda de un único cambio o bien a la búsqueda de múltiples cambios (técnicas multipunto).
La detección de un cambio de punto se puede presentar como un test estadístico: En este test estadístico se realiza un contraste de hipótesis, en primer lugar, se plantea la hipótesis nula H0
que corresponde a que no existe ningún cambio de punto (d=0), y la hipótesis alternativa, H1, en la que se considera que existe un solo cambio de punto (d=1), donde “d” denota el número de cambios de punto de la serie.
En este test estadístico existen varias posibilidades de elegir una penalización que determine la región de rechazo. Aquellas más usuales, que a su vez coinciden con las utilizadas en este proyecto son[5] :
AIC: Criterio de información de Akaike.
BIC: Criterio de información de Bayes.
SIC: Criterio de información de Schwarz.
El enfoque más común para encontrar múltiples cambios de punto es el de minimizar la siguiente función:[5]
∑[∁(𝑦(𝜏𝑖−1+1):𝜏𝑖)] + 𝛽𝑓(𝑑)
𝑑+1
𝑖=1
Donde {𝜏1, 𝜏2, … , 𝜏𝑑 } denotan los “d” cambios de punto en la serie, ∁ es la función de costo para un segmento 𝑦(𝜏𝑖−1+1):𝜏𝑖 y 𝛽𝑓(𝑑) es una penalización para evitar el sobreajuste.
Existen diversos algoritmos que persiguen minimizar la función descrita anteriormente, y cada vez son más puesto que es una técnica cada vez más utilizada y se encuentra en plena investigación. Aquellos más usuales, que a su vez serán los usados en este proyecto, son[5]
• Método de segmentación binaria (BinSeg): En este método se parte de la serie original, se busca un único cambio de punto, se segmenta la serie por ese punto y se vuelve a tratar cada uno de los segmentos de la misma manera. Este proceso continúa hasta que no se encuentran más cambio de punto en ninguna de los segmentos hallados. Cabe destacar que este proceso es computacionalmente rápido, pero no garantiza que se alcance el mínimo de la función, sino que se trata de una aproximación.
• Método de segmentación de “vecindarios” (SegNeigh): Este proceso se obtiene utilizando una técnica de programación dinámica para obtener la segmentación óptima para d+1 cambios de punto reutilizando la información que ha sido calculada para d cambios de punto. En este caso se establece un número máximo de cambios de punto
“Q”. Este algoritmo es más exacto pero la complejidad computacional es considerablemente mayor que la de la segmentación binaria.
• Tiempo lineal exacto “podado” (PELT): Se trata de un algoritmo similar al SegNeigh ya que este proceso se obtiene utilizando una técnica de programación dinámica y proporciona una segmentación exacta. Sin embargo, se puede demostrar, que debido a la manera en la que está construido, PELT es más eficiente computacionalmente que SegNeigh.
22
1.3.1 Paquetes de R para técnicas de cambio de punto
Con el nombre de R se denomina a un lenguaje de programación de los más utilizados en análisis estadístico. Se trata de software libre y dispone de multitud de paquetes que extienden su configuración básica. En particular, para este proyecto usaremos tres paquetes de R que describimos a continuación y que contemplan diferentes técnicas de cambio de punto.
• Paquete Changepoint[5]
Este paquete presenta distintas funciones, siendo cpt.mean aquella en la que nos vamos a fijar puesto que nos interesa buscar el cambio en la media (cambios de nivel en la serie).
También está disponible la función cpt.var, que busca cambios en la varianza de la serie, o cpt.meanvar que busca tanto cambios en media como en varianza.
E. Los argumentos de la función cpt.mean, que nos permitiremos variar según el escenario, son los siguientes:
cpt.mean(data, penalty, method,Q , minseglen)
data: En primer lugar, se hace referencia a los datos de la serie que se quiere estudiar.
penalty: Aquellos que se utilizarán en este proyecto son AIC, SIC y BIC, tal y como se ha comentado en apartados anteriores hace referencia al criterio de penalización que se utiliza para determinar la región de rechazo.
method: Hace referencia al método empleado. Se eligirá entre AMOC si es un solo cambio de punto o PELT, SegNeigh o BinSeg si se tratan de varios cambios de punto.
Q: Hace referencia al número máximo de cambios de punto si se utiliza BinSeg, o el número máximo de segmentos si se usa SegNeigh, para PELT no se utiliza.
minseglen: Hace referencia a la longitud mínima de cada tramo a identificar.
Existen otras entradas que no se han descrito debido a que no se van a modificar.
• Paquete ecp[7]
Los métodos que incluye son capaces de estimar múltiples cambios de punto sin partir de información alguna acerca del número de cambios de puntos. Presenta distintos métodos.
Estimación divisiva jerárquica (e-divise): Se parte de la serie original y se van haciendo particiones formando así un árbol binario. Estimación aglomerativa jerárquica (e-Agglo):
Partiendo de una segmentación inicial, que reducirá el tiempo de computación, en cada etapa se producen uniones de subtramos hasta llegar a la segmentación óptima. Esta última es en la que se va a trabajar y presenta las siguientes entradas:
e.agglo(X, member, alpha)
En primer lugar, hay que tener en cuenta que este método solo es capaz de leer los datos en formato de matriz y es por esto por lo que es necesario tratarlos antes de empezar a ejecutar el comando.
X: Matriz de datos que se corresponde con la serie en estudio.
member: Segmentación inicial de la serie a partir de la cual se busca el resultado óptimo.
23
alpha: Parámetro para indicar cómo se calculan las diferencias dentro y entre grupos. En nuestro caso, es necesario fijar alpha=2 para referirnos a cambios en media.
• Paquete ChangePointTaylor[6]
La idea de este método consiste en cuantificar una confianza (probabilidad) de que se produzca un verdadero cambio de punto. Para ello, se toma como referencia la serie original, calculando una nueva gráfica (CUSUM) basada en las desviaciones de cada dato a la media de la serie. Por otro lado, se realizan reordenaciones de la serie de forma
aleatoria (mediante boostrap) y se compara su nueva gráfica CUSUM con la original. Se trata de un proceso donde el tiempo de computación es mucho mayor en comparación al de otros métodos utilizados.
Los argumentos que presenta esta función y que nos permitiremos variar cuando sea necesario, son los siguientes:
Change_point_analyzer(data, n_boostraps, min_candidate_conf, min_tbl_conf) data: En primer lugar, se definen los datos que el paquete va a tratar de analizar.
n_boostraps: Hace referencia al número de veces que se reordena la serie de manera aleatoria para ser comparada con la original.
min_candidate_conf: Un número entre 0 y 1. Es el nivel mínimo de confianza para convertirse en un candidato a cambio de punto antes de la reestimación.
min_tbl_conf: Un número entre 0 y 1. El nivel de confianza mínimo por debajo del cual el candidato se eliminará después de la reestimación.
En general no existe la “mejor” técnica para detectar cambios de punto, por eso es necesario contemplar varias de ellas y evaluar su funcionamiento, intentando analizar ventajas e inconvenientes en nuestro contexto. Este es uno de los primeros objetivos marcados en el presente TFM y que desarrollaremos en un capítulo posterior.
24
25
Capítulo 2: Metodología
2.1 Procedimiento de cálculo
Tal y como se ha observado en los anteriores apartados, una vez que se tienen las frecuencias relativas de cada una de las permutaciones, las funciones de entropía ofrecen un valor de la complejidad de la serie temporal.
Para conseguir que se detecte un cambio en la estructura de la serie se necesita una gran cantidad de datos, y esto se consigue con el procedimiento que a continuación se describe (véase [1] ).
En primer lugar, se divide la serie en un número de ventanas que se denominarán ventanas exteriores. La dimensión de estas ventanas exteriores variará con la dimensión de embedding 𝑚 puesto que su valor 𝑘 se calcula de la siguiente manera:
𝑘 = 5𝑚!
Estas ventanas pueden ser consecutivas unas con otras o pueden solaparse entre sí. A este solapamiento de la ventana exterior se le denominará 𝑠.Este valor representará el número de índices de la serie original que avanza una ventana exterior con respecto a la anterior.
Una vez que se tienen esas ventanas representadas como vectores, se recogen en una matriz 𝑀 que se irá recorriendo fila a fila ejecutando el siguiente procedimiento:
A cada una de las filas se le tratará como a una serie independiente sacando sus ventanas propias, que se denominarán ventanas interiores, y se obtendrán las permutaciones y sus frecuencias asociadas. El tamaño de estas ventanas será el valor de la dimensión de embedding 𝑚. A su vez estas ventanas interiores pueden presentar un solapamiento que se denominará 𝑖.
Este valor representa el número de índices que avanza una ventana interior con respecto a la anterior.
El resultado es una matriz que se denomina 𝑓𝑟𝑒𝑐𝑢𝑒𝑛𝑐𝑖𝑎𝑠, en la cual cada fila va a representar las frecuencias relativas de las permutaciones de cada una de las ventanas exteriores.
A cada una de las filas de esta matriz se le aplicará la fórmula de la entropía, dando así como resultado un valor por cada una de las filas de la matriz.
Finalmente se obtiene un vector del mismo tamaño que el número de ventanas exteriores, que representan las entropías de cada una de ellas, este vector es el que se va a representar gráficamente y tratar en RStudio para evaluar el cambio de estructura en la serie temporal inicial.
Todo el proceso descrito anteriormente se concreta en el programa del anexo 2.
Es importante evaluar a nivel visual las representaciones gráficas que obtengamos como resultado, pero es conveniente complementar este análisis gráfico con el empleo de una técnica de cambio de punto con un paquete estadístico destinado a ello. El objetivo que se persigue es proponer una metodología para la detección automática de cambios en la complejidad de una serie, en lugar de limitarnos a la inspección visual.
Estos paquetes dan como resultado la ubicación del cambio de punto detectado, pero a su vez ofrecen otros resultados que pueden ser tratados para analizar mejor la situación.
26
A continuación, se describe qué datos se van a utilizar para el análisis de los resultados y cómo se han obtenido:
Una vez identificados los cambios de punto de una serie, en nuestro caso de la serie entropía, nos interesa calcular de forma automática algunas medidas para cada tramo resultante. En particular, nos interesa obtener de forma automática lo siguiente:
a. Cambios de punto en media.
b. Medias de los tramos resultantes.
c. Amplitud relativa de salto entre dos tramos consecutivos.
d. Coeficiente de variación de cada tramo resultante.
Con las técnicas analizadas anteriormente, obtendremos de forma automática los cambios de punto en media, y a partir de ellos, definiremos los tramos resultantes de la serie y la media de cada tramo. Por último, determinaremos las medidas ARS (amplitud relativa del salto) y CV (coeficiente de variación) para cada tramo de la serie, cuyas definiciones mostramos a continuación.
Amplitud relativa del salto entre niveles: Una vez identificados los puntos donde se produce un cambio de media (cambio de nivel de la serie entropía), calcularemos la amplitud relativa del salto entre niveles de la siguiente forma:
𝐴𝑅𝑆 =𝑀𝑒𝑑𝑖𝑎𝑠𝑢𝑝𝑒𝑟𝑖𝑜𝑟
𝑀𝑒𝑑𝑖𝑎𝑖𝑛𝑓𝑒𝑟𝑖𝑜𝑟
Donde 𝑀𝑒𝑑𝑖𝑎𝑠𝑢𝑝𝑒𝑟𝑖𝑜𝑟 = “media o nivel superior”, 𝑀𝑒𝑑𝑖𝑎𝑖𝑛𝑓𝑒𝑟𝑖𝑜𝑟 = “media o nivel inferior”.
Cuanto mayor sea esta medida, mayor poder discriminante de la entropía. Ambos niveles de entropía se estiman de forma automática como la media de cada tramo seleccionado, usando el script creado en R.
Coeficiente de variación en cada tramo: El coeficiente de variación es una medida de dispersión relativa que se define como el cociente entre la desviación típica y la media de un conjunto de datos:
𝐶𝑉 = 𝐷𝑒𝑠𝑣𝑖𝑎𝑐𝑖ó𝑛 𝑡í𝑝𝑖𝑐𝑎 𝑀𝑒𝑑𝑖𝑎
En nuestro contexto, cuanto menor sea esta medida, mayor precisión y estabilidad de la entropía, ayudando a mayor poder discriminante de la misma para detectar cambios de estructura.
Los códigos de R para calcular de forma automática estas magnitudes, para cada una de las técnicas de cambio de punto analizadas, se encuentran en el ANEXO 1.
2.2 Entropía de la entropía
Como herramienta adicional al proceso descrito anteriormente, emplearemos lo que hemos denominado “entropía de la entropía”. El proceso consiste en, una vez calculada la entropía de la serie original, volver a calcular la entropía sobre ésta. Se puede aplicar a cualquiera de las funciones de entropía obtenidas en la etapa anterior, aunque procuraremos escoger aquella que muestre de forma más clara los cambios de punto entre tramos.
En este caso, la entropía de la serie original pasa a ser la serie original, y con la búsqueda de las entropías de esta serie se persigue que en las zonas donde hay un cambio de nivel, se refleje el
27
comportamiento determinista que se produce en las transiciones entre tramos (monotonía creciente o decreciente).
La entropía de la entropía lo que va a hacer en cada uno de los cambios de nivel es representar un valle, y este valle va a indicar de una manera muy clara dónde se encuentra el cambio en la estructura de la serie original. Además, el número de valles indicará el número de cambios de punto que debemos identificar.
En general, los parámetros utilizados para realizar los cálculos de la entropía de la entropía son los siguientes 𝑚 = 3, 𝑘 = 30, 𝑖 = 1, 𝑠 = 10. Además, tomamos los siguientes parámetros en cada una de las entropías consideradas.
𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑇𝑠𝑎𝑙𝑙𝑖𝑠: 𝑞𝑇𝑠𝑎𝑙𝑙𝑖𝑠 = 0.5 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑅𝑒𝑛𝑦𝑖: 𝑟𝑅𝑒𝑛𝑦𝑖= 2
𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝐴𝑘𝑖𝑚𝑜𝑡𝑜: 𝑎𝐴𝑘𝑖𝑚𝑜𝑡𝑜 = 0.5 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑀𝑎𝑐ℎ𝑎𝑑𝑜: 𝑎𝑀𝑎𝑐ℎ𝑎𝑑𝑜 = 0.85 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑊𝑎𝑛𝑔: 𝑞𝑊𝑎𝑛𝑔= 3
2.3 Descripción de los capítulos
Una vez explicada la metodología utilizada en el proyecto se pasa a describir qué se trata de analizar en cada uno de los capítulos:
Capítulo 3: Evaluación de técnicas de cambio de punto: En este bloque se estudia el comportamiento de los distintos paquetes estadísticos ante cuatro simulaciones que presentan distintas magnitudes de cambios en la media.
Capítulo 4: Evaluación de la metodología propuesta ante la presencia de un único cambio de estructura. Se analiza la metodología propuesta para distintos tamaños de 𝑠 , en el caso de una serie temporal con un único cambio de estructura. De esta manera se refleja en los resultados de qué forma afecta el solapamiento entre cada una de las ventanas exteriores al análisis del cambio de estructura. El paquete estadístico irá variando en función de las necesidades de la serie, adaptando también la técnica y los parámetros de entrada a cada uno de los casos.
Varios aspectos a tener en cuenta en este bloque son que se evaluará en todos los casos tanto las entropías reescaladas como las entropías sin reescalar. Los parámetros del cálculo las frecuencias de las permutaciones utilizadas en el cálculo de las entropías son los siguientes 𝑚 = 4, 𝑘 = 120, 𝑖 = 1, 𝑠 = 1, 10 𝑦 120. Además, tomamos los siguientes parámetros en cada una de las entropías consideradas.
𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑇𝑠𝑎𝑙𝑙𝑖𝑠: 𝑞𝑇𝑠𝑎𝑙𝑙𝑖𝑠 = 0.5, 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑅𝑒𝑛𝑦𝑖: 𝑟𝑅𝑒𝑛𝑦𝑖= 2
𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝐴𝑘𝑖𝑚𝑜𝑡𝑜: 𝑎𝐴𝑘𝑖𝑚𝑜𝑡𝑜 = 0.5 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑀𝑎𝑐ℎ𝑎𝑑𝑜: 𝑎𝑀𝑎𝑐ℎ𝑎𝑑𝑜 = 0.85 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑊𝑎𝑛𝑔: 𝑞𝑊𝑎𝑛𝑔= 3
Capítulo 5: Evaluación de la metodología propuesta ante la presencia de varios cambios de estructura: Se estudian dos series temporales con varios cambios de estructura, para distintas dimensiones de embedding y distintos parámetros de las entropías. Se trata de un estudio amplio donde se ofrecen una gran cantidad de resultados y estos ayudarán a observar la manera en la que afecta la dimensión de embedding al cambio de nivel en cuanto al salto y en cuanto a
28
la transición entre una complejidad y otra. De la misma manera que sucederá con los parámetros de las distintas entropías, se irán variando para ver de qué manera afectan al resultado. El paquete estadístico, la técnica utilizada y los parámetros de entrada se mantendrán fijos. Se realizarán las siguientes simulaciones con los siguientes parámetros:
𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑇𝑠𝑎𝑙𝑙𝑖𝑠: 𝑞𝑇𝑠𝑎𝑙𝑙𝑖𝑠 = 0.3, 0.4, 0.5, 0.65, 0.75 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑅𝑒𝑛𝑦𝑖: 𝑟𝑅𝑒𝑛𝑦𝑖= 1.5, 1.75, 2, 2.25, 2.5 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝐴𝑘𝑖𝑚𝑜𝑡𝑜: 𝑎𝐴𝑘𝑖𝑚𝑜𝑡𝑜 = 0.3, 0.4, 0.5, 0.6, 0.7 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑀𝑎𝑐ℎ𝑎𝑑𝑜: 𝑎𝑀𝑎𝑐ℎ𝑎𝑑𝑜 = 0.75, 0.8, 0.85, 0.9, 0.95 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑊𝑎𝑛𝑔: 𝑞𝑊𝑎𝑛𝑔= 2, 2.5, 3, 3.5, 4
Simulación Logística + Autorregresivos + Normal
• m=5, k=600
• m=6, k=1000
Simulación Modelo 2D + Autorregresivo + Uniforme
• m=6, k=1000
Capítulo 6: Aplicación a series reales: Se estudian varias series reales, observando así de qué manera se comporta la metodología utilizada en series provenientes de ejemplos reales y no de una simulación. Se mantendrán fijos todos los parámetros que se han variado anteriormente y el paquete estadístico y la técnica utilizada para la búsqueda del cambio de punto. Se evaluarán las siguientes series con los siguientes parámetros:
𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑇𝑠𝑎𝑙𝑙𝑖𝑠: 𝑞𝑇𝑠𝑎𝑙𝑙𝑖𝑠 = 0.3, 0.4, 0.5, 0.65, 0.75 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑅𝑒𝑛𝑦𝑖: 𝑟𝑅𝑒𝑛𝑦𝑖= 1.5, 1.75, 2, 2.25, 2.5 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝐴𝑘𝑖𝑚𝑜𝑡𝑜: 𝑎𝐴𝑘𝑖𝑚𝑜𝑡𝑜 = 0.3, 0.4, 0.5, 0.6, 0.7 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑀𝑎𝑐ℎ𝑎𝑑𝑜: 𝑎𝑀𝑎𝑐ℎ𝑎𝑑𝑜 = 0.75, 0.8, 0.85, 0.9, 0.95 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑊𝑎𝑛𝑔: 𝑞𝑊𝑎𝑛𝑔= 2, 2.5, 3, 3.5, 4
Análisis de una arritmia
• m=6, k=1000
Análisis de la serie del índice NASDAQ
• m=6, k=1000
29
Capítulo 3: Evaluación de técnicas de cambio de punto
En esta sección, se realiza una evaluación de diferentes técnicas de cambio de punto, solo en el caso de cambios en media al ser el tipo concreto que nos interesa. Para ello, se simularán series con un único cambio de media y con varios cambios, siendo estos cambios de diferentes magnitudes. Con el fin de analizar la sensibilidad de dichas técnicas a los cambios de escala, se repetirán los análisis con las mismas series, pero multiplicadas por un escalar. Indicar todas las simulaciones se han realizado fijando una semilla, con el fin de tener resultados reproducibles.
Las técnicas de cambio de punto que se han tenido en cuenta para su evaluación son las siguientes. Para el paquete “changepoint”: AMOC (un único cambio de punto), BinSeg (segmentación binaria para multipunto), SegNeigh (segmentación de vecindario para multipunto) y PELT (tiempo lineal exacto podado para multipunto). Para el paquete “ecp”, se usará el algoritmo aglomerativo e.agglo para multipunto, y para el paquete
“ChangePointeTaylor” se usará la función change_point_analyzer para detección multipunto.
A continuación, se detalla cómo se han construido las series a analizar en cada una de las simulaciones.
3.1 Descripción de las simulaciones
• Simulación 1:
Se construye una serie formada por dos tramos con diferentes medias. En primer lugar, una con 1000 datos de una Normal con media 0 y varianza 1, y, en segundo lugar, otra con 1000 datos de una Normal de media 0.1 y varianza 1. Se unen ambas series de manera que se tiene una serie de 2000 datos con un único cambio de punto en media, concretamente el cambio se produce en el dato número 1000.
• Simulación 1*:
Se multiplica la serie anterior por un escalar, por ejemplo, por 10000. De esta manera, se pretende observar si el resultado que ofrece la técnica de cambio de punto se ve alterado por el cambio de escala en los valores de la serie.
𝑥𝑛= 𝑁(0; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑦𝑛= 𝑁(0.1; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 = (𝑥𝑛, 𝑦𝑛)
𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎∗ = 𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 ∗ 10000
• Simulación 2:
Se construye una serie formada por dos tramos con diferentes medias. En primer lugar, una con 1000 datos de una Normal con media 0 y varianza 1, y, en segundo lugar, otra con 1000 datos de una Normal de media 0.25 y varianza 1. Se unen ambas series de manera que se tiene una serie de 2000 datos con un único cambio de punto en media, concretamente el cambio se produce en el dato número 1000.
• Simulación 2*:
Se multiplica la serie anterior por un escalar, por ejemplo, por 10000. De esta manera, se pretende observar si el resultado que ofrece la técnica de cambio de punto se ve alterado por el cambio de escala en los valores de la serie.
𝑥𝑛= 𝑁(0; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑦𝑛= 𝑁(0.25; 1) 1000 𝑑𝑎𝑡𝑜𝑠
30 𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 = (𝑥𝑛, 𝑦𝑛)
𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎∗ = 𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 ∗ 10000
• Simulación 3:
Se construye una serie formada por dos tramos con diferentes medias. En primer lugar, una con 1000 datos de una Normal con media 0 y varianza 1, y, en segundo lugar, otra con 1000 datos de una Normal de media 1 y varianza 1. Se unen ambas series de manera que se tiene una serie de 2000 datos con un único cambio de punto en media, concretamente el cambio se produce en el dato número 1000.
• Simulación 3*:
Se multiplica la serie anterior por un escalar, por ejemplo, por 10000. De esta manera, se pretende observar si el resultado que ofrece la técnica de cambio de punto se ve alterado por el cambio de escala en los valores de la serie.
𝑥𝑛= 𝑁(0; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑦𝑛= 𝑁(1; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 = (𝑥𝑛, 𝑦𝑛)
𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎∗ = 𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 ∗ 10000
• Simulación 4:
Se construye una serie formada por cuatro, en primer lugar, una con 1000 datos de una normal con media 0 y varianza 1, otra con 1000 datos de una normal media 0.5 y varianza 1, otra con 1000 datos de una normal media 0.25 y varianza 1 y otra con 1000 datos de una normal media 0.75 y varianza 1. Se juntan las cuatro series de manera que se tienen 4000 datos. De esta manera se pretende observar si se detecta un cambio de punto en cada una de las uniones entre estas 4 series, es decir, tres cambios de punto.
• Simulación 4*:
Se multiplica la serie anterior por un escalar, por ejemplo, por 10000. De esta manera, se pretende observar si el resultado que ofrece la técnica de cambio de punto se ve alterado por el cambio de escala en los valores de la serie.
𝑥𝑛= 𝑁(0; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑦𝑛= 𝑁(0.5; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑧𝑛= 𝑁(0.25; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑣𝑛= 𝑁(0.75; 1) 1000 𝑑𝑎𝑡𝑜𝑠 𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 = (𝑥𝑛, 𝑦𝑛, 𝑧𝑛, 𝑣𝑛)
𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎∗ = 𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 ∗ 10000
31
Simulaciones en la evaluación de técnicas de cambio de punto
Simulación 1 Simulación 2
Simulación 3 Simulación 4
Figura 12. Simulaciones en la evaluación de técnicas de cambio de punto.
3.2 Resultados del análisis y conclusiones
Los resultados obtenidos al aplicar las seis técnicas de cambio de punto (en media), se resumen en la siguiente tabla, la cual recoge el instante o número de dato donde la técnica identifica los cambios de punto en cada simulación:
Obsérvese que ningún método funciona bien para la simulación 1, que contempla un cambio de media de muy pequeña magnitud. Esto quiere decir que, si las series de entropía contienen tramos con pequeños cambios en media, es decir, ligeras diferencias en el nivel de complejidad, estas técnicas no van a ser eficientes en la detección de dichos cambios.
Para el caso de la simulación 2, que contempla un cambio de media de magnitud moderada, todos los métodos proporcionan un único cambio de punto relativamente cercano al adecuado, es decir, al dato número 1000. En la simulación 3, que contempla un cambio de media de mayor magnitud, todos los métodos proporcionan un único cambio de punto muy próximo al dato
Tabla 1. Resultados en la evaluación de técnicas de cambio de punto.
32
número 1000, donde se produce el verdadero cambio. Por lo tanto, en estos escenarios, las técnicas de cambio de punto evaluadas sí van a ser eficientes.
Para la simulación 4, que contempla cambios de media de magnitud moderada, observamos que son necesarias las técnicas multipunto (AMOC solo identifica el cambio en media de mayor magnitud), siendo todas ellas eficientes en la determinación de los puntos donde se produce el cambio (datos número 1000, 2000 y 3000).
En cuanto a las simulaciones multiplicadas por un escalar (versiones con el símbolo *), cabe destacar que las técnicas e.agglo y Taylor no varían sus resultados, mientras que las demás técnicas proporcionan muchos más cambios de los existentes, mostrando así que son sensibles a los cambios de escala. Indicar que, aunque el método e.agglo parece ser más preciso que el resto a la hora de identificar dónde se encuentran los cambios de punto, se debe a la segmentación empleada de partida, lo que hace que el método sea sensible a dicha condición inicial. Por otro lado, el método Taylor es mucho más lento computacionalmente que el resto.
Teniendo en cuenta todo lo anterior, podemos concluir que no podemos decantarnos por un único método de cambio de punto que supere en eficiencia al resto. Así que se ha optado por usar uno de ellos especialmente rápido (BinSeg, segmentación binaria), complementándolo con alguna otra técnica como e.agglo, cuando sea necesario, para paliar la sensibilidad a cambios de escala.
33
Capítulo 4: Evaluación de la metodología propuesta ante la presencia de un único cambio de estructura
En este apartado se ha simulado una serie temporal que contempla un único cambio de estructura y se han calculado sus entropías de permutación usando un valor concreto de sus parámetros de la función de entropía considerada.
De esta manera se pretende evaluar cada una de las entropías aplicadas, y a su vez si estas entropías, al contrario que la serie de datos originales, son capaces de representar el cambio estructural que presenta la serie. También se ha variado el parámetro “s” que representa el desplazamiento de la ventana exterior, con el fin de valorar la influencia de las transiciones entre tramos con diferente estructura.
4.1 Detalles de simulación
Para la generación de datos aleatorios se utiliza una semilla concreta para mantener fijos esos valores aleatorios y disponer de simulaciones reproducibles.
La serie simulada constará de dos series pegadas: En la primera se obtienen 5000 datos de una órbita de la función logística 𝑓(𝑥) = 4𝑥(1 − 𝑥), con condición inicial 𝑥0= 0.45. En la segunda se obtienen 5000 datos de una distribución Normal con media = 0.49 y desviación típica=0.36.
𝑥𝑛= 4𝑥(1 − 𝑥), 𝑥1= 0.45 5000 𝑑𝑎𝑡𝑜𝑠 𝑦𝑛= 𝑁(0.49; 0.36) 5000 𝑑𝑎𝑡𝑜𝑠
𝑆𝑒𝑟𝑖𝑒 𝑝𝑒𝑔𝑎𝑑𝑎 = (𝑥𝑛, 𝑦𝑛)
4.2 Resultados y conclusiones
Figura 13. Cambios de punto en datos originales de la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura.
Al intentar detectar mediante los paquetes estadísticos utilizados un cambio de punto en los datos de la serie original (Figura 13), se tiene que no detecta cambio de punto puesto que la media no varía a lo largo de la serie temporal. Por lo tanto, tal y como se mostrará a continuación, es necesario recurrir a las funciones de entropía para hallar ese cambio estructural
34
que se mantiene oculto en esta serie temporal. Para ello, se han empleado los siguientes valores para embedding, tamaño de ventana y solapamientos𝑚 = 4, 𝑘 = 120, 𝑖 = 1, 𝑠 = 1, 10 𝑦 120.
Se han fijado los siguientes parámetros para cada función de entropía:
𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑇𝑠𝑎𝑙𝑙𝑖𝑠: 𝑞𝑇𝑠𝑎𝑙𝑙𝑖𝑠 = 0.5 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑅𝑒𝑛𝑦𝑖: 𝑟𝑅𝑒𝑛𝑦𝑖= 2
𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝐴𝑘𝑖𝑚𝑜𝑡𝑜: 𝑎𝐴𝑘𝑖𝑚𝑜𝑡𝑜 = 0.5 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑀𝑎𝑐ℎ𝑎𝑑𝑜: 𝑎𝑀𝑎𝑐ℎ𝑎𝑑𝑜 = 0.85 𝐸𝑛 𝑙𝑎 𝑒𝑛𝑡𝑟𝑜𝑝í𝑎 𝑑𝑒 𝑊𝑎𝑛𝑔: 𝑞𝑊𝑎𝑛𝑔= 3
A continuación, se mostrarán los resultados a nivel gráfico que han surgido al aplicar las técnicas de cambio de punto en cada una de las entropías, y estas a su vez clasificadas por el parámetro
“s” que refleja el número de posiciones que avanza una ventana con respecto a la anterior (véase Figuras 14, 15 y 16).
Para cada uno de los casos se ha aplicado en primer lugar el método de segmentación binaria (BinSeg) y, en el caso de que no resultara eficiente, se ha recurrido a otro método de cambio de punto de los evaluados en el capítulo 3. En estos casos se va a reflejar ese cambio de punto en la media que se está buscando puesto que ambos tramos presentan una complejidad totalmente diferente.
35 S=1
S=1 sin reescalar
Akimoto sin reescalar Machado sin reescalar
Renyi sin reescalar Shannon sin reescalar
Tsallis sin reescalar Wang sin reescalar
Figura 14a. Resultados para s=1 en la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura para las entropías sin reescalar.
36 S=1 reescaladas
Akimoto reescalado Machado reescalado
Renyi reescalado Shannon reescalado
Tsallis reescalado Wang reescalado
Figura 14b. Resultados para s=1 en la evaluación de la metodología propuesta ante la presencia de un único cambio de estructura para las entropías reescaladas.
37 S=10
S=10 sin reescalar
Akimoto sin reescalar Machado sin reescalar
Renyi sin reescalar Shannon sin reescalar
Tsallis sin reescalar Wang sin reescalar
Figura 15a. Resultados para s=10 en la evaluación de la metodología propuesta ante un único cambio de estructura para las entropías sin reescalar.
