4. Metodología de Evaluación
5.1. Escenarios experimentales
En esta sección, se delinea el diseño de escenarios experimentales utilizados para validar las hipótesis de trabajo indicado en la Sección 3.2. Todos los escenarios se ejecutan en un entorno simulado controlado cuyos principios de funcionamiento, detalles técnicos y alcance se explicaron en el Capítulo 4. La he- terogeneidad se refleja en escenarios a través de diferentes variables, incluida la capacidad informática de SMD, la composición de las instancias de MVR, el tamaño de los trabajos y las tasas de llegada de trabajos. A continuación, explico el significado y justifico la selección de estos variables, así como, los valores considerados.
La capacidad de computación SMD se refiere al rendimiento que un nodo individual puede entregar. Esto puede ser medido en la forma tradicional, es decir, como una tasa de operaciones de punto flotante reali- zadas por el nodo dentro de un ventana de tiempo, o como una tasa de cantidad de trabajo completado por unidad de energía. Rendimiento de computadoras fijas generalmente está asociado a las características de hardware informático, sin embargo, en el rendimiento de SMD también implica características rela- cionadas con la batería. Desde esta perspectiva, las SMD están equipadas con hardware informático y de batería diferente, como la tableta Acer Iconia Tab A100, la tableta ViewSonic ViewPad 10s y la Samsung I5500 teléfono inteligente, rinde diferentes rendimientos (ver Tabla 3.1). Dadas tales diferencias, estos tres SMD los modelos se seleccionan como representativos de capacidades informáticas heterogéneas para los escenarios diseñados.
Además de las características de hardware, otra fuente de heterogeneidad que caracteriza la capacidad de computación SMD es la interacción del dueño. Como se explicó en el Capítulo 4, los perfiles de interacción del propietario hacen que la informática disponible capacidad para fluctuar en el tiempo y la energía no se debe consumir en las instrucciones de procesamiento de trabajos. Recuerde de la Sección 4.3.1 que se asume que los trabajos externos están programados para usar tanta CPU como disponible en un SMD. Significa que la capacidad de computación de una SMD disponible para ejecutar externa trabajos está sujeto a qué tan intensivamente en términos de CPU el propietario interactúa con el dispositivo. Ver la Sección 4.4.2 para detalles de perfiles de interacción simulados.
Desde la perspectiva de disponibilidad de recursos, la capacidad informática de las SMD se clasifica en dedicada y no dedicado. Un modelo SMD dedicado significa que sus recursos informáticos se emplean exclusivamente para ejecutar trabajos externos. Por el contrario, cuando se trata de recursos informáticos no dedicados (incluida la energía) se comparten para ejecutar trabajos externos y procesos de propietario. Dada la variabilidad de los modelos de SMD que podrían coexistir en una oportunidad de explotación de recursos, otros aspecto presente en el diseño de escenarios es la heterogeneidad de la composición de MVR. Las instancias de MVR definidos para los escenarios experimentales tienen la particularidad de estar compuestos por el mismo número de SMD (100) y capacidad de cálculo agregada similar (ACC). Tal decisión fue hecha para favorecer comparaciones cruzadas de trabajos finalizados entre differentes MVRs. Las instancias de MVR, sin embargo, difieren en la cantidad de cada SMD modelo y total de julios con los que se proporciona elACC. ElACC de un MVR se expresa como la suma de todas las capacidades informáticas individuales de SMD (ICCSM Dmodel), que, a su vez, se define como:
ICCSM Dmodel =M F LOP SSM Dmodel∗DischargeBatteryCycleSM Dmodel (5.1)
donde M F LOP SSM Dmodel denota el punto flotante Mega Operaciones que el modelo SMD puede
realizar por segundo, yDischargeBatteryCycleSM Dmodel el tiempo, suponiendo una batería cargada,
el SMD el modelo dura al 100 % del uso de la CPU. Luego, los valores deICC para los modelos SMD utilizados en los escenarios experimentales son 1.6E6, 0.85E6 y 0.266E6 para Acer Iconia Tab A100, ViewSonic ViewPad 10s y Samsung I5500 respectivamente. Para crear instancias de MVR con ACC
similar compatible con el mismo número de SMD se usa la siguiente ecuación:
ACC = 1,6E6∗X+ 0,85E6∗Y + 0,266E6∗Z±ε (5.2) , dondeX,Y andZson la cantidad resultante de A100, ViewPad 10s e I5500 nodos respectivamente. Al crear instancias de MVR que tengan como objetivo el mismo valor deACCpero con las restricciones de ese número total de nodos, es decir, X+Y +Z, debe ser el mismo yX,Y, Z, deben ser enteros positivos, un erroraparece. Ese error, para las instancias de MVR creadas, es ± 188,000 MFLOP, lo que representa una diferencia de aproximadamente el 0.24 % en capacidad de cómputo. La Tabla 5.1 describe los valores deX,Y andZpara los tres instancias de MVR creadas junto con sus valoresACC
y el número total de Joules.
Además, al evaluar el rendimiento de los planificadores, es natural considerar la heterogeneidad en el conjuntos de trabajos externos. En mis experimentos, la heterogeneidad está presente en los tamaños de trabajo, que se expresan en Millones de operaciones de punto flotante (MFLOP), y en el tiempo cada una llega alproxy.
Con respecto a los tamaños de trabajo, se considera un conjunto de trabajos largos con operaciones en el rango [19,393.65 - 59,180.95] MFLOP, y un conjunto de trabajos cortos con operaciones que varían en el rango [3,232.27 - 9,696.82] MFLOP. Los conjuntos de trabajos largos y cortos se generan mediante valores de tamaño de muestreo a partir de un uniforme continuo. distribución, para asegurar un número
Variable Valor Descripción
Capacidad de Comp. del SMD
Dedicada Sin intereacción del usuario (uso de CPU base del 0 %)
No-dedicada Con interacción del usuario (uso de CPU fluctuando entre 0 %, 30 % y 75 %)
Instancia MVR
MVR1 Combinación de nodos: 10 A100, 64 ViewPad 10s, 26 I5500
ACC: 77.320 TFLOP. Energía: 6,445,008 Joules
MVR2 Combinación de nodos: 20 A100, 41 ViewPad 10s, 39 I5500
ACC: 77.220 TFLOP. Energía: 5,035,752 Joules
MVR3 Combinación de nodos: 30 A100, 18 ViewPad 10s, 52 I5500
ACC: 77.132 TFLOP; Energía: 3,626,496 Joules
Conjunto de trabajos
Cortos 1,910 trabajos con tamaño en el rango [3,232.27 - 9,696.82] MFLOP
Largos 11,608 trabajos con tamaño en el rango [19,393.65 - 59,180.95] MFLOP
Tasa de arrivo de trabajos
150x1010FLOTES Ventana de arribo de trabajos de 50 segundos
12,5x1010FLOTES Ventana de arribo de trabajos de 10 minutos
6,25x1010FLOTES Ventana de arribo de trabajos de 20 minutos
Cuadro 5.1:Variables y valores de los escenarios simulados
equilibrado de trabajo de diferentes tamaños. La base de esta decisión es para garantizar un conjunto de trabajos más heterogéneos que los tamaños de muestreo, por ejemplo, desde una distribución Normal. La cantidad de trabajos largos y cortos en cada conjunto es de 1.910 y 11.608, respectivamente. Estos valores se seleccionan según las instanciasACCde MVR. La idea es superar el MVRACC, para evite alcanzar el cien por ciento de los trabajos finalizados, lo que dificultaría la comparación de los planificadores actuación. Todos los trabajos tienen un tamaño de datos de entrada / salida fijo. La entrada representa los datos y el código que necesitan estar presente en el nodo a cargo de la ejecución de un trabajo, mientras que la salida representa el resultado del trabajo transferido a elproxy. Los tamaños de datos de entrada y salida no representan una variable en los escenarios simulados, y se establecen en 1.024 bytes y 4 bytes, respectivamente, para todos los trabajos. Esos números son razonables para trabajos vinculados a CPU, que es el tipo de aplicaciones específicas de los planificadores propuestos.
En la planificación en línea, también es apropiado considerar el tiempo entre las llegadas de trabajos como una variable, especialmente porque los criterios para distribuir trabajos cambian con la información generada mientras se ejecuta el sistema, por ejemplo, actualizaciones periódicas de la batería enviadas por SMD. Considerando que los trabajos se describen en términos de FLOP, una forma unificada de indicar las llegadas de trabajos, independientemente de la cantidad y el tamaño del conjunto de trabajos, es a través de las operaciones de punto flotante a ser ejecutadas por segundo -Float-point Operations To be Executed per Second (FLOTES)-. El indicador define la tasa de operaciones de punto flotante que el sistema recibe para su ejecución dentro de una ventana de tiempo. Vale la pena aclarar que varios valores de esta variable se estudia sólo para el conjunto de experimentos que validan la hipótesis 3.2 -experimentos de la primera fase-. La razón por la cual esa variable no constituye una variable de interés para validar la hipótesis 3.2 y la hipótesis 3.2 (experimentos de segunda fase) se debe a que dichas hipótesis se refieren a la fase de rebalanceo del enfoque donde se espera que información generada
en tiempo de ejecución ya se encuentre disponible. Más específicamente, en el momento en que se desencadena la fase de rebalanceo, todos los trabajos son espera que ya se distribuyan a los SMDs, varios de ellos podrían haber finalizado y, en consecuencia, se espera que la información actualizada correspondiente esté disponible para el rebalanceo. Los valores de FLOTES utilizados son 150x1010, 12,5x1010y6,25x1010, lo que implica que todos los trabajos, ya sean cortos o largos, llegan dentro de un ventana de tiempo de 50 segundos, 10 minutos y 20 minutos, respectivamente. Para los experimentos del segundo los trabajos de fase llegan a una tasa de150x1010FLOTES. La Tabla 5.1 resume las variables y los valores descritos en esta sección.