INSTITUTO DE BIOCOMPUTACIÓN Y FÍSICA DE SISTEMAS COMPLEJOS CURSO CLUSTERS & GRID COMPUTING EN ENTORNOS DE SOFTWARE LIBRE.

(1)

INSTITUTO DE BIOCOMPUTACIÓN Y FÍSICA DE SISTEMAS COMPLEJOS CURSO

CLUSTERS & GRID COMPUTING

EN ENTORNOS DE SOFTWARE LIBRE

28, 29 y 30 de Noviembre 2005

http://bifi.unizar.es/clustersygrid

Bienvenida

Alfonso Tarancón Lafita Profesor Secretario del

Instituto de Biocomputación y Física de Sistemas Complejos

(2)

Nuestras líneas de trabajo

(3)

INSTITUTO DE BIOCOMPUTACIÓN Y FÍSICA DE SISTEMAS COMPLEJOS

Clusters & Grid computing en entornos de software libre INSTITUTO DE BIOCOMPUTACIÓN Y FÍSICA DE SISTEMAS COMPLEJOS

Clusters & Grid computing en entornos de software libre

Nuestras líneas de trabajo

(4)

Panorama Nacional y posicionamiento del BIFI

► Red de Centros asociada en la iniciativa IrisGRID

● Clusters de tamaño medio-grande

– BIFI (Zaragoza), IFCA (Santander) ~ 2.5 Teraflop/s

– CESGA (Santiago), CESCA (Barcelona), Ciemat (Madrid)

~ 1.5 Teraflop/s

– Centros de almacenamiento masivo (> 1000 Terabytes)

»

PIC (Barcelona)

»

IFCA (Santander)

»

IFIC (Valencia)

(5)

(6)

CLUSTERS & GRID COMPUTING

28, 29 y 30 de Noviembre 2005

I. Clusters bajo Linux

Isabel Campos Plasencia

Responsable de Proyectos de Computación

(7)

Esquema

► ¿Qué es un cluster Linux?

► Cuáles son los parámetros que lo definen

– Subsistema procesador-memoria – Red de comunicaciones

► Almacenamiento de datos en clusters

► Administración de Clusters

(8)

9 Conjunto de ordenadores conectados a través de la red (Fast-Ethernet, Gigabit-Ethernet, Myrinet, Infiniband ...) 9 Linux como Sistema Operativo

9 Administrativamente y a nivel de usuario se entiende como una ¨única maquina¨

– Uno (o más) nodos interactivos

– Sistema Batch para la gestión de trabajos

– Uno o varios sistemas de ficheros comunes para todas las maquinas (Ejemplo: /usr/local/sys/aplicaciones , /data/output/ , .... son

accesibles desde todas las maquinas de un modo coherente)

¿Qué es un cluster bajo Linux?

(9)

Hardware & Software

Procesador RAM

Subsistema RAM-CPU

Placa Base

Filesystem Drivers

Sistema Operativo Input/Output

Software

Aplicaciones

Módulos

Sistema Usuario

Hardware

Red

(10)

Clusters bajo Linux Configuración modelo

Usuario Administrador

Nodo servidor

Nodo interactivo

Red Cluster

Nodos de computación

(11)

Clusters bajo Linux

Configuración modelo: Red del cluster

Switch

Nodos secuenciales Nodos Paralelos

Switch

Red Interna Red exterior

(12)

Clusters bajo Linux Parámetros generales

Elección del Sistema (Procesador, Memoria, Chipset,...)

– Condicionado al tipo de trabajo que se pretenda ejecutar

◦ Simulaciones Numéricas

◦ Análisis de grandes cantidades de datos

◦ ...

– Benchmark: medir la eficiencia de las aplicaciones típicas (Mflop/s y Mbytes/s) en distintos sistemas

● Decidir cómo interconectamos los nodos

– Switch general para todo el cluster (Gigabit Eth. o Fast Eth.) – Switch específico para el sector paralelo del cluster

» Medir cuales son las necesidades grosso modo de los programas que se planea correr en paralelo

◦ Æ Benchmarking

(13)

El subsistema CPU-RAM

Debe optimizar el tipo de programas para los que se quiere usar el cluster

(mono-procesador o memoria compartida)

9 Frecuencia de la CPU (~ 3 GHz) 9 Cuántas y tipo de Caches L1/L2/L3

9 Cuánta y tipo de Memoria RAM (1-2GB) 9 Frecuencia de transmisión de datos del Bus

del Sistema (ej. 533, 800MHz, 1GHz) 9 Placa base adecuada,...

(14)

El subsistema CPU-RAM

Un Xeon a 3,40GHz tiene un potencial de más de 12GFlop/sg pero en la práctica sólo programas muy optimizados alcanzan entre 3-4 GigaFlop/sg.

CPU RAM

Anchura de Banda

- La velocidad de transmisión de datos de la RAM a

la CPU limita la potencia del procesador

Un bus a 800MHz a 64bits puede transmitir un máximo de 5.4GBytes/sg

(15)

Cómo se mide la Anchura de Banda entre CPU y RAM

#define N …

float A[N],B[N],C[N];

for(iter=0;iter<niter;iter++) for(i=0;i<N;i++)

A[i] = B[i] + C[i] * D[i]

1-3 ns (1K)

2-8 ns (8-128K) 5-12 ns (0.5-8M)

10-60ns (64M-4GB)

RINF Benchmark

(16)

Benchmark RINF

Curva de potencia del P4-3,06 GHz

6 Medidas

• Pico: 3066 MFlop/s

• Memoria: 189MFlop/s

(17)

CLUSTERS & GRID COMPUTING

28, 29 y 30 de Noviembre 2005

Multi-threading,

Simultaneous Multi-threading, Hyperthreading:

el camino hacia el Dual Core

(18)

Single-thread CPU

► El OS carga procesos en RAM: running jobs

► Cada proceso se compone de uno o mas threads

(procesos elementales)

► Cada time slice el OS envia a la CPU el contexto necesario para ejecutar un thread

¾ No puede haber mas de un thread cargado en la CPU

¾ Muchos slots de ejecucion quedan desaprovechados

Creando la ilusión

de la multi tarea

(19)

Single-thread CPU en memoria compartida

► Maquinas con procesadores en modo memoria compartida

pueden ejecutar

mas de un thread

cada time slice

(20)

Super-threaded CPU

► Superthreaded (o

multi-) CPUs pueden contener mas de un thread en cada time slice

► Las unidades de ejecucion pueden ejecutar solo un

thread cada time slice

(21)

Intel SMT: Hyperthreading

► Las unidades de

ejecucion de la CPU

pueden ejecutar dos

threads cada time

slice

(22)

¿Qué implica a nivel de la arquitectura del procesador?

► Hyperthreading (marca Intel)

● Recursos duplicados

» Register renaming logic

» Instruction Pointer

» ^ITLB,...

● Recursos repartidos

» Re-order buffers

» Load/store buffers

» Scheduling queues, uop queue, etc...

● Recursos compartidos

» Caches (!!)

» Execution Units (!!)

» Varios registros

Doble

Doble numero numero de de registros

registros

Cuidado

Cuidado !!! !!!

(23)

¿Cómo se hace el Dual Core?

RAMCPU0

CPU1

L2/L3 Recursos duplicados

►

Register renaming logic

► Instruction Pointer, ITLB,...

►Re-order buffers

► Load/store buffers

► Scheduling queues, uop queue.

► Execution Units

► Caches internas al Procesador (L1)

Recursos compartidos

►

Caches externas (a veces L2 y L3)

(24)

CLUSTERS & GRID COMPUTING

28, 29 y 30 de Noviembre 2005

Redes de Comunicaciones para la

intercomunicación en clusters

(25)

Factores a tener en cuenta en la red interna del cluster

Durante el cálculo necesitan intercambiar datos a través de la red de procesadores que conforma el cluster

¿

Cuánto

y con qué

Frecuencia

necesita el programa comunicar ?

Cantidad Frecuencia

Ancho de Banda Latencia

La respuesta fija

los parametros de la RED

que necesitamos

MB/s

?

(26)

Transmisión de datos en un PC Concepto 1: Bus

¿Qué es un bus?

Conjunto de cables a través de los cuales se conectan todos los componentes internos del PC a la CPU y a la memoria principal

Parámetros que definen el Bus

Anchura: 32-bit, o 64-bit

Frecuencia del Reloj en MHz: Cuántas veces por segundo es capaz de enviar el Bus esos 64-bits

Partes de un Bus

Data Bus: transmite datos

Address Bus: contiene la informacion sobre dónde van esos datos

¿Qué es el Bus Local?

Es un Bus que se usa para datos que requieren una velocidad de transmisión especialmente rápida. El Bus local está directamente conectado al procesador

(27)

El estándar de Bus local: PCI

¾

El bus PCI se introdujo a principios de los ´90

¾ Desarrollado por Intel: 32-bits a 33MHz

¾ Ha desplazado al bus ISA completamente

La versión común para mercado doméstico es el bus PCI-X:

interface de 64-bits a 133 MHz Î velocidad de transmisión de 1 GByte/s

Desarrollado por IBM, HP y Compaq para aumentar la Anchura de banda de dispositivos de Gigabit Ethernet y Fibra Optica

(28)

Interface de transmisión de datos

(29)

Interface de I/O

(30)

De PCI-X a PCI Express

PCI-X es suficiente para el mercado doméstico, pero no para los servidores de I/O profesionales

– Ej: Máquinas Multiprocesador de 64-bits

Ha desarrollado Hypertransport Î Opteron

Desarrolla PCI Express Î Itaniums, Xeons

(31)

Interface de I/O: PCI Express

Slot PCI Express

Xeon EMT64 Bancos de RAM

(32)

Elección de la red del cluster

¿Cuáles son las alternativas?

I. Gigabit Ethernet (1 Gb)

9 Latencias del orden de los 100 microseg.

9 Ancho de Banda en el rango 50-100 MB/s 9 Precio: 150 € /puerto + Switch ( > 5000 €) II. Myrinet 2000 (2 Gb)

9 Latencias entorno a 10 microseg.

9 Ancho de Banda medidos entorno a 300 MB/s

9 Precio: 1200 € por tarjeta + Switch (~ 12,000 / 32 puertos) III. Infiniband (20 Gb + 20 Gb bidireccional)

9 Latencias entorno a 2-3 microseg.

9 Ancho de Banda medido entorno a 1GB/s 9 Precio: ~ 18,000 € / 32 puertos

IV. Soluciones mixtas Hardware/Software

9 GE + ParaStation 4 (software con licencia)

(33)

Proceso de decisión:

Red Myrinet

► Componentes de una red Myrinet (Myrinet 2000)

¾ Cada nodo tiene una tarjeta PCI-X con una o dos conexiones (490MB/s y 900 MB/s respectivamente)

¾ Las tarjetas se conectan con un cable Myrinet (fibra óptica) a un switch multi-puerto (hasta 32 puertos por switch).

¾ Para redes mayores: combinaciones de switches (Myrinet Network in a box)

► Software Myrinet

¾ Detecta la red Myrinet presente de manera automática (no hay que configurar el switch)

¾ GM: software de paso de mensajes de bajo nivel sobre el que funcionan aplicaciones de alto nivel como MPI

► Lo último de Myricom: Myri 10-G

¾ Está conectado a un slot PCI-Express

¾ Las links de conexión son de 10 Gbits

¾ El switch de comunicaciones es un Myrinet-10Gigabit

(34)

Red Myrinet: Fotos

(35)

Ejemplo de Myrinet

Mare Nostrum en el Centro de Computación de

Barcelona: Myrinet 2000

(36)

Ejemplo de Benchmark: Anchura de Banda

en el intercambio de paquetes

(37)

Red Infiniband

Tecnología que trata de dar respuesta a las necesidades de I/O Compartidas en clusters de ordenadores conectados a Storage

Area Networks Î desconectar el I/O al exterior, del resto de

procesos de la máquina

(38)

Arquitectura de Infiniband

(39)

Infiniband

Pentium 4

System Logic

South Bridge

HCA

Switch IB System

Bus

Hub Link

Slot PCI-X

@ 25Gb/s

@ 8Gb/s

4X IB

@ 20Gb/s

Pentium 4

System Logic

South Bridge

HCA

Switch IB

@ 25Gb/s

@ 20Gb/s

4X IB

@ 20Gb/s

Pentium 4

System Logic

I/O Bridge Con HCA

Switch IB

@ 25Gb/s

@ 80 Gb/s

12X IB

@ 60Gb/s PCI

Express

PCI Express

(40)

Integración de Infiniband

(41)

Infiniband: prestaciones

(42)

Infiniband sobre PCI Express

IB PCI-X IB PCI-Express

Myrinet 2000

(43)

CLUSTERS & GRID COMPUTING

28, 29 y 30 de Noviembre 2005

Mecanismos de almacenamiento de datos

en clusters bajo Linux

(44)

Almacenamiento de datos

Ordenador Disco Duro

► ¿Qué hay que almacenar y dónde?

Sistema Operativo y software de sistema (orden MegaB)

¾ Servidor y nodos del cluster

Aplicaciones de trabajo (orden MegaB - GigaB)

¾ Instaladas en el Servidor

¾ Accesibles desde todo el cluster

Escritura de resultados de trabajo (orden GigaB - TeraB)

¾ Globalmente accesible desde todo el cluster

(45)

Almacenamiento de datos

La imagen convencional de un

¨Disco duro¨ como almacén de datos no nos sirve

El problema principal es la escritura masiva de datos

Los ficheros de output tienen que ser globalmente accesibles de modo coherente en todo el cluster

(46)

Almacenamiento: Concepto I

► Sistemas de ficheros locales:

ext2, XFS, NTFS, JFS, ...

„Disco duro“ como almacén de

datos (incluídos los sistemas RAID!)

► Logical Volume Manager (LVM) Facilita el mantenimiento de sistemas de ficheros – Ej:

● Añadir o quitar discos en caliente

● Reparto (stripping) en varios discos

LVM

SISTEMA OPERATIVO

(47)

Almacenamiento: Concepto II

► NFS – Network File System Principio Cliente-Servidor

Clientes NFS

El servidor NFS...

...desde su disco duro Red de

ordenadores

/home /a /b /home

/a /b /home

/a /b

/home /a /b

...“exporta“ el

sistema de ficheros...

(48)

...a los Clientes NFS

El servidor de NFS

...desde su disco duro Red del Cluster

/home

/datos/output /data/protein

/home

...“exporta“

el sistema de ficheros...

/home

Un cluster funcionando con NFS

El servidor del cluster es el servidor NFS El nodo interactivo

y los nodos de computación son los clientes NFS

(49)

NFS a nivel de daemons

Clientes NFS

El servidor NFS

^...

Exporta /home

nfsserver

portmapd daemons Fichero /etc/exports:

/home \

mydomain.unizar.es(rw,no_root_squash,sync)

Fichero /etc/fstab:

servidor:/home /home nfs rsize=8192,wsize=8192,timeo=14,intr

(50)

► Problema básico:

Un servidor haciendo todo el trabajo de input/output se sobrecarga cuando hay muchos nodos ( ¿cuántos son muchos? )

NFS no escala con el número de nodos (solo reparte los recursos)

• ^Solución:

Añadir más servidores para recoger el input/output Con NFS sería penoso gestionar el sistema:

Los datos no se repartirían equitativamente entre los servidores nodo1,..nodo20 Æ ioserver1 ,.... nodo80,....nodo100 Æ ioserver5 Î Hay que distribuir los datos de manera equitativa sobre varios servidores („Sistema de ficheros paralelo“) de modo automático

Esto es sólo el principio de la historia...

(51)

¿Cómo funcionan los sistemas de ficheros paralelos?

En UNIX cada fichero tiene asociado un inode

Estructura que contiene toda la informacion relativa al fichero:

device, permisos, usuario,… localizacion en el disco de los bloques que forman el fichero.

Tamaño defecto del bloque: 512, 1024,… bits

Filesystems como EXT2 escriben todos los bloques de información que contiene un fichero al mismo device: /dev/hda

Los sistemas de ficheros paralelos son capaces de escribir bloques de información de un mismo fichero a diferentes devices:

por ejemplo a varios discos /dev/hda,…

El mayor problema hoy en día en el mundo de los Clusters de alto rendimiento es el de los Sistemas de

Ficheros Paralelos

(52)

► Solución Open Source

PVFS (Parallel Virtual Filesystem) 9 Distribución de datos sobre varios

servers.

9 Uno hace de servidor central (Metadata-Server) que organiza lógicamente donde va a parar cada fichero

Red Cluster

Servidores de input/output: Dataservers PVFS Servidor:

Metadata- Server Nodos del cluster: Clientes PVFS

¿Donde?

El Parallel Virtual Filesystem: PVFS

(53)

PVFS: Componentes

► Servidor Metadata

● Hay una máquina que actúa de servidor del PVFS

● Mantiene la información lógica sobre los ficheros

● Almacenada en una partición (/pvfs-meta de 50MB Æ 1TB de datos)

► Servidores de I/O

● Se pueden usar varias máquinas (optimización)

● Almacenan los datos del PVFS creando ficheros en los sistemas de ficheros locales (ej. Ext2fs)

► Clientes

● Acceden al sistema de ficheros PVFS de forma transparente al usuario

● Contactan con el servidor metadata y los servidores de I/O para operar en ficheros

(54)

PVFS: Flujo de datos

Red Cluster

Lectura Escritura

Nodos del Cluster

Servidores de I/O Servidor Metadata

(55)

PVFS: Estructura y Daemons

/pvfs-meta (50MB)

/pvfs-data

mgr

iod

“mount /pvfs”

pvfsd

Servidores de input-output

Nodos del cluster (clientes)

(56)

PVFS en el BIFI

1.5 TB

9 Espacio scratch global de 1.5TB 9 /pvfs/username para cada usuario

io1,…,io6 Nodos del cluster:

node01,…,node135 (meta)data

PVFS

(57)