Barcelona Supercomputing Center -
Centro Nacional de Supercomputación
3a Jornada de Usuarios de la RES 1 de julio de 2010
Sergi Girona Director Operaciones
Centro Nacional de Supercomputación
•
Misión del BSC-CNS•
Investigar, desarrollar y gestionar la tecnologíapara facilitar el avance de la ciencia
•
Objectivos del BSC-CNS•
I+D en Computer Sciences, Life Sciences y EarthSciences.
•
Soporte de supercomputación para lainvestigación externa al BSC-CNS
•
BSC-CNS es un consorcio que incluye :•
Gobierno de España (MICINN) – 51%•
Generalitat de Catalunña (DIUE) – 37%BSC-CNS: vertebrador del servicio de
supercomputación en España
Magerit
Universidad Politécnica Madrid
Atlante ITC La Palma
IAC
CaesarAugusta Picasso Altamira Tirant MareNostrum BSC !" #!" $!" %!" &!" '!!" '#!" '$!"
#!!%"(#" #!!%"()" #!!%"($" #!!*"('" #!!*"(#" #!!*"()" #!!&"('" #!!&"(#" #!!&"()" #!!+"('" #!!+"(#" #!!+"()" #!'!"('" #!'!"(#"
!"#$%&'&()*(+*,'*-./** (,-./01,2" 3..,202" !" #!!!!" $!!!!" %!!!!" &!!!!" '!!!!" (!!!!" )!!!!" *!!!!" +!!!!" !"#$%&'$&()*+%&$,&#+&-./& -./01"012340501" -./01"610501" -./01"7852501" 90:.1"0;:60<2=05.1"0""%!>!(>$!#!" ,8/2.5."0;:60<"0;0?0"84"@642."
BSC-CNS: vertebrador del servicio de
supercomputación en España
•
Formación•
Usuarios y Administradores de equipos•
Soporte•
Paralelización, escalabilidad y mejora de rendimientoMareNostrum: una mar viva
•
MareNostrum2004•
4812 PowerPC 970 cores•
2406 JS20 2.2 GHz•
10 TB of Memory•
4 GB per node•
270 TB Storage Capacity•
3 networks•
Myrinet•
Gigabit•
10/100 Ethernet•
Operating System•
Linux 2.6 (SuSE)MareNostrum: una mar viva
•
MareNostrum2006•
10240 PowerPC 970 cores•
2560 JS21 2.3 GHz•
20 TB of Memory•
8 GB per node•
480 TB Storage Capacity•
3 networks•
Myrinet•
Gigabit•
10/100 Ethernet•
Operating System•
Linux 2.6 (SuSE)Red Española de Supercomputación
MareNostrum
Processor: 10240 PowerPC 970 2.3 GHz
Memory: 20 TBytes
Disk: 280 + 90 TBytes
Network: Myrinet, Gigabit, 10/100
System: Linux
UPM
Processor: 2408 PowerPC 970 2.2 GHz
Memory: 4.7 TBytes
Disk: 63 + 47 TBytes
Network: Myrinet, Gigabit, 10/100
System: Linux
IAC, UMA, UC, UZ, UV
Process: 512 PowerPC 970 2.2 GHz
Memory: 1 TByte
Disk: 14 + 10 TBytes
Network: Myrinet, Gigabit, 10/100
System: Linux
Gobierno Canarias (ITC)
Process: 336 PowerPC 970 2.3 GHz
Memory: 672 GByte
Disk: 3 TBytes
Network: Myrinet, Gigabit, 10/100
Robot SL8500: HSM / Backup
•
7500 cintas LTO4 de 800 GB cada una ≈ 6 PB nativos•
8 Brazos trabajando en 4 niveles de altura•
23 Unidades lectoras LTO 4•
5 Servidores (Sun Fire v445, 4 CPU UltraSPARC III, 8 GB RAM)Otros sistemas
•
Sistema de memoria compartida•
64 blades•
2 Montecito, dual core 1.6, total 256 cores•
Cache 8 Mbytes•
2.5 Terabyte main memory•
Data BasesMariCel: Prototipo Español en PRACE
MariCel in 2 racks of MareNostrum computer room
IBM QS22 Blade Center
72 QS22 IBM Blade servers PowerXCell 8i 3.2Ghz cpus 864 GB RAM total
1296 cores
12 JS22 IBM Blade servers
Power6 64 bits 4.0 GHz dual core 96 GB RAM total 48 cores 4xDDR InfiniBand (16Gb) MPI, GPFS 4 x 24 ports switch Peak performance
14.4 Tflops from 2 rack units 20 Kwatts
CNAG, Centro Nacional de Análisis Genómico
•
National centre of Genomics analysis•
BSC provides HPC and data IT services to CNAG•
Next generation sequencingAligned results 250-500 GB/run Sequence analysis, Alignment and clustering Raw Data: 1-2TB/run 2 runs/week 10 machines Image processing To generate sequence data Rapid sequencing of whole individuals, Detailed studies of cellular processes
Infraestructura del CNAG
•
1 PB of Storage in 2 Lustre Filesystems:•
/project – 400 TB for sequencing results•
/scratch – 600 TB temporary and intermidiate data•
5 GB/s of performance in reads and writes shared between both filesystemsFC8 MDS1 MDS2 Metadata Storage 48x SAS 450 GB Data Storage 600x SATA 2 TB OSS 1 OSS 2 OSS 3 OSS 4 Journal 4xSSD + 5xHDD 1/ 10 G E SWITCH Compute Cluster - 104 nodes – 832 cores - 8 cores per node -18 GB DDR3 per node - IB QDR non-blocking for MPI
- Performance peak 9TF
Infraestructura en el CNAG
MDS1 MDS2 Metadata Storage Data Storage 1 PB OSS 1 OSS 2 OSS 3 OSS 4 Journal 1/ 10 G E SWITCHCNAG Compute Cluster
18 x 10GE
1 GE link FC8 link 10GE link
10 Sequencers
MareNostrum 6PB Tape Storage
10 x 10GE
Proyectos científicos en la RES
Astronomía, Espacio y Ciencias de la Tierra Biomedicina y Ciencias de la Vida Física e Ingeniería Química y Ciencia y Tecnología de los Materiales BSC 12 17 12 16 21 14 14 11 14 12 14 11 14 18 16 216 20 26 18 18 26 24 20 28 24 22 23 26 29 24 19 347 19 24 17 20 32 29 22 21 32 26 24 21 23 21 25 356 21 27 23 18 33 32 31 26 29 26 22 22 16 23 26 375 14 19 14 14 22 29 17 17 20 17 17 16 16 17 17 258Proyectos de la RES
Red privada RES (a través de RedIris)
Internet
Cabeza Nodo RES Accounting Monitorización rendimiento Sistema de alarmasAdministración Usuarios Centralizada Monitorización de Red
Informes de uso de usuarios Trouble ticket system
INCA: disponibilidad de servicios Perfminer Monitor GPFS Logins Frontend Moab-MC Proceso GPFS-MC Transferencias (SSHFS,gridftp,…) HSM (via NFS from BCN) LAN local (acceso restringido)
Red de la RES
•
Red privada entre los centros de la RES proporcionada por RedIris•
Servicios con requerimientos ancho de banda•
GPFS-MC: Enlace de 1 Gbit mínimo•
Montaje HSM•
Transferencia de ficheros•
Servicios con requerimientos de seguridad•
Monitorización de la red de la RES•
Sistema de autenticación distribuido•
Monitorización de clusters•
Accounting de horas de computación•
Repositorio de software de computación•
Servidores de licencias compartidos para la RESSoporte de proyectos/actividades en la RES
• El nivel de soporte que se da a los proyectos que se ejecutan en la RES es :
• Optimización de Código para los supercomputadores de la RES
• Paralelización y mejora de escalabilidad
• Optimización en procesos de Input/Output
• Porting de códigos ( Arquitectura, GridSuperscalar,...)
• Training de usuarios
• Debugging de códigos (Totalview, Paraver, DDT,...)
• Resolución de problemas técnicos y administrativos .
• Creación de cuentas
• Ayuda en la petición de recursos
• Informes semanales
Soporte de proyectos en la RES
•
A parte de lo comentado anteriormente, existen opciones pararecibir soporte extra :
•
Actividades de test•
Ayudas ICTS•
Visitas al site asignado para soporte in-situ•
Preparación de actividades•
http://www.bsc.es/plantillaA.php?cat_id=66•
Movility program HPC-Europa2Jornadas de Usuarios
•
Presentación de RES, Difusión de investigaciones en diferentes áreas de la Ciencia, Comité de Acceso•
1a Jornada: Barcelona, 23 de abril de 2008•
Speakers: Francisco Javier Luque, Arcadi Navarro, JavierJiménez Sendín, Fernando Martín, Gustavo Yepes, Fernando Moreno Insertis, Francesc Illas, Rubén Pérez, Fernado Javier de la Cruz.
•
2a Jornada: Santander, 23 de setiembre de 2009•
Speakers: Sjors Scheres, Carme Rovira, Assumpta ParreñoGarcía, Francisco Castejón, Marcel Swart, Nuria Lopez, Pablo Fosalba, Enrique Martinez Gonzalez, Ramón Beivide, Joaquin Serrano, Sergi Girona.
Formación de usuarios
•
User Training: Programming models (STARSs)•
Fecha: 20-21 Septiembre de 2010. Lugar: Barcelona•
Fecha: 14-15 Octubre, 2010. Lugar: Tenerife•
Temas•
Introducción y objetivos de GridSs/COMPSs•
Migración de GridSs a COMPSs•
Introducción a STARSsFormación de usuarios
•
Parallel computing•
Fecha: 20 Octubre de 2010•
Lugar: Santander•
Temas:•
Librerías paralelas de I/O (p.e. Parallel-HDF5, PNETCDF)•
Sistemas de ficheros paralelos (GPFS, LUSTRE,…)•
MPI2 centrado en Parallel I/O•
Uso eficiente de sistemas de ficheros paraleloFormación de usuarios
•
Introduction to supercomputing•
Fecha: 4 de noviembre de 2010•
Lugar: Barcelona•
Temas:•
Introducción a la supercomputación•
Optimización de código•
Adaptación de aplicaciones a un entorno paralelo usandoFormación de usuarios
•
Simulaciones paralelas en la red•
Fecha: 10 de noviembre de 2010•
Lugar: Zaragoza•
Temas:•
La discretización del espacio (e incluso del tiempo) permite reducir enormemente los grados de libertad y acelerar las simulaciones. Además una discretización apropiada en problemas donde la interacción es relativamente local, permite paralelizar de forma altamente eficiente.•
Son muchos los problemas donde pasar a trabajar en la red, es posible. Abarcan desde las simulaciones de Dinámica Molecular en Materia Condensada, en péptidos, en proteínas, en docking, etc, las simulaciones Gauge en el Retículo, con y sin ferminoes dinámicos,simulaciones con elementos finitos, o simulaciones de Monte Carlo de sistemas magnéticos, entre otros muchos.
•
En estos modelos las altas eficiencias paralelas se obtienen no solo por la discretización del espacio o el tiempo, sino también por desarrollos de algoritmos numéricos ycomputacionales importantes que se han producido en los últimos años.
•
Speakers:•
Dinámica molecular: Grupo de Ángel Rubio•
Proteínas: Grupo de Modesto Orozco•
Teorías Gauge con Fermiones en la Red: Grupo de Vicente Azcoiti y Grupo de Pilar HernándezSeminarios científicos
•
Proteómica•
Fecha: a determinar•
Lugar: Málaga•
Astrofísica•
Fecha: a determinar•
Lugar: Valencia•
Ciencias de la Tierra•
Fecha: a determinar•
Lugar: BarcelonaSeminarios/Formación técnicos
•
Implementación del enfoque ITIL en la gestión técnica de los servicios de la RES•
Fecha: 18 y 19 de mayo de 2010•
Lugar: Santander•
Temas: Certificación ITIL, ITIL en Centros de Supercomputación,Herramientas básicas, Documentación de ITIL
•
Speakers: Jesús Marco & Ibán Cabrillo (IFCA), Roberto Hidalgo & Carlos SanMartín (CIC-SL), Antonio J. Arévalo Manzano & Miguel A. Sanz (SATEC), Michael Brenner (LRZ), Javier Bartolomé & David Vicente (BSC)
•
Gestión energética y refrigeración de un CPD•
Fecha: 19 y 20 de mayo de 2010•
Lugar: Santander•
Temas: Introducción a la refrigeración de un HPC, Impacto en el coste de losservicios, Código de conducta en CPDs
•
Speakers: Jesús Marco & Fernando Gómez (IFCA), Ángel García (IBM), ÁngelPérez (APC), Celestino Güemes (Mundivia-Atos), Henry Daunet & Miquel Pérez (AST), Iván Gimeno (Rittal), Oscar Higuera & David García (Talleres Hidalgo)
Seminarios/Formación técnicos
•
Gestión de almacenamiento en la RES•
Fecha: 14 de septiembre de 2010•
Lugar: Barcelona•
Temas:•
Descripción del hardware de almacenamiento en la RES.•
Tareas típicas de mantenimiento, herramientas demonitorización, optimización...
•
GPFS: descripción, comandos, cuotas, versiónmulticluster...etc.
Seminarios/Formación técnicos
•
Funcionamiento y aplicación de Perfminer•
Fecha: 15 de septiembre de 2010•
Lugar: Barcelona•
Temas•
Descripción del funcionamiento y aplicación de Perfminerpara recopilar, almacenar y representar datos sobre el rendimiento del sistema.
