SISTEMA NACIONAL DE SÚPER CÓMPUTO
EDUARDO JOSÉ MENDOZA ARMENTA
UNIVERSIDA DE LOS ANDES FACULTAD DE INGENIERÍA
DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y COMPUTACIÓN BOGOTÁ
SISTEMA NACIONAL DE SÚPER CÓMPUTO
EDUARDO JOSÉ MENDOZA ARMENTA
Trabajo de Grado para optar el título de Maestría en Ingeniería de Sistemas y Computación
Director
Dr. Harold Castro Barrera
Ingeniero de Sistemas y Computación Doctor en Informática
UNIVERSIDAD DE LOS ANDES FACULTAD DE INGENIERÍA
DEPARTAMENTO DE INGENIERÍA DE SISTEMAS Y COMPUTACIÓN BOGOTÁ
Bogotá 17/01/2014
Nota de aceptación:
______________________________ ______________________________ ______________________________ ______________________________ ______________________________ ______________________________
______________________________ Firma del jurado
______________________________ Firma del jurado
AGRADECIMIENTOS
A mis padres Hebert Hernán Mendoza Acosta e Hilba Josefa Armenta López, a mi hermano Hebert Alfonso Mendoza Armenta, quienes me han apoyado en todos los proyectos que he emprendido.
A mi novia Iracema Pugliese quien soportó tres años de en la distancia. Al Dr. Harold Castro, por sus asesorías y apoyo constante.
A todos los docentes que transmitieron sus conocimientos a lo largo de la Maestría.
Contenido
INTRODUCCIÓN ... 9
OBJETIVO GENERAL ... 11
OBJETIVOS ESPECÍFICOS ... 12
1. Estrategias de súper cómputo en el contexto internacional y nacional. ... 13
1.1. Súper Clusters. ... 14
1.1.1.PRACE (Partnership for Advanced Computing in Europe) ... 14
Infraestructura ... 15
Servicios ... 15
Acceso... 16
1.1.2.SURF SARA ... 16
Infraestructura ... 16
Servicios ... 16
Acceso... 17
1.1.3.Ventajas y desventajas de los súper clusters. ... 17
Ventajas ... 17
Desventajas ... 17
1.2. Grid Computing o Computación en Grilla. ... 18
1.2.1.XSEDE ... 19
Infraestructura ... 19
Servicios ... 19
Acceso... 20
1.2.2.Ventajas y desventajas de la computación en grilla. ... 20
Ventajas ... 20
Desventaja ... 20
1.2.3.Grid Colombia ... 21
Servicios ... 22
1.3. Science Gateways ... 22
1.3.1.GISELA. ... 23
Infraestructura ... 23
Acceso... 24
1.3.2.Ventajas y desventajas de los Science Gateways. ... 24
Ventajas ... 24
Desventajas ... 24
1.4. Servicios y Herramientas de Puente (Bridging Services and Tools) ... 24
1.4.1.XSEDE bridging services and tools ... 25
1.4.2.Ventajas y desventajas de los Bridging services. ... 25
Ventajas ... 25
Desventajas ... 25
1.5. Resumen de las estrategias utilizadas para hacer súper cómputo en el mundo. ... 26
2. Justificación para implementar un modelo o sistema nacional de súper cómputo. ... 28
2.1. Estado actual del súper cómputo en Latinoamérica y Colombia y las necesidades en las diferentes áreas de investigación. ... 30
Áreas de aplicación más importantes ... 30
Tipo de aplicaciones ... 31
Habilidades ... 31
2.2. Proyectos de investigación en las áreas de aplicación más relevantes en Colombia. ... 32
2.3. Capacidad e Infraestructura HPC ... 32
2.3.1.Centro de Bioinformática y Biología Computacional ... 32
2.3.2.Centro de Supercomputación y Computación Científica de la Universidad Industrial de Santander. ... 33
2.3.3.ZINE, Centro de Servicios Computación de Alto Desempeño de la Universidad Javeriana ... 33
2.3.4.Estructura Computacional de la Universidad Nacional de Colombia con base en Manizales. ... 33
2.3.5.Estructura Computacional de la Universidad Nacional de Colombia con base en Bogotá. ... 34
2.3.6.CECAD, Centro de Computación de Alto Desempeño de la Universidad Distrital. ... 34
2.3.7.CIAT, Centro Internacional para la Agricultura Tropical ... 34
2.3.8.CENICAFE, Centro Nacional de Investigación sobre el Café ... 34
2.3.10. MOX, Centro de Computación de Alto Desempeño de la
Universidad de los Andes ... 35
2.3.11. DSIT, Dirección de Servicios de Información y Tecnología – DSIT 35 3. Modelo del Sistema Nacional de Súper Cómputo ... 36
3.1. Organización ... 38
3.1.1.Representantes de los proveedores... 38
3.1.2.Mesa directiva ... 38
3.1.3.Árbitro ... 38
3.1.4.Proveedor ... 38
3.1.5.Administrador de la infraestructura del proveedor ... 39
3.1.6.Usuarios ... 39
3.2. Forma de acceso ... 40
3.3. Vinculación como proveedor ... 40
3.4. Aplicación Web para el Portal del Sistema Nacional de Súper Cómputo . 41 3.4.1.Requerimientos funcionales de la aplicación web ... 41
3.4.2.Tecnologías utilizadas para el desarrollo y despliegue de la aplicación web 42 3.4.3.Modelo de datos de la aplicación web ... 42
CONCLUSIONES ... 45
APÉNDICE 1 (Infraestructuras) ... 46
1. PRACE ... 46
2. SURF SARA ... 46
3. XSEDE ... 47
APÉNDICE 2 (Proyectos de investigación) ... 50
1. Bioinformática y ciencias de la vida ... 50
2. Petróleo y Carbón ... 51
3. Desastres Naturales ... 51
4. HPC y Súper Cómputo ... 52
APÉNDICE 3 (Flujo de trabajo para solicitar una aplicación en SNS) ... 53
APÉNDICE 4 (Solicitar vinculación como proveedor) ... 64
Figuras
Figura 1 Súper Clúster ... 14
Figura 2 Grid Computing ... 18
Figura 3 Science Gateway ... 23
Figura 4 Bridging Services and Tools ... 25
Figura 5 Áreas de interés ... 30
Figura 6 Tipo de aplicaciones ... 31
Figura 7 Deficiencia de habilidades ... 32
Figura 8 Sistema Nacional de Súper Cómputo ... 37
Figura 9 Modelo Sistema Nacional de Súper Cómputo ... 39
9
INTRODUCCIÓN
A lo largo de toda la historia el hombre ha estado buscando solución a los problemas de la humanidad en diferentes áreas como física, biología, astronomía, entre otras. Para ello se ha basado en el método científico el cual consiste en la observación, medición y experimentación, para luego analizar los resultados obtenidos y validar una hipótesis.
Cada vez son mayores los retos que se plantea la ciencia para tratar de resolver problemas complejos, requiriendo tecnologías que habiliten la obtención y análisis de resultados, dichos resultados son conjuntos de datos que por su magnitud demandan una velocidad de procesamiento sobre un volumen de información imposible de alcanzar por un computador de propósito general.
Alrededor del mundo se han creado comunidades de científicos trabajando conjuntamente para resolver problemas específicos, cada uno de dichos problemas tienen requerimientos particulares de almacenamiento, procesamiento y redes de altas prestaciones. Todo ello en conjunto conforma lo que se ha denominado e-Science, la cual se refiere a la ciencia a gran escala a través de colaboración global habilitada por redes de altas prestaciones. Una característica de este tipo de ciencia, como se ha mencionado anteriormente, es el acceso a grandes colecciones de datos y recursos informáticos de gran desempeño y rendimiento.
Con base en lo expuesto en los párrafos anteriores se entenderá por súper cómputo o súper cómputo a las tecnologías informáticas que permiten compartir, procesar y almacenar datos a gran escala. Para que un recurso sea considerado de súper cómputo debe estar en la escala de Tera a Peta, en la actualidad se está trabajando para llevar la escala al nivel superior denominado Exascale.
Para trabajar el súper cómputo se han implementado varias estrategias para brindar una solución a todos esos requerimientos que demanda la ciencia a gran escala, entre las cuales se encuentra la computación en grilla, los science gateways, los súper clusters, y herramientas que permiten integrarse a una infraestructura de supe cómputo.
Actualmente existen varia iniciativas de súper cómputo basadas en las estrategias mencionadas anteriormente, trabajando en pro de compartir y brindar acceso a los recursos de súper cómputo a las comunidades científicas, algunas de dichas iniciativas funciona muy bien en países donde destinan recursos para la sostenibilidad del proyecto, por otra parte hay iniciativas que mueren al poco tiempo por falta de financiación.
10
En esta investigación se busca plantear un modelo sostenible para compartir recursos de súper cómputo en países como Colombia, donde no se cuenta con recursos suficientes para financiar proyectos o iniciativas de súper cómputo que requieran grandes inversiones para la puesta en marcha y el mantenimiento de la solución.
De igual forma se hace un análisis de algunas iniciativas de súper cómputo tanto globales como nacionales, el estado actual del súper cómputo en Colombia y las necesidades de las diferentes áreas de investigación a nivel nacional.
11
OBJETIVO GENERAL
Plantear un modelo sostenible que brinde a los investigadores nacionales acceso a recursos de cómputo avanzado, tales como aplicaciones, datos e infraestructura a través de la colaboración de universidades e instituciones, permitiendo compartir dichos recursos brindados por las entidades proveedoras.
12
OBJETIVOS ESPECÍFICOS
1. Entender los modelos de prestación de servicios de supercómputo a nivel mundial.
2. Plantear un modelo de prestación de servicios de supercómputo aplicable en el país.
3. Implementar una herramienta que permita la interacción entre los integrantes del modelo planteado.
13
1. Estrategias de súper cómputo en el contexto internacional y nacional.
El súper cómputo hace referencia a las tecnologías que habilitan la solución de problemas complejos o también llamado “grand challenge science”, yendo desde la búsqueda de una vacuna contra el SIDA, hasta la búsqueda de una solución para cerrar el hueco en la capa de ozono o el estudio de cómo será el universo [1]. Dichas tecnologías se encuentran en diferentes campos de la ciencia de la computación, tales como procesamiento, interconectividad, almacenamiento y análisis de datos.
A través de la historia del súper cómputo se ha observado una evolución en la capacidad de procesamiento, almacenamiento y transmisión de datos, pasando por eras que han sido marcadas por el cambio de escala, comenzando por el Cray-1 en 1976 con una capacidad de procesamiento de 100 MFLOPs, el Cray-2 con capacidad de 1.9 GFLOPs en 1985, y en la actualidad súper computadores con capacidades desde los TFLOPs hasta los PFLOPs, siendo el Titan, un sistema Cray XK7, con una capacidad de procesamiento de 17.59 PFLOPs, el que ostenta el título del súper computador más rápido del mundo según el más reciente listado del Top500 [2].
Los primeros súper computadores eran sistemas multiprocesador que compartían memoria, estos llegaron a ser una solución demasiado costosa y a la cual muy pocos podían tener acceso. Luego surgió una alternativa que cambiaría la forma de hacer súper cómputo, dicha alternativa consistió en agrupar bajo un mismo espacio físico, clusters de equipos pequeños pero poderosos interconectados por canales de altas velocidades, esto ofreció capacidad de cómputo comparable a los súper computadores convencionales pero a una fracción del costo [1]. Hoy en día los súper computadores son súper clusters que cada vez son más poderosos y energéticamente eficientes.
Alrededor del mundo se han gestado muchas iniciativas de súper cómputo, algunas implementando estrategias de súper clusters, otras sistemas en grilla, otras Science Gateways para brindar un punto de acceso único a la infraestructura, incluso haciendo uso de infraestructura en la nube para extender las capacidad de infraestructuras limitadas y reducir la inversión en mantenimiento, así como iniciativas de colaboración entre países de Europa y América Latina, dichas iniciativas se entienden como acuerdos entre proveedores de la infraestructura de cómputo avanzado para brindar a los investigadores acceso estas.
A continuación analizaremos los aspectos más relevantes de algunas de dichas iniciativas, de igual forma analizaremos iniciativas que se han gestado a nivel nacional.
14 1.1. Súper Clusters.
El modelo de Súper Clúster se basa en proveedores que poseen grandes infraestructuras capaces de resolver casi cualquier problema de la llamada “grand challenge science”, en este modelo cada proveedor es independiente del otro y tiene total autonomía sobre sus recursos. El investigador que desee utilizar los recursos de Súper Clúster debe entenderse directamente con el propietario de la infraestructura quien estudiará e impondrá las condiciones para la asignación (Ver figura 1).
Una vez la solicitud se aprueba y se asigna el recurso, el investigador deberá acceder a la infraestructura utilizando la cuenta creada en esta y por lo general por medio de ssh.
Hay casos en que los proveedores pueden pertenecer a una entidad que está encargada de estudiar y asignar el recurso, pero, finalmente el investigador termina entendiéndose directamente con el proveedor.
Además de lo mencionado anteriormente, en este modelo no existe ningún tipo de interconexión entre las infraestructuras, por lo tanto no comparten recursos.
FIGURA 1 SÚPER CLÚSTER
1.1.1. PRACE (Partnership for Advanced Computing in Europe)
Se estableció como una asociación internacional sin ánimo de lucro con sede en Bruselas. Tiene 25 países miembro que conforman la infraestructura pan-Europea
15
de súper cómputo, proveyendo acceso a la administración de recursos de cómputo y datos al igual que servicios para la ciencia a gran escala y aplicaciones de ingeniería.
Los sistemas de cómputo y su operación, accesibles a través de PRACE, son proveídos por cuatro miembros (BSC por España, CINECA por Italia, GCS por Alemania y GENCI por Francia), quienes aportaron un total de 400 millones de euros para los sistemas y operación inicial.
Infraestructura
La infraestructura de PRACE está conformada por seis súper computadores independientes el uno del otro, no están interconectados para formar una grilla, sino para dar soporte a los servicios de administración y operación (Apéndice 1). Servicios
La infraestructura distribuida de PRACE es presentada a los usuarios como una sola plataforma de investigación, y solo ofrecen capacidad de cómputo, es decir tiempo de procesamiento en cualquiera de las infraestructuras de los proveedores. Adicionalmente existe una capa de servicios que integra los servicios de los diferentes proveedores, cada uno de dichos servicios está a cargo de un líder que se encarga de las tareas correspondientes. A continuación se listan:
o Servicios de interconexión.
o Servicios de datos.
o Servicios de cómputo.
o Servicios AAA.
o Servicios de usuarios.
o Servicios de monitoreo.
o Servicios genéricos.
La infraestructura de PRACE está disponible para proyectos en las siguientes áreas:
o Ciencias de la vida.
o Ciencias de materiales.
o Ciencias del medio ambiente.
o Física de partículas.
o Astrofísica.
o Física de plasma.
o Matemáticas.
o Ingeniería.
16 Acceso
El acceso para científicos e investigadores académicos y para la industria de todo el mundo se hace a través de formas:
1. Preparatory Access: este acceso se concede para uso de recurso destinado a preparar una propuesta para Project Access. Se puede aplicar en cualquier momento con corte cada tres meses.
2. Project Access: este acceso es orientado a investigadores y grupos de investigación incluyendo grupos internacionales y tiene una duración de un año.
3. Multi-year Access: este acceso está disponible para la mayoría de proyectos Europeos o para infraestructuras que pueden beneficiarse de los recursos de PRACE y para los cuales Project Access no es apropiado.
Multi-year Access y Project Access están sujetos al proceso de revisión por parte de los pares de PRACE, donde las propuestas son evaluadas por Científicos en respuesta a los llamados bianuales.
Para aplicar se deben llenar formularios para cada una de las formas de acceso, y cumplir con algunos requisitos como que el código sea eficiente, altamente escalable y sostenible entre otros [3]. Desde la parte técnica hay manuales de usuario donde se explica cómo se transfieren los datos, como se accede a los recursos asignados, entre otros.
1.1.2. SURF SARA
SARA fue dedicada especialmente a High Performance Computing. Hoy en día, es una organización independiente que brinda a investigadores servicios avanzados y experiencia en áreas como cómputo, almacenamiento, visualización, interconexión, cloud y e-Science.
Infraestructura
La infraestructura que conforma SURF Sara es mixta, por una parte posee proveedores de sistemas de cómputo avanzado, mientras que por otra parte tiene partners con infraestructura en grilla y cloud, brindando de esa forma un abanico de servicios los cuales se mencionan en la siguiente sección (Apéndice 1).
Servicios
SURF Sara brinda varios servicios basados en la infraestructura descrita anteriormente:
o High Performance Computing (adicionalmente ofrece optimización, paralelización y soporte para escalar las aplicaciones).
o Data Services, para lidiar con la gran cantidad de datos generados por los experimentos de la llamada “Big Challenge Science”.
17
o Grid Computing, permite compartir recursos y datos de una forma transparente.
o HPC Cloud, permite a los investigadores configurar su ambiente de ejecución a su gusto, pudiendo escoger el sistema operativo, e instalar las aplicaciones deseadas.
o Soporte y desarrollo de e-Science, brindando a los investigadores, consejos, experiencia y servicios orientados a desarrollar un proyecto exitosamente.
o BeeHub, permite almacenar y compartir datos con espacio de almacenamiento virtualmente ilimitado.
o Visualización.
o High Performance Networking. Acceso
Se solicita la asignación de recursos a través de un formulario web donde se envía información personal, para que recursos se está aplicando e información general del proyecto. Luego de esto la solicitud es evaluada por un comité técnico quien aprobará o no la solicitud.
En el sitio de SURF Sara hay manuales de uso de cada uno de los sistemas que ofrece su infraestructura.
1.1.3. Ventajas y desventajas de los súper clusters. Ventajas
o Decremento en el tiempo de procesamiento, la capacidad de procesamiento se mide en operaciones de punto flotante o FLOPs por sus siglas en inglés. Mientras que los computadores de propósito general tienen una capacidad de cómputo alrededor de 100 GFlop/s, en la actualidad los súper computadores tienen una capacidad de cómputo en la escala de los TFlop/s y los PFlop/s, permitiendo así resolver en segundos u horas problemas que se tomarían días o meses en dichos computadores de propósito general. o Resolver problemas complejos, con el poder de cómputo que ofrecen los
súper computadores es posible plantearse nuevos modelos para resolver problemas cada vez más complejos.
o Debido a la capacidad que prestan los súper computadores es posible resolver problemas utilizando una sola infraestructura localizada en un mismo lugar.
o Pueden ayudar a ahorrar dinero si se mira desde el punto de vista del tiempo que reduce en un proyecto y el impacto que esto tiene sobre los recursos asignados a ese proyecto, tales como personas, espacio, maquinas, etc.
Desventajas
18
o Un súper computador ocupa mucho espacio.
o Podría llegar a ser adecuado para aplicaciones específicas.
o Requiere un equipo dedicado de personal calificado para su operación y mantenimiento.
o Consumo elevado de energía.
1.2. Grid Computing o Computación en Grilla.
La computación en grilla ha emergido como un importante campo, se diferencia de la computación distribuida convencional en que su enfoque es orientado a compartir recursos a gran escala, aplicaciones innovadoras y en algunos casos HPC. Así computación en grilla se define como una tecnología flexible, segura y coordinada para compartir recursos heterogéneos entre una colección dinámica de individuos, instituciones y recursos, llamadas organizaciones virtuales [5].
En este modelo al igual que en el modelo de Súper Clúster los recursos son administrados por cada proveedor pero la diferencia radica en que los recursos están interconectados y son compartidos entre todas las organizaciones virtuales. Así, con sólo el hecho de pertenecer a una organización virtual que esté interconectada con otras se puede tener acceso a los recursos de estas, brindando un solo punto de acceso.
Para poder pertenecer a una organización virtual, el proveedor debe implementar un middleware que permita descubrir y asignar los recursos compartidos.
19 1.2.1. XSEDE
Está orientado a integrar los recursos y servicios digitales avanzados para brindar facilidad de uso y así más investigadores puedan hacer uso de estos. La infraestructura está compuesta por 16 súper computadores y recursos de visualización y análisis de datos a través de todos los Estados Unidos.
Infraestructura
XSEDE está conformada por múltiples instituciones conocidas como Proveedores de Servicios, cada uno contribuye con uno o más servicios. Dichos servicios incluyen recursos como HPC, HTC, visualización, almacenamiento de datos, y gateways (Apéndice 1).
Servicios
XSEDE es una infraestructura que los científicos utilizan para compartir interactivamente, recursos de cómputo, datos y experiencia, los servicios ofrecidos por XSEDE se listan a continuación:
o High Performance Computing.
o High Throughput Computing.
o Visualización.
o Almacenamiento.
o Data Services.
Además de los servicios anteriores XSEDE cuenta con un Science Gateway para investigadores y desarrolladores donde se pueden desarrollar y encontrar aplicaciones en las siguientes áreas:
o Ciencias Astronómicas.
o Ciencias de Atmosféricas.
o Bioquímica y Estructura Molecular.
o Biofísica.
o Astrofísica.
o Química.
o Sistemas de Cómputo y Comunicaciones.
o Ciencias de la Tierra.
o Simulación de Terremotos.
o Tecnologías Emergentes
o Ingeniería de Infraestructura.
o Biología Ambiental.
o Astronomía y Cosmología.
o Geografía.
o Geofísica.
20 Acceso
Las asignaciones en XSEDE proveen acceso a recursos de cómputo, visualización y/o almacenamiento, así como a servicios de soporte brindado por los proveedores de servicios. La asignación del recurso se le da al investigador principal de un proyecto aprobado, a dicho investigador se le crea una cuenta y éste es el método para poder utilizar los recursos asignados. Para hacer una solicitud de asignación de recursos, el investigador debe enviar un escrito que contenga toda la información del proyecto siguiendo un ejemplo que se encuentra en el sitio de XSEDE [4]. Dicha solicitud es revisada por el comité de asignación y son escogidos por mérito.
Una vez la cuenta es creada, el investigador puede ingresar a través del portal de usuario, desde allí puede administrar todos los recursos asignados y hacer solicitud de asignación de nuevas cuotas o recursos.
1.2.2. Ventajas y desventajas de la computación en grilla. Ventajas
o Al igual que los súper clusters ofrecen capacidad de cómputo para resolver problemas complejos en una periodo corto de tiempo.
o Flexibilidad en los recursos que se comparten. La computación en grilla es heterogénea, involucra desde computadores de propósito general, laptops, baúles de datos, teléfonos móviles, pasando por sensores, telescopios, hasta súper computadores.
o Es eficiente ya que se aprovechan los recursos que no están siendo utilizados.
o No hay sobrecostos al momento de escalar, la integración de nuevos recursos es fácil, lo que posibilita que el crecimiento sea rápido.
o Ofrece facilidad de colaboración entre los investigadores por la misma naturaleza de la computación en grilla de compartir los recursos y los datos. o Como se mencionó en el primer enunciado, se puede llegar a tener la capacidad de cómputo de un súper computador a menor costo ya que no se debe adquirir toda la infraestructura de una vez y los costos de mantenimiento y operación son compartidos entre todos los nodos de la grilla.
Desventaja
o Existen varios estándares para la construcción de sistemas de computación en grilla.
o Al estar conformada por recursos heterogéneos causa que las aplicaciones no se adapten a todas las infraestructuras.
o La curva de aprendizaje es alta.
o No se pueden ejecutar trabajos interactivamente, es decir, no se puede escoger en que infraestructura se desean ejecutar los trabajos.
21
o Cada vez que cambia el middleware se deben modificar las aplicaciones. o Aumenta la posibilidad de tener puntos de fallo.
o Depende de una buena interconexión entre los nodos.
o Es necesaria la implementación de un middleware que permita la comunicación entre los diferentes nodos.
1.2.3. Grid Colombia
Grid Colombia es una iniciativa que tiene como objetivo constituir un grid de escala nacional en Colombia que reúna clusters y grids de universidades e instituciones haciendo uso de las redes de tecnología avanzada [7], cada universidad configuró un cluster dedicado para el proyecto.
Actualmente este sistema está conformado por conformada por 24 instituciones agrupadas en 5 nodos a nivel nacional, las instituciones pertenecientes a cada nodo están interconectadas por la correspondiente Red Académica Regional y a su vez los nodos están interconectados a través de RENATA que brinda acceso de 200Mbps desde cada nodo.
A continuación se muestra como está conformada la iniciativa Grid Colombia con su respectiva Red Académica Regional.
Nodo 1: Centro
Politécnico Grancolombiano / RUMBO Pontificia Universidad Javeriana / RUMBO Universidad Antonio Nariño / RUMBO
Universidad Católica de Colombia / RUMBO Universidad de Los Andes / RUMBO
Universidad Distrital Francisco José de Caldas / RUMBO Universidad Nacional de Colombia, Bogotá / RUMBO Nodo 2: Noroccidente
Centro Nacional de Investigaciones de Café, CENICAFÉ / RADAR Universidad Autónoma de Manizales / RADAR
Universidad de Antioquia / RUANA Universidad de Caldas / RADAR Universidad de Medellín / RUANA
Universidad Pontificia Bolivariana de Medellín, UPB / RUANA Universidad Tecnológica de Pereira / RADAR
Nodo 3: Oriente
Universidad Autónoma de Bucaramanga / UNIRED
Universidad Cooperativa de Colombia en Bucaramanga / UNIRED Universidad Industrial de Santander, UIS / UNIRED
22
Centro Internacional de Agricultura Tropical, CIAT / RUAV Universidad Autónoma de Occidente / RUAV
Universidad del Valle / RUAV
Universidad Javeriana de Cali / RUAV Nodo 5: Norte
Universidad Autónoma del Caribe / RUTA Universidad del Atlántico / RUTA
Universidad del Norte / RUTA
Universidad Tecnológica de Bolívar / RUTA Servicios
o Certification Authority (CA)
o Grid User Management System (GUMS)
o Resource Validation System (RSV)
o Virtual Organisations (VOMS)
o GridColombia General - GCVO
o GridColombia Training - GCEDU
o GridColombia BioInformatics - GCBIO
1.3. Science Gateways
Los Science Gateways ofrecen un paradigma de programación que permite acceder a los recursos de una grilla a través de un portal web [6]. Esconde la complejidad y los detalles de la infraestructura, brindando de esa forma un uso transparente de dichos recursos, a la vez que un único punto de acceso a toda la infraestructura.
Los Science Gateways son implementados como sistemas de tres capas, la primera es un front-end para programación visual, análisis de datos, visualización y colaboración, la segunda capa es un middleware basado en web servers y object brokers distribuidos, basados en objetos, escalables y reutilizables y la tercera capa está compuesta por la infraestructura que es una grilla de recursos heterogéneos.
En este modelo el investigador no debe preocuparse por instalar ningún tipo de middleware, el uso de la infraestructura se hace a través de herramientas o aplicaciones que han sido desarrolladas y puestas al servicio de los investigadores en el portal. También se brinda acceso a datos y resultados que son compartidos por la comunidad.
El único requisito es que al investigador se le conceda acceso a través de alguna de las instituciones que pertenecen al science gateway.
23
FIGURA 3 SCIENCE GATEWAY
1.3.1. GISELA.
Está conformada por partners de Europa y América Latina los cuales proveen la infraestructura para crear una grilla interconectada a través de las redes nacionales y regionales tales como CLARA y GÉANT2.
GISELA culminó en el segundo semestre de 2012. Infraestructura
Cada uno de los partners habilita recursos para conectarlos a la grilla a través de las redes nacionales en el caso de Colombia RENATA y estas a su vez se conectan a GISELA a través de las redes internacionales como red CLARA.
Servicios
GISELA provee acceso a la infraestructura a través de un Science Gateway, en dicho Gateway encontramos un catálogo de aplicaciones y a la vez se pueden integrar desarrollos propios. Las aplicaciones y desarrollos que ofrece GISELA se encuentran dentro de las siguientes áreas:
o Ciencias de la vida.
o Ciencias de la tierra.
o Ciencias de la computación y Matemáticas.
o Física de altas energías.
24 Acceso
Se debe hacer un registro a través del portal del Science Gateway, si se pertenece a alguna Federación de Identidad que haga parte de GISELA se debe escoger dicha opción, de lo contrario se debe configurar una contraseña para la cuenta y hacerlo por medio de la Federación de Identidad GrIDP la cual es proveedora de identidades.
Una vez la cuenta sea creada y el ingreso al sistema sea habilitado, se pueden ejecutar las aplicaciones disponibles en el Gateway, para cada una de estas hay manuales de uso.
1.3.2. Ventajas y desventajas de los Science Gateways. Ventajas
o Ofrece los mismos beneficios que la computación en grilla con algunas facilidades adicionales.
o Permiten lanzar y monitorear trabajos interactivamente.
o Las aplicaciones son ejecutadas sin preocuparse por la infraestructura que yace debajo.
o Los desarrolladores solo se preocupan por desarrollar los módulos, sin importar si el middleware cambia.
o Brinda un repositorio de aplicaciones listas para ser ejecutadas. o El acceso es sencillo, a través de usuario y contraseña.
Desventajas
o Requiere de un equipo calificado para el mantenimiento y operación. o Es necesario esfuerzo y costo inicial de implementación.
o Se debe contar con autoridades y entidades certificadoras.
1.4. Servicios y Herramientas de Puente (Bridging Services and Tools)
Algunas veces pasar de clusters locales a clusters nacionales implica ciertos cambios en los ambientes y herramientas de cómputo. Este tipo de iniciativas tienen como objetivo hacer más fácil el manejo de clusters y disminuir la complejidad con la cual los investigadores y estudiantes puedan usar la infraestructura local y nacional.
25
FIGURA 4 BRIDGING SERVICES AND TOOLS
1.4.1. XSEDE bridging services and tools
XSEDE ha lanzado un conjunto de software que habilita a los investigadores y administradores de clusters de campus para construir un cluster básico compatible con la infraestructura de XSEDE. El software que ha creado XSEDE es open source y cuando se construye un cluster utilizando dicho software éste es compatible con las herramientas y capacidades de los súper computadores disponibles en la infraestructura de XSEDE. De igual forma contiene herramientas que permiten mover datos entre el cluster local y la infraestructura de XSEDE sea más fácil. XSEDE lanzará un conjunto de herramientas para que aquellas instituciones que ya tengan construido un cluster puedan integrarse fácilmente a su infraestructura.
1.4.2. Ventajas y desventajas de los Bridging services. Ventajas
o Permite tener en un cluster local un ambiente similar al de los clusters nacionales.
o La facilidad de uso hace que la administración del cluster demande menos tiempo.
o Permite migrar la aplicación de un cluster local a uno nacional.
o Permite transferir los datos desde un almacenamiento local a XSEDE para luego ser analizada en los súper computadores que pertenecen a la infraestructura.
Desventajas
o Requiere de un equipo calificado para el mantenimiento y operación. o Es necesario esfuerzo y costo inicial de implementación.
o Al ser una tecnología nueva la curva de aprendizaje puede ser lenta y costosa.
26
1.5. Resumen de las estrategias utilizadas para hacer súper cómputo en el mundo.
Estrategia Ventajas Desventajas
Super clusters
Decremento del tiempo de procesamiento
Resolver problemas
complejos (Procesamiento paralelo)
Una sola infraestructura Podría ayudar a reducir
costos asociados al proyecto
Costo elevado Espacio físico Mano de obra
especializada para operación y
mantenimiento Consumo de energía
Grid
Computing
Decremento del tiempo de procesamiento
Recursos heterogéneos Eficiencia (se aprovechan
los recursos que no están siendo utilizados)
No es costoso escalar Colaboración entre
investigadores
Igual capacidad que un supercluster a menor costo.
Varios estándares Modificar las
aplicaciones para adaptarlas a la infraestructura
Curva de aprendizaje alta
No se puede escoger la infraestructura en la que se desea trabajar
Algunas aplicaciones no pueden ser
paralelizables Cambios en el
middleware implica cambios a la
aplicación
Depende de buena conexión entre nodos
27 Science
Gateways
Mismos beneficios que grid
Lanzar y monitorear interactivamente No nos preocupa la
infraestructura No importa si el
middleware cambia Aplicaciones listas para
ejecutar
Acceso web a través de usuario y contraseña
Equipo de personas calificadas para operación y mantenimiento Mucho esfuerzo y
costo inicial elevado Autoridades y
entidades certificadoras
Bridging Services and Tools
Permite tener en un cluster local un ambiente similar al de los clusters nacionales.
La facilidad de uso hace que la administración del cluster demande menos tiempo.
Permite migrar la aplicación de un cluster local a uno nacional.
Permite transferir los datos desde un almacenamiento local a XSEDE para luego ser analizada en los súper computadores que
pertenecen a la infraestructura.
Requiere de un equipo calificado
para el
mantenimiento y operación.
Es necesario
esfuerzo y costo
inicial de
implementación. Al ser una tecnología
nueva la curva de aprendizaje puede ser lenta y costosa. Solo sirve para crear
clusters compatibles con XSEDE.
28
2. Justificación para implementar un modelo o sistema nacional de súper cómputo.
En el mundo se observa una tendencia creciente en el uso del súper cómputo para solucionar los problemas complejos que se presentan hoy en día, y para desarrollar las tecnologías del futuro. Un gran número de iniciativas involucran el montaje de súper computadores con capacidades para soportar las necesidades de procesamiento de la mayor parte de proyectos en la actualidad, sin embargo dichas iniciativas resultan ser costosas y en caso de no contar con la financiación suficiente, una iniciativa de esta naturaleza, no podría ser sostenible en el tiempo. La Ciencia e Ingeniería basadas en simulación están teniendo un gran impacto en campos como las ciencias pura y empírica, ciencia orientada a solución de problemas, desarrollos de ingeniería, diseño, predicción, toma de decisiones, y manufactura. Dicho impacto tiene consecuencias en la productividad y economía de los países, es por esto que los gobiernos están mostrando interés en apoyar iniciativas de súper cómputo a nivel global [8].
Uno de los indicadores de desarrollo de un país es la calidad de investigación que se lleve a cabo y los resultados que producto de dichas investigaciones haga a la comunidad mundial.
Según estudios se observa como la Investigación y Desarrollo en Ciencia e Ingeniería Basadas en Simulación está cambiando la forma en que las enfermedades son tratadas, los procedimientos quirúrgicos son perfeccionados, la forma en que los pacientes son rehabilitados, la forma como entendemos el cerebro, la forma en que los materiales son diseñados, desarrollados y usados en todos los sectores de la industria, a recuperar petróleo que no ha sido explotado, al descubrimiento y utilización de nuevas fuentes de energía, y la forma en que se diseñan nuevas tecnologías sostenibles [8].
En todas estas áreas hay muchos ejemplos que serán posibles en la próxima década a través de la aplicación de la Ciencia e Ingeniería Basadas en Simulación y en particular a través de las principales tendencias a nivel mundial:
o Aplicaciones para modelado y simulación intensivas de datos, incluyendo la integración en tiempo real de datos experimentales y producto de la observación, para acelerar descubrimientos.
o La posibilidad de alcanzar visualizaciones a nivel molecular de proteínas y otras partes complejas de la materia utilizando procesadores gráficos, CPUs multicore, y nuevos algoritmos.
o Incrementar la fidelidad de las simulaciones de ingeniería a través de la inclusión de la física y la química.
29
o Las oportunidades que brinda la Peta escala en cuanto a velocidad y capacidad de datos.
En Colombia los investigadores se limitan a hacer sus investigaciones y desarrollos hasta donde los recursos disponibles se los permiten. Para poder ampliar sus posibilidades se podrían aplicar las estrategias que se analizaron en el primer capítulo del presente documento, pero como se pudo observar, dichas estrategias son muy costosas y demandan mucho esfuerzo para su puesta en marcha. Debido a esos costos elevados, son pocas las universidades e instituciones que han podido adquirir infraestructura de súper cómputo pero que no son comparables con las grandes infraestructuras que poseen las universidades e instituciones que lideran el súper cómputo en el mundo, ni llegan a satisfacer todas sus necesidades.
Al no poder cubrir dichas necesidades de alguna forma se está limitando el alcance que los investigadores le puedan dar a sus proyectos y se convierte en una motivación para que nuestros investigadores migren a países donde sí se cuenta con la infraestructura adecuada.
Por lo anterior se quiere plantear un modelo donde esas infraestructuras que ya poseen las universidades e institutos a nivel nacional y que brindan diferentes servicios dependiendo del dominio de las investigaciones en cada una de ellas, y, que al ponerlas al servicio de una comunidad de investigadores se abra un abanico de posibilidades donde dichas infraestructuras puedan ser compartidas por todos los integrantes de un sistema en el que la colaboración, la productividad y el avance en investigación y desarrollo sean los principales objetivos.
Los beneficios de compartir los recursos disponibles por cada una de las universidades e instituciones son muchos, entre ellos los siguientes:
La inversión de cada una de dichas universidades e institutos podría estar orientada a fortalecer la infraestructura que posee, así, si alguna de ellas ofrece servicios de HPC puede hacerse más fuerte en ese tipo de infraestructura, de igual forma las que ofrezcan GPU, Almacenamiento, Virtualización, etc. Esto conlleva a que se pueda llegar a tener un gran poder de cómputo compartido.
Este modelo va en aras de la competitividad no solo de las universidades e instituciones, sino también de la industria del país en comparación con otros países de la región, permitiendo tener resultados de las investigaciones en menores tiempos y de esa forma reducir el tiempo de puesta en el mercado. Brindar la posibilidad de tener acceso a cualquier tipo de servicio de súper cómputo, ya que como se mencionó anteriormente podrían haber universidades e instituciones especializadas en cada uno de los campos del súper cómputo.
30
Realizar investigaciones colaborativamente, de esa forma se podrían formar comunidades interdisciplinarias de investigadores para solucionar problemas complejos.
Disponibilidad de resultados de investigaciones que puedan servir de base o apoyo para futuras investigaciones.
2.1. Estado actual del súper cómputo en Latinoamérica y Colombia y las necesidades en las diferentes áreas de investigación.
El proyecto RISC [9] tiene como objetivo principal profundizar en la estrategia de colaboración entre Europa y Latinoamérica en el campo de la Computación de Altas Prestaciones.
Para brindar un panorama inicial de como es el estado actual del súper cómputo en la región y por ende en Colombia se tomaron los datos más relevantes de los resultados iniciales del proyecto RISC.
Áreas de aplicación más importantes
Las principales áreas de investigación identificadas son en ciencias de la vida y medio ambiente, ingeniería, cambio climático, física, medicina, química y minería (Figura 1 tomada de [10]).
31 Tipo de aplicaciones
Los tipos de aplicaciones son datos intensivos, computación intensiva, modelamiento y simulaciones (Figura 2 tomada de [10]).
FIGURA 6 TIPO DE APLICACIONES
Habilidades
Las tres principales áreas demandadas para poder trabajar con súper cómputo son desarrolladores, programadores en paralelo y programadores de sistemas heterogéneos. Además muchos de los usuarios son científicos que no pertenecen al área de las tecnologías de la información y es necesario que tengan habilidades en súper cómputo. En el estudio se identifican las siguientes falencias, científicos con habilidades en HPC, desarrolladores de aplicaciones científicas, programadores de aplicaciones en paralelo, programadores de sistemas heterogéneos, administradores de sistemas HPC y administradores con experiencia en computación científica (Figura 3 tomada de [10]).
32
FIGURA 7 DEFICIENCIA DE HABILIDADES
2.2. Proyectos de investigación en las áreas de aplicación más relevantes en Colombia.
En Colombia se viene trabajando en diferentes proyectos pertenecientes a las áreas que se consideran cruciales para las políticas de desarrollo comercial del país, tales como son, Bioinformática y Ciencias de la Vida, Petróleo y Carbón, Desastres Naturales, y, HPC y Súper computo(Apéndice 2).
2.3. Capacidad e Infraestructura HPC
En Colombia se han identificado clusters distribuidos geográficamente en ciudades como Bogotá, Cartagena, Medellín, Bucaramanga, Manizales, Cali y Chinchiná. Dichos clusters están localizados principalmente en universidades y ellas proveen servicios a grupos de investigación y compañías, a continuación se describen los más relevantes.
2.3.1. Centro de Bioinformática y Biología Computacional
Es el clúster más grande dedicado a investigación, está localizado en Manizales, Caldas, y provee servicios de procesamiento en los campos de bioinformática y biología a toda Colombia.
El objetivo principal es ofrecer servicios de tecnología para el procesamiento y almacenamiento de datos, desarrollo de software y soporte técnico y científico para compañías, organizaciones públicas, universidades, y centros y grupos de
33
investigación. Actualmente, las siguientes instituciones Colombianas tienen proyectos de investigación relacionados con bioinformática y bilogía computacional, las cuales requieren computación de alto desempeño.
2.3.2. Centro de Supercomputación y Computación Científica de la Universidad Industrial de Santander.
El clúster universitario más grande está localizado en la Universidad Industrial de Santander, en Bucaramanga, el cual se enfoca en el campo del petróleo. El objetivo principal es ofrecer servicios de computación de altas prestaciones, acceso a infraestructura de gran escala, almacenamiento, administración de datos y cálculo científico a grupos y centros de investigación así como a instituciones locales y externas con necesidades de súper cómputo.
GUANE-1 es en este momento la plataforma más importante de súper cómputo de Colombia basada en GPUs. Con 64 GPUs TESLA FERMI M2050, 106 GB RAM/NODO, y 42 procesadores Intel Xeon E5640, GUANE-1 permite tratar 40.1 TFlops en Double y 62.1 TFlops en Single, en 8 nodos de cálculo interconectados por tres redes de alta velocidad (1 Infiniband y 2 Gigabit Ethernet).
QUIMICA:Esta plataforma, está constituida por 16 nodos de cómputo, con procesadores Intel de 3.2 Ghz (4 por nodo).
FICOMACO es una plataforma híbrida compuesta por diferentes nodos, principalmente usada como infrastructura de test.
2.3.3. ZINE, Centro de Servicios Computación de Alto Desempeño de la Universidad Javeriana
Centro de Alto Rendimiento Computacional de la Pontificia Universidad Javeriana es una iniciativa institucional adscrita a la Facultad de Ingeniería y a la Dirección de Tecnologías de Información (DTI), de carácter participativo y encargado de prestar servicios computacionales de alto rendimiento a los diferentes miembros de la Comunidad Educativa que participen en proyectos de investigación o de docencia, cumpliendo con elevados niveles de excelencia en la prestación de servicios computacionales y con vocación investigativa enfocada a dar solución a las problemáticas más relevantes a nivel local y global. Esta iniciativa surge como resultado de las necesidades sentidas de los investigadores javerianos, quienes actualmente no cuentan con esta infraestructura de manera local.
2.3.4. Estructura Computacional de la Universidad Nacional de Colombia con base en Manizales.
La Universidad Nacional de Colombia, sede Manizales, tiene un clúster tipo Beowulf dedicado a la investigación en el campo que concierne a la teoría de
34
procesamiento de señales y reconocimiento de grupo, algoritmos y sistemas para análisis, entendimiento, clasificación y procesos de predicción física basados en señales.
2.3.5. Estructura Computacional de la Universidad Nacional de Colombia con base en Bogotá.
La Universidad Nacional de Colombia, sede Bogotá, tiene un clúster virtualizado, la asignación de recursos se hace a través de una plataforma cloud configurada con OpenNebula, ofrecen máquinas virtuales y aplicaciones en los campos de dinámica molecular, simulación a meso escala, dinámica de fluidos, simulación multi agente y bioinformática. La capacidad de hardware es 20 servidores con ocho núcleos y 32GB de RAM cada uno, conectados por una SAN.
2.3.6. CECAD, Centro de Computación de Alto Desempeño de la Universidad Distrital.
El CECAD es un laboratorio creado por la Universidad Distrital "Francisco José de Caldas", para fomentar el desarrollo de la investigación y transferencia de conocimiento en las áreas de la ingeniería, las ciencias sociales y en general de todas las divisiones de la Universidad que participan en el desarrollo de la comunidad académica, institucional y nacional para el crecimiento de la industria local, regional y nacional, que redunde en el bienestar de la sociedad.
El CECAD es un centro de computación de alto desempeño que potenciará las áreas de investigación de estudiantes de Doctorado, Postgrado y Pregrado en todas las áreas de la ciencia que requieran de una herramienta con alta capacidad de cálculo y de almacenamiento de información.
2.3.7. CIAT, Centro Internacional para la Agricultura Tropical
CIAT tiene su sede principal en Cali, Colombia, con oficinas regionales en Nairobi, Kenya, y Hanoi, Vietnam. Su misión es reducir el hambre y la pobreza, y mejorar la salud humana en los trópicos a través de investigaciones enfocadas en incrementar la eco eficiencia de la agricultura.
2.3.8. CENICAFE, Centro Nacional de Investigación sobre el Café
La investigación está enfocada en bioinformática relacionada con el Proyecto del Genoma del Café, ofrece información acerca de dicho proyecto, desarrollos en bioinformática, entrenamiento en genoma y bioinformática, y búsqueda de secuencias del café.
35
La Sede de Investigación Universitaria, SIU es uno de los centros de investigación científica más importantes de Colombia y Latinoamérica, aquí se desarrolla una intensa actividad de investigación básica y aplicada, de formación de científicos y de extensión productiva y solidaria. Se realizan proyectos que generan conocimiento de impacto científico y social, contribuyendo a mejorar la calidad de vida y las condiciones socio-económicas y ambientales de la región y del país.
2.3.10. MOX, Centro de Computación de Alto Desempeño de la Universidad de los Andes
Actualmente, MOX ofrece servicios en computación de alto desempeño (HPC) como apoyo a las actividades de investigación y docencia. Para responder eficientemente a estas necesidades, MOX está en un proceso de mejoramiento continuo en la plataforma HPC que gestiona. Como resultado de este proceso, se ha puesto en producción una plataforma HPC o clúster que responde a las necesidades de procesamiento requeridas por la facultad.
448 cores de procesamiento. AMD – Opteron - Processor 6282 SE 896 GB en RAM
Disco duro en workspace: 10TB sobre un sistema de archivos distribuido LUSTRE.
Conectividad Ethernet + Infiniband
Capacidad de procesamiento (4TFlops teóricos)
2.3.11. DSIT, Dirección de Servicios de Información y Tecnología – DSIT
La Dirección de Servicios de Información y Tecnología - DSIT, apoya a la academia y a la administración de la Universidad de los Andes al entregar servicios de información con componentes de tecnología, efectivos en el apoyo de los objetivos institucionales y eficientes en la utilización de recursos.
La función primordial de la DSIT es transformar los recursos en servicios que generen valor a los estudiantes, profesores, investigadores, personal de apoyo administrativo y en general, a todos aquellos quienes hacen parte de la Universidad.
Cuenta con 216 procesadores, 21TB de almacenamiento y 50.000 horas de procesamiento por mes.
36
3. Modelo del Sistema Nacional de Súper Cómputo
Luego de analizar los modelos implementados a nivel global e imaginar cómo se comportarían dichos modelos traídos al contexto nacional, se encontró que hay muchos factores que no permitirían su implementación en Colombia, tales como factores económicos, entrenamiento, experiencia en la implementación, entre otros.
Por lo anterior se decidió tomar las mejores prácticas de la implementación de cada uno de los modelos investigados para generar un modelo que se adapte a las posibilidades de las universidades e instituciones del país. Inicialmente en el modelo los recursos que se compartirán serán las aplicaciones que ya se encuentran instaladas en cada una de las infraestructuras.
El Sistema Nacional de Súper Cómputo pretende ser un punto de acceso único para los investigadores hacia todos los recursos ofrecidos por los proveedores. Así un investigador no tendrá la necesidad de entenderse directamente con cada uno de los propietarios de las infraestructuras, sino que a través del SNS puede hacer la solicitud del recurso que desea utilizar y este se encargará de realizar todo lo concerniente para darle acceso al investigador (Figura 7).
La entrada del sistema sería una solicitud y la salida sería una asignación de recurso y el soporte para poder hacer uso de dicho recurso.
El SNS también brindará la posibilidad de vincular nuevos proveedores a través del portal web, de esa forma se facilita el escalamiento de la infraestructura disponible. Cada proveedor es responsable de publicar los recursos que desea compartir así como las guías necesarias para la utilización.
Actualmente para acceder un recurso asignado a través del SNS el investigador debe conectarse a la infraestructura del proveedor utilizando la cuenta creada y utilizando diferentes tecnologías (SSH, VPN), en un futuro lo que se desea es que el investigador pueda hacer uso de los recursos asignados desde el mismo portal.
37
FIGURA 8 SISTEM A NACIONAL DE SÚPER CÓMPUTO
El modelo que se propone se basa en la filosofía de compartir los recursos que poseen los proveedores del Sistema Nacional de Súper Cómputo. Para la implementación del modelo se definieron los siguientes lineamientos
o Facilidad de adopción por parte de los proveedores, esto implica que el modelo debe permitir que un proveedor pueda vincularse al Sistema Nacional de Súper Cómputo con el menor esfuerzo posible.
o Compartir la base instalada de aplicaciones, así los proveedores no tendrían que hacer modificaciones a los ambientes ni instalar aplicaciones o herramientas nuevas.
o Facilitar el acceso a los grupos y centros de investigación, de esta manera se brinda soporte e instrucciones claras y precisas de cómo ejecutar las aplicaciones disponibles en cada una de las infraestructuras de los proveedores.
o No depender de un equipo especializado dedicado al mantenimiento y operación del Sistema Nacional de Súper Cómputo, como cada proveedor dispone del personal encargado de administrar la infraestructura no es necesario contratar o crear un departamento o entidad encargada de la administración de las infraestructuras.
o No incurrir en costos elevados para la puesta en marcha del sistema, al contar con infraestructura que ha sido adquirida por cada uno de los proveedores se evita hacer grandes inversiones en infraestructura, y al compartir dichas infraestructuras que pueden ser de diferentes tipos un investigador puede tener acceso a cualquier servicio que necesite para su investigación.
38 3.1. Organización
El Sistema Nacional de Súper Cómputo estará compuesto por los siguientes cuerpos (Figura 4).
3.1.1. Representantes de los proveedores
Habrá una persona perteneciente a cada uno de los proveedores encardada de representar y tomar decisiones acerca del uso de los recursos compartidos por el proveedor al cual representa. Todos los representantes en conjunto conformarán una mesa encargada de tomar las decisiones más relevantes así como definir políticas de uso del Sistema y serán los encargados de nombrar a las personas que conformen la mesa directiva del Sistema Nacional de Súper Computo.
3.1.2. Mesa directiva
La mesa directiva será nombrada por los representantes de los proveedores, tendrán como función reunirse anualmente para analizar, discutir y definir el enfoque de los proyectos que serán aceptados en el Sistema Nacional de Súper Cómputo, así como los requerimientos mínimos que debe tener un proveedor para poder ser parte de este, dichas decisiones serán comunicadas a los representantes. La mesa directiva designará a una persona que será encargada de tomar la decisión de aceptar o rechazar la vinculación de un nuevo proveedor basada en los requerimientos definidos. La mesa directiva designará a una persona como árbitro.
3.1.3. Árbitro
El árbitro tendrá la función de decidir en cual proveedor se asignará el acceso a una solicitud en el caso de que exista más de una posibilidad de asignación, es decir si en más de un proveedor existe el recurso solicitado y ha sido aprobado por el representante de cada uno de los proveedores de dicho recurso. La decisión de asignación del recurso deberá ser tomada en base a estadísticas de uso de los recursos del proveedor. El árbitro deberá comunicar la decisión al representante del proveedor seleccionado para asignación, así como al administrador de la infraestructura.
3.1.4. Proveedor
Cualquier Institución, Universidad, Centro de investigación, Entidad o Compañía podrá ser parte del Sistema Nacional de Súper Cómputo si cumple con los requerimientos definidos por la mesa directiva.
39
3.1.5. Administrador de la infraestructura del proveedor
Cada proveedor deberá designar a una persona encargada de administrar y monitorear las cuentas creadas para los usuarios del Sistema Nacional de Súper Cómputo en sus infraestructuras. Dicha persona deberá ser instruida para dar celeridad a la creación de cuentas solicitadas a través del Sistema Nacional de Súper Cómputo.
3.1.6. Usuarios
Los usuarios del Sistema Nacional de Súper Cómputo podrán ser personas pertenecientes a cualquier grupo o centro de investigación del país, tendrán prioridad los usuarios pertenecientes a cada uno de los proveedores que hagan parte del Sistema Nacional de Súper Cómputo.
40 3.2. Forma de acceso
Para poder utilizar los recursos disponibles en el Sistema Nacional de Súper Cómputo se deben seguir los siguientes pasos (Apéndice 3).
o Crear una cuenta en el Sistema Nacional de Súper Cómputo. Se enviará un correo para validar que el usuario pertenezca a alguno de los proveedores. Existirá un proveedor catchall para recibir solicitudes de usuarios que no pertenezcan a ninguno de los proveedores, en ese caso tendrá una prioridad menor para la asignación.
o Luego de crear la cuenta el usuario debe ingresar al portal de usuario del Sistema Nacional de Súper Cómputo y diligenciar el formulario de solicitud. o Una vez de registra la solicitud esta le llegará a cada representante del
proveedor donde se encuentre el recurso solicitado. o El representante aprobará o rechazará la solicitud.
o Si el recurso solicitado se encuentra en un solo proveedor del Sistema Nacional de Súper Cómputo y a solicitud fue aprobada por el representante de dicho proveedor la solicitud será dirigida al administrador de la infraestructura para que este cree la cuenta al usuario y asigne el proyecto dentro del portal con la información de acceso. En caso de existir más de un proveedor donde se encuentre el recurso solicitado y haya sido aprobado su uso, la solicitud llegará primero donde el árbitro, quien decidirá basado en estadísticas de uso en cual proveedor se hará la asignación. o Una vez el proyecto sea asignado, el usuario será notificado y podrá
acceder al recurso siguiendo las instrucciones publicadas en el portal del Sistema Nacional de Súper Cómputo junto con la información de la cuenta creada que se encuentra en los detalles del proyecto asignado.
3.3. Vinculación como proveedor
Para vincularse como proveedor se deberá diligenciar el formulario que se encuentra en el portal del Sistema Nacional de Súper Cómputo donde se pedirá información básica del posible proveedor y los datos de las personas que serían el representante y el administrador de la infraestructura (Apéndice 4).
La solicitud llegará a la persona designada por la mesa directiva para decidir la vinculación de un nuevo proveedor, esta persona se basará en los requerimientos definidos por la mesa directiva para aprobar o rechazar la vinculación.
41
Si la vinculación es aprobada se le notificará al representante del proveedor y este deberá ingresar al portal para completar la información del perfil del proveedor y la información de su infraestructura y aplicaciones.
3.4. Aplicación Web para el Portal del Sistema Nacional de Súper Cómputo
Con el fin de facilitar la interacción entre los integrantes del Sistema Nacional de Súper Cómputo y teniendo presente lo lineamientos definidos con anterioridad, se desarrolló una aplicación web que permite a los proveedores hacer una autogestión de su perfil y la información que se publica en el portal concerniente a la infraestructura y aplicaciones, para que luego cualquier usuario pueda hacer una solicitud de alguno de los recursos publicados. El portal además facilita el proceso de asignación de recursos gestionando el flujo de trabajo desde que se realiza una solicitud hasta la creación de la cuenta en la infraestructura asignada.
3.4.1. Requerimientos funcionales de la aplicación web
o La aplicación permite a cualquier usuario la creación de un nuevo proveedor desde el portal web, al momento del registro del nuevo proveedor se crearán dos usuarios que son el representante del proveedor y el administrador del cluster.
o El sistema permite aprobar o rechazar una solicitud de vinculación como proveedor, esto lo puede hacer un usuario con rol de representante del SNS.
o El sistema permite gestionar el perfil y la información de la infraestructura y aplicaciones de un proveedor en específico, esto lo puede hacer un usuario con rol de representante del proveedor.
o El sistema permite crear una cuenta en el Sistema Nacional de Súper Cómputo a usuarios que pertenezcan a alguno de los proveedores, para esto se hace una validación por correo electrónico.
o El sistema tiene la opción de crear cuentas a usuarios que no pertenezcan a ninguno de los proveedores del Sistema Nacional de Súper Cómputo, para esto se tiene un proveedor catchall, estos usuarios tendrán menos prioridad en la asignación.
o El sistema permite a un usuario registrado crear una solicitud de recursos de algunos de los proveedores.
42
o El sistema permite al representante del proveedor aprobar o rechazar una solicitud.
o El sistema permite al representante del SNS tomar la decisión de asignar el recurso en el proveedor que este escoja basado en estadísticas de uso. Esto es en el caso de haber más de un proveedor con el recurso solicitado. o El sistema permite al administrador del cluster crear un proyecto con la
información de la cuenta creada en la infraestructura y asignárselo al usuario que hizo la solicitud.
o El sistema notifica por email al usuario y a la persona responsable de cada tarea a medida que avanza el flujo de trabajo.
o El sistema permite al representante del SNS tener la administración total de la aplicación.
o El sistema permite visualizar el detalle de solicitudes y proyectos asignados a los usuarios y representantes de los proveedores involucrados en la solicitud.
o El sistema permite visualizar el historial de solicitudes y proyectos asignados.
3.4.2. Tecnologías utilizadas para el desarrollo y despliegue de la aplicación web
La aplicación web del Sistema Nacional de Súper Cómputo se desarrolló con la tecnología Ruby on Rails. Inicialmente el despliegue se hizo sobre servidores en Heroku. Se tiene pensado migrar la solución a servidores dentro de la red Renata [11] para tener mayor control sobre la infraestructura y poder brindar mejor servicio en cuanto a conectividad.
3.4.3. Modelo de datos de la aplicación web
Para la solución del Sistema Nacional de Súper Cómputo se definió el siguiente modelo de datos, el cual permite cubrir los requerimientos definidos anteriormente (Figura 5).
43
FIGURA 10 MODELO DE DATOS
Proveedor: El proveedor es la pieza fundamental del modelo, si no existe un proveedor no puede existir ningún otra entidad que dependa de este, el proveedor tiene la información básica como es, nombre, dominio, descripción, dirección, url, imagen.
Infraestructura: Cada proveedor tiene asociada una o más infraestructuras, esta entidad tiene la información concerniente a cada una de dichas infraestructuras tal como el nombre, la descripción, la imagen, y los manuales de uso de esta.
Aplicaciones: Cada proveedor tiene asociada una o más aplicaciones, dichas aplicaciones pueden estar compartidas con otros proveedores por lo que solo se permitirá desasociar una aplicación de un proveedor, eliminarla si solo tiene un proveedor asociado. Esta entidad almacena la información de la aplicación como es, el nombre, descripción, imagen y url del sitio donde se encuentra la descarga y manuales de dicha aplicación.
Categorías: Una aplicación puede pertenecer a una o más categorías, esto es con el fin de filtrar específicamente las aplicaciones deseadas.
Usuarios: Los usuarios están asociados a un proveedor, estos usuarios tendrán diferentes roles dependiendo las funciones que cumplan dentro del Sistema Nacional de Súper Cómputo (Representante del proveedor, Representante del SNS, Usuario investigador, Administrador del cluster). Los usuarios que no estén
44
asociados a un proveedor pertenecerán a un proveedor catchall predefinido y solo podrán tener el rol de Usuario investigador.
Solicitudes: Una solicitud es una relación que se da entre un usuario y una aplicación sobre la cual se manifiesta el interés. Las solicitudes pueden ser creadas por cualquier usuario.
Aprobaciones: Las aprobaciones son las decisiones que toma el representante o representantes de los proveedores sobre la aceptación o rechazo de una solicitud. Proyecto: Una vez una solicitud es aprobada, el administrador del cluster del proveedor donde se asignó la aplicación creará un proyecto con la información de la cuenta creada y dicho proyecto quedara asociado al usuario quien hizo la solicitud y a la aplicación que solicitó.
45
CONCLUSIONES
1. Los modelos de supercómputo implementados a nivel mundial no son aplicables al contexto del país.
2. El Sistema Nacional de Supercómputo es una alternativa viable y sostenible para implementar el modelo de prestación de servicios de computación de alto desempeño en el país.
3. La herramienta desarrollada para aplicar el modelo es adecuada y cumple con las restricciones planteadas por dicho modelo.
4. Compartir es la mejor forma de llegar a ser competitivos.
