Recursos computacionales y servicios

Recursos computacionales y servicios

Grupo ArTeCS

R. Cano, F. Mon, J.M. Rold´an, R. Sampedro, J.C. S´aez

ArTeCS

Contenido

Contenido

Introducci´

on

Objetivos

1 Presentar los recursos computacionales del grupo

2 Describir las novedades incorporadas en los servicios de ArTeCS 3 Introducir nuevos servicios y el sistema de reserva de m´aquinas 4 Dar algunas pautas acerca del uso de los servicios

Disclaimer

En la presentaci´on hemos omitido muchos detalles t´ecnicos ⇒ Pod´eis encontrarlos en la Wiki de ArTeCS

Equipo de t´

ecnicos

Roberto Cano<_{rcanofer@ucm.es}> Jos´e Manuel Rold´an<_{jomrolda@ucm.es}> A tiempo parcial:

Federico Mon<_fmon@ucm.es> Ra´ul Sampedro<_{raulsamp@ucm.es}>

Datos de contacto

Email: tecnicos.artecs@fis.ucm.es Tfno.: Ext. 4389

Contenido

Infraestructura

2 clusters: etna y leviatan 9 servidores de prop´osito general

6 con arquitectura x86

Intel Atom, AMD Opteron Barcelona, Intel Sandy Bridge, . . .

2 servidores POWER: IBM Power7 710 e IBM Power5 1 Sun UltraSParc T2000 (Niagara)

5 servidores con GPUs y coprocesadores GPUs NVIDIA (Tesla, Fermi y K20) MIC: Coprocesador Intel Xeon Phi 4 servidores de virtualizaci´on

2 servidores destorage 1 m´aquina de cintas

Cluster etna

Realmente,el nuevo etna

Acceso a trav´es deetnafw.dacya.ucm.es

Nodos del cluster

1frontend virtual

Maestro del Grid Engine

Alberga tambi´en los servicios de red necesarios para el cl´uster 7 nodos con CPUs AMD Opteron 6272 @2.1GHz “Interlagos” 3 nodos con CPUs Intel Xeon E5@2.6GHz “Sandy Bridge”

Cluster etna

Cluster leviatan

Acceso a trav´es deleviatan.dacya.ucm.es

Nodos del cluster

1frontend f´ısico

Maestro del Grid Engine

Servicios de red necesarios para el funcionamiento del resto de nodos

2 nodos con CPUs Intel Xeon X5670 “Westmere” @2.93GHz 1 nodo Intel Xeon X5355 “Clovertown” @2.66GHz

2 nodos AMD Opteron 6172 “Magnycours” @2.1GHz

Cluster leviatan

Contenido

Wiki

WIKI: wiki.dacya.ucm.es

Hasta el momento, usada principalmente para almacenar documentaci´on t´ecnica

Informaci´on p´ublica:

Servicios

Manuales de uso y configuraci´on

Informaci´on privada para t´ecnicos:

Gu´ıas de instalaci´on de nodos, gesti´on de LDAP, informaci´on de seguridad

Novedades

1 Actualizada, mejorada y reorganizada 2 Incluida informaci´on exhaustiva acerca de:

M´aquinas y recursos hardware Recursos software

Wiki

Wiki: Infraestructura (I)

Wiki: Infraestructura (II)

Wiki: Diagramas (I)

Laboratorio 220.c (sala servidores CC F´ısicas)

Wiki: Diagramas (II)

Estructura sala servidores FdI

Estructura de la Wiki

Artecs: Esta carpeta contiene todos los art´ıculos de inter´es para los miembros del grupo. Se divide en tres sub-grupos:

Hardware: Contiene todas las especificaciones de las m´aquinas del grupo.

Servicios: Contiene una descripci´on de todos los servicios que ofrece el grupo de cara a los usuarios.

Software: Contiene una descripci´on de uso de software que es de especial utilidad para los usuarios del grupo.

Sistema de tickets

Sistema de tickets: tickets.dacya.ucm.es

Incidencias (I)

Gesti´on de incidencias

Utilizar SIEMPRE el sistema de tickets para abrir incidencias y realizar su seguimiento

Para realizar otras consultas puntuales ponerse en contacto con los t´ecnicos por mail o por tel´efono

Importancia de uso del sistema de tickets

1 Al abrir una incidencia, ´esta se env´ıa inmediatamente a los t´ecnicos y al responsable de los t´ecnicos

Por cada incidencia⇒hilo de discusi´on

2 En el sistema queda constancia de la fecha de apertura de la incidencia y del estado

3 Mecanismo de gesti´on m´as eficaz que el correo electr´onico

Incidencias (II)

Prioridad incidencias

1 Mantener funcionando los servicios cr´ıticos del grupo (LDAP, clusters, storage, . . . )

2 Tareas especiales orientadas a preparar los resultados para un art´ıculo con deadline pr´oximo

3 Mantener funcionando el resto de servicios

4 Otras tareas (instalar m´aquinas nuevas, tareas internas,. . . )

Web de ArTeCS

Web de ArTeCS: artecs.dacya.ucm.es

Web de ArTeCS

Historia del grupo ´

Areas de investigaci´on Hist´orico de Artecs News Documentos de inter´es Presentaciones de seminarios Listado de papers

Listado de miembros del grupo

Fusion forge

Fusion forge: source.dacya.ucm.es

Fusion forge

Sistema de gesti´on de proyectos Caracter´ısticas:

Control de versiones: subversion, git y CVS Foro

Listas de correo Tareas

Control de documentaci´on Noticias

Todo usuario de ArTeCS puede crear proyectos

Los proyectos requieren aprobaci´on por parte de los t´ecnicos

GoSa

GoSa: ldapvm.dacya.ucm.es

Frontend para el servidor LDAP

Interfaz simple donde los usuarios pueden cambiar: Contrase˜na LDAP

Algunos de los datos que figuran sobre ellos en la Web de ArTeCS Recursos computacionales y servicios – Servicios ArTeCS 27/56

Avisos generales

Existe una lista de correo de la UCM para env´ıo de notificaciones de inter´es general para todos los miembros de ArTeCS

Responsables de la lista: t´ecnicos, IPs, responsable(s) de t´ecnicos, secretaria

A la lista s´olo pueden mandar los responsables

Para a˜nadir a m´as personas → contactar con los t´ecnicos

Contenido

Cluster de GPUs

GPUs desperdigadas por varios servidores en distintas ubicaciones Distintas versiones de GCC y CUDA en cada servidor

Arbitraje en el acceso a los servidores

Propuesta

Agrupaci´on de todos los servidores con GPUs en un cluster Frontend con sistema de colas

Nueva web de ArTeCS

1 Vulnerabilidades en MV e imposibilidad de actualizaci´on Versi´on antigua del CMS (Drupal 6)

2 Perfiles de usuario poco flexibles (informaci´on personal)

Nueva web

Soporte para p´aginas personales

Beneficiarse de las nuevas caracter´ısticas de la ´ultima versi´on del CMS

M´

aquinas virtuales Windows

Slots disponibles en nuevo servidor de virtualizaci´on

M´aquinas virtuales Windows para uso compartido

Conexi´on por escritorio remoto Software:

Labs FDI (docencia)→Ej: Xilinx, ORCAD,. . .

Otras herramientas con grandes requisitos de memoria/CPU

Contenido

Sistema de reservas: Motivaci´

on (I)

Gesti´on de servidores que no pertenecen a ning´un cluster Se incluyen nodos del cluster de uso espec´ıfico

La lista de servidores que pueden reservarse esta disponible en la Wiki

Uso de estos servidores:

Exploraci´on de caracter´ısticas de la arquitectura Medidas de temperatura/consumo

Modificaciones en el software de sistema

Sistema de reservas: Motivaci´

on (II)

Acceso como administrador Reinicio frecuente de la m´aquina Evitar interferencia en medidas

Necesario un mecanismo de gesti´on de acceso alternativo que permita:

1 Saber qui´en usa cada servidor en cada instante 2 Varios usuarios puedan compartir un servidor

3 Un usuario pueda hacer uso exclusivo del servidor durante un cierto tiempo

4 Evitar que los t´ecnicos act´uen de intermediarios en el proceso

Sistema de reservas

Miembros de la UCM:⇒https://correo.ucm.es

Otros miembros de ArTeCS⇒http://www.google.com/calendar Existe un calendario de reservas por cada servidor

Solicitud de acceso a cada calendario⇒ ticket

Sistema de reservas: Normas

Resumen de normas

1 Hay dos tipos de reserva

Exclusiva: solo un usuario en la m´aquina No exclusiva: Varios usuarios conectados

2 Antes de poder entrar en la m´aquina se DEBE reservar Evento en el calendario⇒“Nombre Usuario (TipoReserva)” 3 No se puede reservar indefinidamente

Se reservar´a por intervalos de tiempo≤3 d´ıas seguidos 4 Acabada la reserva, se debe dejar de usar la m´aquina

Contenido

Sistema de backup

Motivaci´on

No a la p´erdida de datos importantes

Objetivos

Facilidad de uso

Sistema discreto y no intrusivo Fiabilidad

Seguridad Multiplataforma

Premisas

Aprovechamiento de los recursos Software Libre

Alternativas probadas

FreeNAS

Debian/kFreeBSD GNU/Linux con ZFS

Programas de sincronizaci´on de ficheros Unison

Bittorrent Sync

Esquema

Storage

M´aquina de cintas

Soluci´

on

Frontend

M´aquina virtual GNU/Linux

Owncloud: Sistema de sincronizaci´on de archivos

Backend

Storage RAID 6

OpenIndiana: Sistema operativo basado en Solaris ZFS: Sistema de ficheros con soporte para snapshots Cintas

Bacula

Detalles de la soluci´

on

1 Los ficheros de nuestro ordenador se sincronizan con ownCloud 2 El sistema de ficheros de ownCloud est´a montado por NFS desde

el storage

3 En el storage se realizan snapshots de ZFS estilo Time Machine 4 Se pasa peri´odicamente a cintas ubicadas en otro edificio en caso

de desastre

ownCloud

ownCloud es un sistema de backup/sincronizaci´on de archivos libre similar a Dropbox o Google Drive

Acceso: https://cloud.dacya.ucm.es Interfaz web.

Clientes: https://owncloud.org/sync-clients para Mac, Linux y Windows.

Compartici´onde archivos y carpetas.

Demo

Demo

Demo

Demo

Demo

Demo

Demo

Demo

Demo

Demo

Demo

Preguntas/Sugerencias