Prác%ca de Data Storage:

(1)

Prác%ca de Data Storage:

Jesús Montes

Big Data – Master Universitario en Ingeniería Informá%ca

(2)

Índice

•  _{Máquina
de
prác%cas} •  _Instalación

•  _{Despliegue
de
un
cluster
de
prueba} •  _{Operaciones
ru%narias
en
Riak}

•  _{Reacción
ante
fallos}

(3)

Máquina de prác%cas

•  _{Máquina
virtual
en
formato
Virtual
Box} •  _{GNU/Linux
Ubuntu
13.10}

•  _{Todas
las
dependencias
instaladas} •  _{Hace
más
fácil
la
instalación}

(4)

Instalación

•  _{Guía
de
instalación
oﬁcial}

–  http://docs.basho.com/riak/latest/ops/ building/installing/from-source/

–  http://s3.amazonaws.com/

downloads.basho.com/riak/2.0/2.0.0/ riak-2.0.0.tar.gz

•  _{Recomendable
usar
la
máquina
virtual
de} prác%cas (evitamos problemas de

(5)

Instalación

> tar zxvf riak-2.0.0.tar.gz > cd riak-2.0.0

> make all ...

(6)

Despliegue de un cluster de prueba

•  _{Cluster
“ﬁc%cio”}

– 5 nodos corriendo en la misma máquina

– No es un escenario real, pero nos sirve para hacer pruebas.

•  _{Organización
descentralizada,
sin
SPOF
(como} cualquier cluster Riak)

•  _{Datos
repar%dos
entre
todos
los
nodos,
de} manera transparente (consistent hashing)

(7)

Despliegue de un cluster de prueba

> make devrel DEVNODES=5 ...

(8)

Despliegue de un cluster de prueba

•  _{Dentro
del
subdirectorio
dev
aparecen
5} directorios (dev1-5).

•  _{Cada
directorio
con%ene
una
instalación} independiente de Riak, para que podamos lanzar 5 nodos dis%ntos.

(9)

Despliegue de un cluster de prueba

> dev1/bin/riak start ... > dev2/bin/riak start ... > dev3/bin/riak start ... > dev4/bin/riak start ... > dev5/bin/riak start ...

(10)

Despliegue de un cluster de prueba

•  _{Podemos
comprobar
que
los
nodos
estan} funcionando haciendo “ping”

> dev1/bin/riak ping pong

(11)

Despliegue de un cluster de prueba

•  _{Una
vez
arrancados
los
nodos
hay
que} conectarlos para que formen el cluster •  _{No
es
necesario
poner
en
contacto}

explícitamente a todos los nodos con todos. Con que conozcan a un nodo del cluster ya se “organizan solos”

(12)

Despliegue de un cluster de prueba

> dev2/bin/riak-admin cluster join [email protected] ...

(13)

Despliegue de un cluster de prueba

•  Una vez no%ﬁcados, el plan de creación del cluster está preparado, pero el cluster todavía no ha sido creado. •  Podemos veriﬁcar el plan antes de aprobarlo

> dev1/bin/riak-admin cluster plan ...

•  Si todo está correcto, lo aprobamos

> dev2/bin/riak-admin cluster commit ...

(14)

Operaciones ru%narias en Riak

•  _{Comprobar
el
estado
de
los
miembros
de
un} cluster

> dev1/bin/riak-admin member-status

•  _{Comprobar
el
estado
del
anillo
de
claves}

> dev1/bin/riak-admin ring-status > dev1/bin/riak-admin ringready

(15)

Operaciones ru%narias en Riak

•  _{Riak
ofrece
una
API
HTTP
básica
para} consultar y actualizar datos

– GET para obtener información

– PUT para añadir/modiﬁcar información – DELETE para eliminar información

•  _{Podemos
u%lizar
un
cliente
HTTP
en
línea
de} mandatos, como curl o wget, para realizar las operaciones de manera sencilla

(16)

Operaciones ru%narias en Riak

•  _{Almacenar
pares
clave-‐valor}

> curl –XPUT http://localhost:

10018/buckets/messages/keys/hello -H ‘Content-Type: text/plain’ -d ‘Hello World’

•  Leer pares clave-‐valor

(17)

Operaciones ru%narias en Riak

•  _{Listar
buckets}

> curl http://localhost:10018/ buckets?buckets=true

•  _{Listar
claves
de
un
bucket}

> curl http://localhost:10018/ buckets/messages/keys?keys=true

(18)

Operaciones ru%narias en Riak

•  _{Listar
propiedades
de
un
bucket}

> curl http://localhost:10018/ buckets/messages/props

•  _{Borrar
pares
clave-‐valor}

> curl –XDELETE http://

localhost:10018/buckets/messages/ hello

(19)

Reacción ante fallos

Vamos a observar cómo reacciona Riak ante un fallo en uno de los nodos

1.  Empezamos creando 6 objetos de prueba a par%r de una imagen

> for i in `seq 1 100`; do curl – XPUT http://localhost:10018/buckets/ images/keys/image$i.jpg -H ‘Content-Type: image/jpeg’ –-data-binary

@test.jpg; done ...

(20)

Reacción ante fallos

2.  Comprobamos que los 6 objetos han sido creados

> curl http://localhost:10018/ buckets/images/keys?keys=true

3.  Ahora paramos uno de los nodos > dev3/bin/riak stop

(21)

Reacción ante fallos

¿Qué ocurre?

1.  ¿En qué estado se encuentra el cluster? 2.  ¿Siguen siendo accesibles todos los datos?

(22)

Ejercicio de programación

•  Riak ofrece mul%tud de formas de acceso

–  Pe%ciones HTTP

–  Drivers para Java, Python, Ruby, …

•  Vamos a u%lizar una de ellas para programar una aplicación que use Riak como mecanismo de

almacenamiento de datos.

•  El problema concreto queda a discreción del alumno.

•  El ejercicio se presentará en clase una vez terminado.

(23)

Ejercicio de programación

•  Ejemplo de problema: Aplicación de

almacenamiento de fotos (%po Instagram) •  Requisitos:

–  Diferentes usuarios iden%ﬁcados por nombre. –  Cada usuario podrá almacenar su biblioteca de

imágenes jpeg.

–  Operaciones soportadas:

•  Subir fotos a la biblioteca de un usuario.

•  Listar las fotos de la biblioteca de un usuario.

•  Descargar una foto de la biblioteca de un usuario.

(24)

Ejercicio de programación

•  Consejos generales:

–  Busca una idea sencilla, pero que te interese. –  Elije un lenguaje de programación que domines.

–  Si los dirvers son complicados, siempre puedes usar la API HTTP directamente.

•  Algunas referencias ú%les:

–  docs.basho.com/riak/latest/dev/ using/application-guide/

–  docs.basho.com/riak/latest/dev/ using/libraries/