We Rock

Hoy tomé contacto con un clúster académico Rocks, que es una distribución de Linux especialmente preparada para Clusters de computadoras. Es una distribución Fedora->RedHat Enterprise->CentOS.

Tiene un soporte nativo (no de CentOS) para MPI (C/C++) y me cae muy simpática la política de “plugins” llamados Rolls (El famoso Rock & Roll) con funcionalidad adicional a la básica.

También noté que facilita bastante la instalación de un cluster Hadoop, que típicamente no tiene mucho drama con el sistema operativo donde se monta, pero que requiere una instalación por nodo, lo que lleva a utilizar herramientas de gestión de instalaciones, máquinas virtuales, o similares. De este modo, habilita una instalación rápida. Queda investigar detalles tales como que no se pisen las funcionalidades de NFS con las de HDFS.

Anuncios

10 pensamientos en “We Rock

    • ¿Usted se refería a la tilde que le daba un leve tono francés al título del post? Si…. Decidí corregirlo… Muchas gracias!
      Con respecto al hardware, tenga en cuenta que este es un blog en donde creemos que donde hay una necesidad, nace un derecho.
      Por otro lado, en el ámbito académico accedo a un Cluster que puede tener hasta 64 nodos con el freno y la montura… Tendré que hacer los arreglos para el que HDFS corra bien…

      • Ok, lo que de te decía en el comentario anterior ¿Podrás pasar un resumen de qué hiciste y qué pasó? Lo principal es que distingas en Rocks qué file system es propio de cada máquina y qué file system es distrubuido. Hadoop no trabaja sus archivos de almacenamiento en file systems distribuidos. Qué características tienen las máquina? (RAM / File Systems / CPU).

      • Bien ¿Sabés cuál es el file system distribuido del cluster y cuál es el file system propio de cada nodo? En el mensaje anterior te pregunté por esas características. Es para saber si podés o no instalar un cluster Hadoop.

    • No hay una guía particular. Lo que te puedo recomendar es:
      – Tener en claro cómo son los file Systems de Rocks: Hay un file System tipo NFS que apenas ponés algo se replica en todo el cluster y otro file System local de cada nodo. Identificarlos y ver los tamaños.
      – Verificar que el tamaño del file system local de para los archivos de datanode y namenode que se van a almacenar.
      – Definir un nodo master. No hace falta determinar a priori un secondarynamenode.
      – Seguir los pasos de instalación en cluster de Hadoop 2.7.x en un directorio del file system NFS.
      – Configurar los directorios de logs, namenode y datanode en los File System locales.
      – Verificar siempre de utilizar las direcciones completas de los nodos. Por ejemplo quizás el nodo1 se llame “nodo1.redacademicax.com” en los archivos slaves y master.
      – Verificar el acceso passwordless a través de SSH de cualquier nodo.

      Esto es lo que se me ocurre, cuando trabajé con Rocks pude hacerlo con esto, pero no vi una guía concreta….

Deje un comentario

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s