Monitoreo de Hadoop


Descripción general

Hadoop es un marco de software de código abierto diseñado para el almacenamiento distribuido y el procesamiento distribuido de big data (conjuntos de datos muy grandes). La arquitectura principal de Hadoop consiste principalmente en una parte de almacenamiento y una parte de procesamiento. Hadoop divide los archivos en grandes bloques y los distribuye entre los nodos del clúster. La parte del procesador de Hadoop transfiere tareas a los nodos para su procesamiento en paralelo, aprovechando así la ubicación de los datos (los nodos que manipulan los datos que tienen a mano), para un procesamiento más rápido y eficiente.

El Hadoop Monitor de Applications Manager proporciona monitoreo para ambas versiones de Hadoop, es decir, Hadoop 1.xy Hadoop 2.xy lo ayuda a mantener el estado general de su clúster Hadoop distribuido, asegura su disponibilidad y procesa las tareas de manera más rápida y precisa.

Creando un nuevo monitor Hadoop

Requisitos previos para monitorear las métricas de Hadoop: Haga clic aquí

Usando la API REST para agregar un nuevo monitor Hadoop: Haga clic aquí

Para crear un monitor Hadoop, siga los pasos que se indican a continuación:

  1. Haga clic en el enlace New Monitor y seleccione Hadoop en Services .
  2. Ingrese un Nombre para mostrar para el monitor.
  3. Elija el modo de monitoreo . (API REST o JMX)

Para el modo de API REST :

  1. Especifique la versión de Hadoop que se supervisará.
  2. Especifique el host del NameNode .
  3. Especifique el puerto web del NameNode.
  4. Elija o NO para asegurarse de que SSL esté habilitado o no.
  5. Seleccione el tipo de autenticación . Si selecciona Autenticación simple , especifique un nombre de usuario .
  6. Especifique el nombre del host de ResourceManager.
  7. Especifique el nombre del puerto web ResourceManager.
  8. Nuevamente, elija o NO para asegurarse de que SSL esté habilitado o no.
  9. Nuevamente, seleccione el tipo de autenticación . Si selecciona Autenticación simple , especifique un nombre de usuario .
  10. Especifique una duración para el intervalo de sondeo .
  11. Elija el grupo de monitores del cuadro combinado al que desea asociar el monitor (opcional). Puede elegir varios grupos para asociar su monitor.
  12. Haga clic en Agregar monitor (es) . Esto descubre el Monitor de la red y comienza a monitorearlos.

Para el modo JMX :

  1. Especifique la versión de Hadoop que se supervisará.
  2. Especifique el host del NameNode.
  3. Especifique el puerto JMX del NameNode.
  4. Ingrese un nombre de usuario y contraseña .
  5. Ingrese un JNDIPath para el NameNode .
  6. Especifique el nombre del host de ResourceManager.
  7. Especifique el nombre del puerto JMX de ResourceManager.
  8. Ingrese un nombre de usuario y establezca una contraseña .
  9. Establezca un ResourceManager JNDIPath .
  10. Establezca la duración del intervalo de sondeo .
  11. Elija el grupo de monitores del cuadro combinado al que desea asociar el monitor (opcional). Puede elegir varios grupos para asociar su monitor.
  12. Haga clic en Agregar monitor (es) . Esto descubre el Monitor de la red y comienza a monitorearlos.
  13. Nota:
    En caso de que no pueda agregar el monitor incluso después de habilitar JMX, intente proporcionar el siguiente argumento:
     -Djava.rmi.server.hostname = [YOUR_IP]

Servidor Hadoop: parámetros supervisados

Vaya a la  Vista de categorías de monitores  haciendo clic en la   pestaña Monitores . Haga clic en  Hadoop  debajo de la  tabla Servicios  . Se muestra la vista de configuración masiva de Hadoop distribuida en tres pestañas:

  •  Ficha Disponibilidad , proporciona el historial de disponibilidad de las últimas 24 horas o 30 días.
  • La  pestaña Rendimiento muestra el estado de salud y los eventos de las últimas 24 horas o 30 días.
  • La vista de lista le  permite realizar  configuraciones de administración masivas .

Haga clic en el nombre del monitor para ver todos los detalles del servidor enumerados en las siguientes pestañas.

Versión 1.x de Hadoop Versión 2.x de Hadoop

Hadoop 1.x

Descripción general:

MODO SEGURO  

Estado del modo seguro

Estado del modo seguro

Valores posibles:

-Operacional

-Modo seguro

DFS  
Capacidad total de DFS (en GB) Capacidad total del HDFS.
Espacio utilizado no DFS (en GB) Memoria usada del HDFS que no se hace usando comandos DFS.
Espacio utilizado de DFS (en GB) Memoria utilizada del HDFS que se realiza mediante comandos DFS.
DFS utilizado (en%) Porcentaje de memoria HDFS utilizada. 
Espacio libre DFS (en GB) Memoria libre del HDFS.
Libre de DFS (en%) Porcentaje de memoria libre en HDFS.
BLOQUES  
Capacidad de bloque Capacidad total de bloques de Hadoop.
Bloques totales Número total de bloques en Hadoop.
Bloques faltantes Número de bloques faltantes en Hadoop.
Bloques corruptos Número de bloques corruptos en Hadoop.
Bloques en exceso Número de bloques en exceso en Hadoop.
Bloques subreplicados Número de bloques menos replicados en Hadoop.
Bloques de eliminación pendientes Número de bloques de eliminación pendientes en Hadoop.
Bloques de replicación pendientes Número de bloques de replicación pendientes en Hadoop.
ARCHIVOS  
Total de archivos y directorios Número total de archivos y directorios en HDFS.
Archivos y directorios creados por segundo Número de archivos y directorios creados por segundo.
CARGA  
Carga total Carga total sobre el servicio Hadoop.

HDFS:

NameNode JVM  
Memoria no dinámica comprometida Total de memoria no dinámica comprometida para su uso actual.
Memoria no montón utilizada Memoria no dinámica utilizada actualmente. 
Memoria de montón comprometida Memoria de montón total comprometida para su uso actual.
Memoria de montón usada Memoria de montón utilizada actualmente. 
SO de Namenode  
Memoria física total (en GB)  RAM total de namenode.
Memoria física libre (en GB) RAM libre de namenode.
Espacio de intercambio total (en GB) Espacio de intercambio total disponible en el sistema operativo namenode.
Espacio de intercambio gratuito (en GB) Espacio de intercambio libre disponible en el sistema operativo namenode.
Recuento máximo de descriptores de archivos Capacidad total del descriptor de archivos.
Recuento de descriptores de archivos abiertos Número de descriptor de archivo en estado abierto.
Carga promedio del sistema Carga promedio en el sistema operativo de namenode.
DataNodes  
Nombre del nodo Nombre del nodo de datos
Expresar Estado actual del nodo de nombre:
  • Vivir
  • Muerto
  • Desmantelado
Espacio utilizado (en GB) Espacio utilizado en HDFS.

Mapa reducido:

Resumen del rastreador  
Total TaskTracker Número total de rastreadores de tareas.
Rastreador de tareas vivo Número de rastreadores de tareas en estado vivo.
TaskTracker en lista negra Número de rastreadores de tareas en estado de lista negra.
TaskTracker en lista gris Número de rastreadores de tareas en estado de lista gris.
Número total de trabajos Número total de trabajos ejecutados en mapreduce.
Resumen de ranuras  
Ranuras de mapa totales Capacidad total de espacios de mapas en mapreduce.
Ranuras de mapa usadas Número de espacios de mapa utilizados actualmente.
Ranuras de reducción total Reducir total la capacidad de las ranuras en mapreduce.
Usado Reducir ranuras Número de ranuras reducidas utilizadas actualmente.
TaskTrackers  
Nombre de TaskTracker Nombre del rastreador de tareas
Expresar Estado actual del rastreador de tareas:
  • Viva
  • En la lista negra
  • Incluido en la lista gris
  • Muerto
Salud Estado de salud actual del rastreador de tareas:
  • OK
  • <mensaje de error de salud>
Recuento de fallos Número de fallas en el rastreador de tareas.
Cola  
Nombre de la cola Nombre de la cola.
Expresar Estado actual de la cola.
Info Cualquier información de error que se arroje desde la cola. 

Trabajo:

Resumen de trabajos

 
Trabajos enviados Número de trabajos en el estado enviado.
Preparación de trabajos Número de trabajos en estado de preparación.
Trabajos en ejecución Número de trabajos en estado de ejecución.
Trabajos fallidos Número de trabajos en estado fallido.
Trabajos muertos Número de trabajos en el estado muerto.
Trabajos completados Número de trabajos en estado finalizado.
Porcentaje completado (en%) Porcentaje de trabajos completados.
Porcentaje de muertos (en%) Porcentaje de trabajos muertos.
Porcentaje fallido (en%) Porcentaje de trabajos fallidos.
Estadísticas de trabajos (en el último intervalo de pillong)  
Recuento de trabajos enviados Número de trabajos enviados en el último intervalo de sondeo.
Recuento de trabajos fallidos Número de trabajos fallidos en el último intervalo de sondeo.
Los trabajos muertos cuentan Número de trabajos muertos en el último intervalo de sondeo.
Recuento de trabajos completados Número de trabajos completados en el último intervalo de sondeo.

Hadoop 2.x

Descripción general:

MODO SEGURO  

Estado del modo seguro

Estado del modo seguro

Valores posibles:

-Operacional

-Modo seguro
DFS  
Capacidad total de DFS (en GB) Capacidad total del HDFS.
Espacio utilizado no DFS (en GB) Memoria usada del HDFS que no se hace usando comandos DFS.
Espacio utilizado de DFS (en GB) Memoria utilizada del HDFS que se realiza mediante comandos DFS.
DFS utilizado (en%) Porcentaje de memoria HDFS utilizada. 
Espacio libre DFS (en GB)

Memoria libre del HDFS.

Libre de DFS (en%) Porcentaje de memoria libre en HDFS.
BLOQUES  
Capacidad de bloque Capacidad total de bloques de Hadoop.
Bloques totales Número total de bloques en Hadoop.
Bloques faltantes Número de bloques faltantes en Hadoop.
Bloques corruptos Número de bloques corruptos en Hadoop.
Bloques en exceso Número de bloques en exceso en Hadoop.
Bloques subreplicados Número de bloques menos replicados en Hadoop.
Bloques de eliminación pendientes Número de bloques de eliminación pendientes en Hadoop.
Bloques de replicación pendientes Número de bloques de replicación pendientes en Hadoop.
ARCHIVOS  
Total de archivos y directorios Número total de archivos y directorios en HDFS.
Archivos y directorios creados por segundo Número de archivos y directorios creados por segundo.
CARGA  
Carga total Carga total sobre el servicio Hadoop.

HDFS:

Resumen de DataNode  
Nodos de datos en vivo Número de nodo de datos en estado activo.
Nodos de datos muertos Número de nodo de datos en estado muerto.
Nodos de datos desactivados en vivo Número de nodo de datos en vivo pero fuera de servicio.
Nodos de datos muertos-retirados Número de nodo de datos en muertos y fuera de servicio.
Desmantelamiento de Datanodes Número de nodo de datos en estado retirado.
Nodos de datos obsoletos Número de nodo de datos en estado obsoleto.
Porcentaje de nodo de datos en vivo (en%) Porcentaje de nodo de datos en estado activo.
Porcentaje de nodo de datos muerto (en%) Porcentaje de nodo de datos en estado muerto.
DataNodes  
Nombre del nodo Nombre del nodo de datos.
Expresar Estado actual del nodo de datos:
  • Vivir
  • Desmantelamiento en curso
  • En vivo - Decommissioned
  • Muerto - Desarmado
  • Muerto
Capacidad total (en GB) Capacidad total del HDFS.
No DFS utilizado (en GB) Cantidad de memoria utilizada en HDFS por comandos que no son HDFS.
DFS utilizado (en GB) Cantidad de memoria utilizada en HDFS por los comandos HDFS.
Porcentaje utilizado de DFS (en%) Porcentaje de memoria utilizada en HDFS por comandos HDFS
Libre de DFS (en GB) Cantidad de memoria libre en HDFS.
Porcentaje libre de DFS (en GB) Porcentaje de memoria libre en HDFS.

HILO:

Resumen de NodeManger  
Administradores de nodos activos Número de administradores de nodos en estado activo.
NodeManagers fuera de servicio Número de administradores de nodos en estado de desmantelamiento.
Gestores de nodos perdidos Número de administradores de nodos en estado perdido.
Administradores de nodos no saludables Número de administradores de nodos en mal estado.
NodeManagers reiniciados Número de administradores de nodos en estado reiniciado.
Porcentaje de NodeManager activo (en%) Porcentaje de administrador de nodos en estado activo.
Porcentaje de NodeManager perdido (en%) Porcentaje de administrador de nodos en estado perdido.
Porcentaje de NodeManager en mal estado (en%) Porcentaje de administrador de nodos en mal estado.
NodeManager  
Nombre de host Nombre de host del administrador de nodos.
Estante Rack al que pertenece este administrador de nodos.
Expresar

Estado actual del administrador de nodos.

  • Corriendo
  • Insalubre
  • Muerto
Memoria utilizada (en%) Porcentaje de memoria principal utilizada por nodemanager.
Versión Versión de nodemanager.

Aplicaciones:

Aplicaciones  
Aplicaciones enviadas Número de solicitudes en el estado presentado.
Aplicaciones completadas Número de solicitudes en estado completo.
Aplicaciones pendientes Número de solicitudes en estado pendiente.
Aplicaciones en ejecución Número de aplicaciones en estado de ejecución.
Aplicaciones fallidas Número de aplicaciones en estado fallido.
Aplicaciones eliminadas Número de aplicaciones en estado muerto.
Porcentaje completado (en%) Porcentaje de solicitudes completadas.
Porcentaje de muertos (en%) Porcentaje de aplicaciones muertas.
Porcentaje fallido (en%) Porcentaje de solicitudes fallidas.
Estadísticas de aplicaciones (en el último intervalo de sondeo)  
Recuento de aplicaciones enviadas Número de solicitudes enviadas en el último intervalo de votación.
Recuento de aplicaciones fallidas Número de aplicaciones fallidas en el último intervalo de sondeo.
Las aplicaciones muertas cuentan Número de aplicaciones eliminadas en el último intervalo de sondeo.
Recuento de aplicaciones completadas Número de solicitudes completadas en el último intervalo de sondeo.