Monitoreo de Apache Kafka

Monitoreo de Apache Kafka

Apache Kafka es un sistema de mensajería basado en suscripción y de código abierto y tolerante a fallos, desarrollado por LinkedIn. Kafka, un servicio de registro distribuido, se usa a menudo en lugar de los intermediarios de mensajes tradicionales debido a su mayor rendimiento, escalabilidad, confiabilidad y replicación.

El diseño centrado en el clúster de Kafka ofrece una gran durabilidad y tolerancia a fallos. Dado que Kafka es un sistema distribuido, los temas se dividen y se replican en múltiples nodos; Tiene una increíble profundidad de detalles técnicos cuando profundizas más. Con un monitoreo significativo del rendimiento y un aviso rápido de los problemas, Kafka puede ser una opción muy atractiva para la integración de datos. El Administrador de aplicaciones recopila todas las métricas de rendimiento que pueden ayudar a resolver problemas de Kafka y le alerta sobre aquellos que requieren medidas correctivas.


Rastrear la utilización de recursos del sistema

Descubra automáticamente los servidores Kafka y haga un seguimiento de los detalles de utilización de recursos como memoria, CPU y crecimiento del disco a lo largo del tiempo para asegurarse de que no se quede sin recursos. Asegúrese de que su servidor Apache Kafka esté activo y funcionando continuamente como se espera. Reciba notificaciones rápidamente cuando haya un aumento repentino en el consumo de recursos o patrones inusuales.

Utilización de la memoria Kafka

Mantener las pestañas en los hilos y el uso de JVM

Como Kafka se ejecuta en la máquina virtual de Java (JVM), se basa en los procesos de recolección de basura de Java para liberar memoria. Cuanta más actividad haya en su clúster Kafka, más a menudo se ejecutará la recolección de basura. Realice un seguimiento de los tamaños de almacenamiento dinámico de JVM y asegúrese de que los subprocesos iniciados no sobrecarguen la memoria del servidor. Realice un seguimiento del uso de subprocesos con métricas como Daemon, Peak y Live Thread Count para evitar cuellos de botella de rendimiento en su sistema.

Uso del hilo Kafka

Entender las estadísticas de Broker, Controller y Replication

En un clúster Kafka, uno de los intermediarios sirve como controlador, que es responsable de administrar los estados de las particiones y réplicas y de realizar tareas administrativas, como la reasignación de particiones. Supervise los controladores activos para ver qué agente fue el controlador cuando ocurrió un problema y las particiones fuera de línea cuentan para evitar interrupciones en el servicio. Monitoree la latencia de descarga del registro del agente: cuanto más tiempo demore la descarga del registro en el disco, más retrocederá la canalización. Realice un seguimiento de las particiones poco replicadas para saber si la replicación va tan rápido como está configurada.

Estadísticas de replicación Kafka

 

Monitor de red y detalles del tema

Obtenga una imagen completa del uso de la red en su host, realice un seguimiento del rendimiento de la red o agregue la tasa de bytes de entrada y salida en los temas de su agente para obtener más información sobre los posibles cuellos de botella. Tome decisiones informadas como si debe o no habilitar la compresión de extremo a extremo de sus mensajes.

Uso de la red Kafka

Solucionar problemas de rendimiento más rápido.

Recibe notificaciones instantáneas cuando hay problemas de rendimiento con los componentes de Apache Kafka. Tenga en cuenta los cuellos de botella en el rendimiento y descubra qué aplicación está causando la carga excesiva. Tome medidas correctivas rápidas antes de que sus usuarios finales experimenten problemas.

Descargue Applications Manager

 


De confianza por