View a markdown version of this page

Registro de Amazon MSK - Transmisión administrada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Registro de Amazon MSK

Amazon MSK admite los registros de agentes y autorizadores en los corredores Standard y Express. Puede enviar estos registros a uno o más de los siguientes tipos de destino: Amazon CloudWatch Logs, Amazon S3, Amazon Data Firehose. También puede registrar las llamadas a la API de Amazon MSK con AWS CloudTrail.

Debes crear un recurso de destino antes de configurar tu clúster para que le entregue los registros. Amazon MSK no crea estos recursos de destino si aún no existen. Para obtener información acerca de estos tres tipos de recursos de destino y cómo crearlos, consulte la siguiente documentación:

Registros de agente

Los registros de agente le permiten solucionar problemas de las aplicaciones de Apache Kafka y analizar las comunicaciones con su clúster de MSK. Puede configurar su clúster de MSK nuevo o existente para que entregue INFO-level el bróker inicia sesión en uno o más de los siguientes tipos de recursos de destino: a CloudWatch un grupo de registros, un bucket de S3, un flujo de entrega de Firehose. A través de Firehose, puedes enviar los datos de registro de tu flujo de entrega a OpenSearch Servicio.

Configure los registros del corredor mediante el AWS CLI

Si utiliza los comandos update-monitoring o create-cluster, tiene la opción de especificar el parámetro logging-info y pasarlo a una estructura JSON como en el siguiente ejemplo. En este JSON, los tres tipos de destino son opcionales.

nota

Debe establecer la etiqueta LogDeliveryEnabled en true en los flujos de Firehose para configurar la entrega de registros. La función vinculada al servicio que AWS crea para CloudWatch logs usa esta etiqueta para conceder permisos para todas las transmisiones de entrega de Firehose. Si elimina esta etiqueta, el rol vinculado al servicio no podrá entregar registros al flujo de Firehose. Para ver un ejemplo de una política de IAM que muestra los permisos que incluye la función vinculada al servicio, consulta Funciones de IAM utilizadas para los permisos de recursos en el Amazon CloudWatch Guía del usuario.

{ "BrokerLogs": { "S3": { "Bucket": "amzn-s3-demo-bucket", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }

Configuración de los registros de agente con la API

Puede especificar el opcional loggingInfo estructura en el JSON que pasas al CreateCluster o UpdateMonitoring operaciones.

nota

De forma predeterminada, cuando el registro de agentes está habilitado, Amazon MSK almacena los registros de INFO en los destinos especificados. Sin embargo, en el caso de los corredores Standard y Express, los usuarios de Apache Kafka 2.4.X y versiones posteriores pueden establecer dinámicamente el nivel de registro del corredor en cualquiera de los niveles de registro de log4j. Para obtener información sobre la configuración dinámica del nivel de registro del bróker, consulte KIP-412: Amplíe la API de administración para admitir niveles de registro de aplicaciones dinámicos. Si establece el nivel de registro de forma dinámica en DEBUG o TRACE, recomendamos que utilice Amazon S3 o Firehose como destino de los registros. Si usas CloudWatch Inicia sesión como destino del registro y tú lo habilitas de forma dinámica DEBUG o TRACE registro de niveles, Amazon MSK puede entregar de forma continua una muestra de registros. Esto puede afectar considerablemente al rendimiento del agente y solo debe utilizarse cuando el nivel de registro INFO no sea lo suficientemente detallado como para determinar la causa raíz del problema.

Registros de autorizador

Los registros de autorización capturan las decisiones de autorización tomadas por su clúster de MSK. Puede usar estos registros para supervisar los patrones de acceso de los clientes y solucionar problemas de autorización. Puede configurar su clúster de MSK para enviar los registros del autorizador a uno o más de los siguientes tipos de recursos de destino: a CloudWatch un grupo de registros, un bucket de S3 o una transmisión de entrega de Firehose.

Configure los registros del autorizador mediante el AWS CLI

Si utiliza los comandos update-monitoring o create-cluster, tiene la opción de especificar el parámetro logging-info y pasarlo a una estructura JSON como en el siguiente ejemplo. En este JSON, los tres tipos de destino son opcionales.

{ "AuthorizerLogs": { "S3": { "Bucket": "amzn-s3-demo-bucket", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }

Configure los registros del autorizador mediante la API

Puede especificar lo opcional loggingInfo estructura en el JSON que pasas al CreateCluster o UpdateMonitoring operaciones.

Permisos necesarios

Para configurar un destino para los registros de Amazon MSK, la identidad de IAM que utilice para las acciones de Amazon MSK debe tener los permisos descritos en el AWS política gestionada: AmazonMSKFullAccess política.

Para transmitir los registros a un bucket de S3, también necesitas el s3:PutBucketPolicy permiso. Para obtener información acerca de las políticas de bucket de S3, consulte ¿Cómo agrego una política de bucket de S3? en la Guía del usuario de Amazon S3. Para obtener información acerca de las políticas de IAM en general, consulte Administración de accesos en la Guía del usuario de IAM.

Política de claves de KMS requerida para su uso con SSE-KMS cubos

Si habilitaste el cifrado del lado del servidor para tu bucket de S3 usando AWS KMS-claves administradas (SSE-KMS) con una clave gestionada por el cliente, añada lo siguiente a la política de claves de su clave de KMS para que Amazon MSK pueda escribir registros en el bucket.

{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }

Configure los registros mediante el Consola de administración de AWS

Si va a crear un clúster nuevo, busque el Entrega del registro del bróker o Autorizar la entrega del registro encabezado en el Monitorización sección. Puede especificar los destinos a los que desea que Amazon MSK entregue sus registros.

Para un clúster existente, elija el clúster de la lista de clústeres y, a continuación, elija la pestaña Propiedades. Desplácese hacia abajo hasta la sección Envío de registros y, a continuación, elija el botón Editar. Puede especificar los destinos a los que desea que Amazon MSK entregue sus registros.