View a markdown version of this page

Controllo dell'accesso con Amazon Data Firehose - Amazon Data Firehose

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Controllo dell'accesso con Amazon Data Firehose

Le seguenti sezioni spiegano come controllare l'accesso da e verso le tue risorse Amazon Data Firehose. Le informazioni che trattano includono come concedere l'accesso all'applicazione in modo che possa inviare dati al tuo stream Firehose. Descrivono inoltre come puoi concedere ad Amazon Data Firehose l'accesso al tuo bucket Amazon Simple Storage Service (Amazon S3), al cluster Amazon Redshift o ad Amazon OpenSearch Cluster di servizi e le autorizzazioni di accesso necessarie se utilizzi Datadog, Dynatrace, LogicMonitor, MongoDB, New Relic, Splunk o Sumo Logic come destinazione. Infine, in questo argomento troverai una guida su come configurare Amazon Data Firehose in modo che possa inviare dati a una destinazione che appartiene a un'altra AWS account. La tecnologia per la gestione di tutte queste forme di accesso è AWS Identity and Access Management (IAM). Per ulteriori informazioni su IAM, consulta Che cos'è IAM?.

Concedi l'accesso alle tue risorse Firehose

Per consentire alla tua applicazione di accedere al tuo stream Firehose, utilizza una politica simile a questo esempio. Puoi regolare le singole operazioni API alle quali concedi l'accesso modificando la sezione Action; oppure puoi concedere l'accesso a tutte le operazioni con "firehose:*".

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "firehose:DeleteDeliveryStream", "firehose:PutRecord", "firehose:PutRecordBatch", "firehose:UpdateDestination" ], "Resource": [ "arn:aws:firehose:us-east-1:123456789012:deliverystream/delivery-stream-name" ] } ] }

Concedi a Firehose l'accesso al tuo cluster Amazon MSK privato

Se l'origine del tuo stream Firehose è un cluster Amazon MSK privato, utilizza una policy simile a questo esempio.

Devi aggiungere una policy come questa alla policy basata sulle risorse del cluster per concedere al responsabile del servizio Firehose l'autorizzazione a richiamare Amazon MSK CreateVpcConnection Funzionamento dell'API.

Consenti a Firehose di assumere un ruolo IAM

Questa sezione descrive le autorizzazioni e le politiche che concedono ad Amazon Data Firehose l'accesso per l'acquisizione, l'elaborazione e la distribuzione dei dati dall'origine alla destinazione.

Nota

Se utilizzi la console per creare uno stream Firehose e scegli l'opzione per creare un nuovo ruolo, AWS allega la politica di fiducia richiesta al ruolo. Se desideri che Amazon Data Firehose utilizzi un ruolo IAM esistente o se crei un ruolo per conto tuo, allega le seguenti politiche di fiducia a quel ruolo in modo che Amazon Data Firehose possa assumerlo. Modifica le policy da sostituire account-id con il tuo AWS ID dell'account. Per informazioni su come modificare la relazione di trust di un ruolo, consulta Modifica di un ruolo.

Amazon Data Firehose utilizza un ruolo IAM per tutte le autorizzazioni necessarie allo stream Firehose per elaborare e fornire dati. Assicurati che le seguenti politiche di fiducia siano associate a quel ruolo in modo che Amazon Data Firehose possa assumerlo.

Se scegli Amazon MSK come fonte per il tuo stream Firehose, devi specificare un altro ruolo IAM che conceda ad Amazon Data Firehose le autorizzazioni per importare i dati di origine dal cluster Amazon MSK specificato. Assicurati che le seguenti politiche di fiducia siano associate a quel ruolo in modo che Amazon Data Firehose possa assumerlo.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Principal": { "Service": [ "firehose.amazonaws.com" ] }, "Effect": "Allow", "Action": "sts:AssumeRole" } ] }

Assicurati che questo ruolo che concede ad Amazon Data Firehose le autorizzazioni per importare dati di origine dal cluster Amazon MSK specificato conceda le seguenti autorizzazioni:

Concedi a Firehose l'accesso a AWS Glue per la conversione del formato dei dati

Se il tuo stream Firehose esegue la conversione del formato dei dati, Amazon Data Firehose fa riferimento alle definizioni delle tabelle memorizzate in AWS Glue. Per fornire ad Amazon Data Firehose l'accesso necessario a AWS Glue, aggiungi la seguente dichiarazione alla tua polizza. Per informazioni su come trovare l'ARN della tabella, consulta Specificando AWS Gli ARN delle risorse Glue.

{ "Sid": "", "Effect": "Allow", "Action": [ "glue:GetTable", "glue:GetTableVersion", "glue:GetTableVersions" ], "Resource": [ "arn:aws:glue:us-east-1:123456789012:catalog", "arn:aws:glue:us-east-1:123456789012:database/b", "arn:aws:glue:us-east-1:123456789012:table/b/easd" ] }, { actions: ['glue:GetSchemaVersion'], grantee: options.role, resourceArns: ['*'], }

La politica consigliata per il recupero degli schemi dal registro degli schemi non prevede restrizioni in termini di risorse. Per ulteriori informazioni, vedere Esempi IAM per deserializzatori nel AWS Glue Guida per gli sviluppatori.

Concedi a Firehose l'accesso a una destinazione Amazon S3

Quando utilizzi una destinazione Amazon S3, Amazon Data Firehose invia i dati al tuo bucket S3 e può opzionalmente utilizzare un AWS KMS chiave di tua proprietà per la crittografia dei dati. Se la registrazione degli errori è abilitata, Amazon Data Firehose invia anche gli errori di consegna dei dati al tuo CloudWatch gruppi di log e stream. È necessario disporre di un ruolo IAM per creare uno stream Firehose. Amazon Data Firehose assume il ruolo IAM e ottiene l'accesso al bucket, alla chiave e CloudWatch gruppo di log e stream.

Utilizza la seguente politica di accesso per consentire ad Amazon Data Firehose di accedere al tuo bucket S3 e AWS KMS chiave. Se non sei proprietario del bucket S3, aggiungi s3:PutObjectAcl all'elenco delle operazioni Amazon S3. Ciò garantisce al proprietario del bucket l'accesso completo agli oggetti forniti da Amazon Data Firehose.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] }, { "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:GetShardIterator", "kinesis:GetRecords", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name" }, { "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": [ "arn:aws:kms:us-east-1:123456789012:key/key-id" ], "Condition": { "StringEquals": { "kms:ViaService": "s3.us-east-1.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*" } } }, { "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name" ] }, { "Effect": "Allow", "Action": [ "lambda:InvokeFunction", "lambda:GetFunctionConfiguration" ], "Resource": [ "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version" ] } ] }

La policy in alto ha anche un'istruzione che permette l'accesso a flusso di dati Amazon Kinesis. Se non utilizzi Kinesis Data Firehose come origine dati, puoi rimuovere questa istruzione. Se utilizzi Amazon MSK come fonte, puoi sostituire tale dichiarazione con la seguente:

{ "Sid":"", "Effect":"Allow", "Action":[ "kafka:GetBootstrapBrokers", "kafka:DescribeCluster", "kafka:DescribeClusterV2", "kafka-cluster:Connect" ], "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:cluster/{{mskClusterName}}/{{clusterUUID}}" }, { "Sid":"", "Effect":"Allow", "Action":[ "kafka-cluster:DescribeTopic", "kafka-cluster:DescribeTopicDynamicConfiguration", "kafka-cluster:ReadData" ], "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:topic/{{mskClusterName}}/{{clusterUUID}}/{{mskTopicName}}" }, { "Sid":"", "Effect":"Allow", "Action":[ "kafka-cluster:DescribeGroup" ], "Resource":"arn:aws:kafka:{{mskClusterRegion}}:{{mskClusterAccount}}:group/{{mskClusterName}}/{{clusterUUID}}/*" }

Per ulteriori informazioni su come consentire ad altri AWS servizi per accedere al tuo AWS risorse, vedi Creazione di un ruolo per delegare le autorizzazioni a un AWS Servizio nel Guida per l'utente IAM.

Per informazioni su come concedere ad Amazon Data Firehose l'accesso a una destinazione Amazon S3 in un altro account, consulta Cross-account consegna a una destinazione Amazon S3.

Concedi a Firehose l'accesso alle tabelle Amazon S3

Firehose necessita di un ruolo IAM con autorizzazioni specifiche per l'accesso AWS AWS Glue tabelle e scrivi dati nelle tabelle in un bucket di tabelle Amazon S3. Per scrivere su tabelle in un bucket di tabelle Amazon S3, devi inoltre fornire al ruolo IAM le autorizzazioni richieste. Le autorizzazioni richieste per il catalogo Amazon S3 Tables dipendono dalla modalità di controllo degli accessi utilizzata:

  • Controllo degli accessi IAM — Il ruolo di distribuzione di Firehose richiede le autorizzazioni IAM direttamente sulle risorse di Amazon S3 Tables.

  • Controllo degli accessi a Lake Formation — Il ruolo di consegna di Firehose richiede AWS AWS Lake Formation autorizzazioni per la gestione dell'accesso alle risorse della tabella. AWS Lake Formation utilizza un proprio modello di autorizzazioni che consente un controllo granulare degli accessi per le risorse del Data Catalog.

Questo ruolo IAM viene configurato quando si crea uno stream Firehose. Scegli la scheda che corrisponde alla tua modalità di controllo degli accessi.

Controllo degli accessi IAM

Se utilizzi la modalità di controllo degli accessi IAM (senza AWS Lake Formation), il ruolo di distribuzione di Firehose richiede le autorizzazioni IAM direttamente sulle risorse di Amazon S3 Tables e AWS Glue Oggetti del catalogo dati.

Accedere al Console di gestione AWS e apri la console IAM all'indirizzo https://console.aws.amazon.com/iam/.

Crea una politica e scegli JSON nell'editor delle politiche. Aggiungi la seguente politica in linea che concede le autorizzazioni richieste.

{ "Version": "2012-10-17", "Statement": [ { "Sid": "S3TablesAccessPermission", "Effect": "Allow", "Action": [ "s3tables:GetNamespace", "s3tables:GetTable", "s3tables:GetTableData", "s3tables:GetTableMetadataLocation", "s3tables:PutTableData", "s3tables:UpdateTableMetadataLocation" ], "Resource": [ "arn:aws:s3tables:region:account-id:bucket/*", "arn:aws:s3tables:region:account-id:bucket/*/table/*" ] }, { "Sid": "S3TableBucketAccessPermission", "Effect": "Allow", "Action": [ "s3tables:GetTableBucket" ], "Resource": "arn:aws:s3tables:region:account-id:bucket/*" }, { "Sid": "GlueCatalogAccessPermission", "Effect": "Allow", "Action": [ "glue:GetDatabase", "glue:GetDatabases", "glue:GetTable", "glue:GetTables", "glue:UpdateTable" ], "Resource": [ "arn:aws:glue:region:account-id:catalog", "arn:aws:glue:region:account-id:catalog/s3tablescatalog", "arn:aws:glue:region:account-id:catalog/s3tablescatalog/*", "arn:aws:glue:region:account-id:database/*", "arn:aws:glue:region:account-id:table/*/*" ] }, { "Sid": "S3DeliveryErrorBucketPermission", "Effect": "Allow", "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::error-delivery-bucket", "arn:aws:s3:::error-delivery-bucket/*" ] }, { "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource", "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:GetShardIterator", "kinesis:GetRecords", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:region:account-id:stream/stream-name" }, { "Sid": "KMSPermissionForS3TablesEncryption", "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": [ "arn:aws:kms:region:account-id:key/key-id" ], "Condition": { "StringEquals": { "kms:ViaService": "s3.region.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3tables:region:account-id:bucket/*/table/*" } } }, { "Sid": "RequiredWhenUsingLambdaForDataTransformation", "Effect": "Allow", "Action": [ "lambda:InvokeFunction", "lambda:GetFunctionConfiguration" ], "Resource": "arn:aws:lambda:region:account-id:function:function-name:function-version" }, { "Sid": "CloudWatchLogsPermission", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": "arn:aws:logs:region:account-id:log-group:log-group-name:log-stream:log-stream-name" } ] }

La policy contiene dichiarazioni che consentono l'accesso ad Amazon Kinesis Data Streams, l'invocazione di funzioni Lambda e l'accesso a AWS KMS tasti. Se non si utilizza nessuna di queste risorse, è possibile rimuovere le rispettive istruzioni. Se la registrazione degli errori è abilitata, Amazon Data Firehose invia anche gli errori di consegna dei dati al tuo CloudWatch gruppi di log e stream. È necessario configurare i nomi dei gruppi di log e dei flussi di log per utilizzare questa opzione. Per i nomi dei gruppi di log e dei log stream, consulta Monitora Amazon Data Firehose utilizzando i log CloudWatch.

Nella politica in linea, sostituisci i valori segnaposto con i nomi effettivi delle risorse, Account AWS numero e regione.

Dopo aver creato la policy, apri la console IAM all'indirizzo https://console.aws.amazon.com/iam/ e crea un ruolo IAM con Servizio AWS come Tipo di entità attendibile.

Per Servizio o caso d'uso scegli Kinesis. Per Caso d'uso , scegli Kinesis Firehose.

Nella pagina successiva, scegli la policy creata nel passaggio precedente da allegare a questo ruolo. Nella pagina di revisione, troverai la politica di fiducia già allegata a questo ruolo che autorizza il servizio Firehose ad assumere questo ruolo. Quando crei il ruolo, Amazon Data Firehose può assumersi che esegua le operazioni richieste su AWS Glue e tabelle Amazon S3. Aggiungi l'entità del servizio Firehose alla politica di fiducia del ruolo che viene creato. Per ulteriori informazioni, consulta Consenti a Firehose di assumere un ruolo IAM.

Controllo degli accessi a Lake Formation

Se stai usando AWS Lake Formation la modalità di controllo degli accessi, richiede il ruolo di consegna di Firehose AWS Lake Formation autorizzazioni per la vendita di credenziali in aggiunta alla politica IAM.

Accedi al Console di gestione AWS e apri la console IAM all'indirizzo https://console.aws.amazon.com/iam/.

Crea una politica e scegli JSON nell'editor delle politiche. Aggiungi la seguente policy in linea che concede autorizzazioni Amazon S3, ad esempio read/write autorizzazioni, autorizzazioni per aggiornare la tabella nel catalogo dati e altro ancora.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Sid": "S3TableAccessViaGlueFederation", "Effect": "Allow", "Action": [ "glue:GetTable", "glue:GetDatabase", "glue:UpdateTable" ], "Resource": [ "arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog/*", "arn:aws:glue:us-east-1:123456789012:catalog/s3tablescatalog", "arn:aws:glue:us-east-1:123456789012:catalog", "arn:aws:glue:us-east-1:123456789012:database/*", "arn:aws:glue:us-east-1:123456789012:table/*/*" ] }, { "Sid": "S3DeliveryErrorBucketPermission", "Effect": "Allow", "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::<error delivery bucket>", "arn:aws:s3:::<error delivery bucket>/*" ] }, { "Sid": "RequiredWhenUsingKinesisDataStreamsAsSource", "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:GetShardIterator", "kinesis:GetRecords", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/<stream-name>" }, { "Sid": "RequiredWhenDoingMetadataReadsANDDataAndMetadataWriteViaLakeformation", "Effect": "Allow", "Action": [ "lakeformation:GetDataAccess" ], "Resource": "*" }, { "Sid": "RequiredWhenUsingKMSEncryptionForS3ErrorBucketDelivery", "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": [ "arn:aws:kms:us-east-1:123456789012:key/<KMS-key-id>" ], "Condition": { "StringEquals": { "kms:ViaService": "s3.us-east-1.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::<error delivery bucket>/prefix*" } } }, { "Sid": "LoggingInCloudWatch", "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name>:log-stream:<log-stream-name>" ] }, { "Sid": "RequiredWhenAttachingLambdaToFirehose", "Effect": "Allow", "Action": [ "lambda:InvokeFunction", "lambda:GetFunctionConfiguration" ], "Resource": [ "arn:aws:lambda:us-east-1:123456789012:function:<function-name>:<function-version>" ] } ] }

La policy contiene dichiarazioni che consentono l'accesso ad Amazon Kinesis Data Streams, il richiamo delle funzioni Lambda e l'accesso a AWS KMS tasti. Se non si utilizza nessuna di queste risorse, è possibile rimuovere le rispettive istruzioni. Se la registrazione degli errori è abilitata, Amazon Data Firehose invia anche gli errori di consegna dei dati al tuo CloudWatch gruppi di log e stream. È necessario configurare i nomi dei gruppi di log e dei flussi di log per utilizzare questa opzione. Per i nomi dei gruppi di log e dei log stream, consulta Monitora Amazon Data Firehose utilizzando i log CloudWatch.

Nelle politiche in linea, sostituisci <error delivery bucket> con il nome del tuo bucket Amazon S3, aws-account-id e una regione con un codice valido Account AWS numero e regione della risorsa.

Oltre alla politica IAM, è necessario concedere al ruolo di consegna Firehose anche le autorizzazioni richieste in AWS Lake Formation. Per ulteriori informazioni, vedere Concedi le autorizzazioni sulle tabelle.

Dopo aver creato la policy, apri la console IAM all'indirizzo https://console.aws.amazon.com/iam/ e crea un ruolo IAM con Servizio AWS come Tipo di entità attendibile.

Per Servizio o caso d'uso scegli Kinesis. Per Caso d'uso , scegli Kinesis Firehose.

Nella pagina successiva, scegli la policy creata nel passaggio precedente da allegare a questo ruolo. Nella pagina di revisione, troverai la politica di fiducia già allegata a questo ruolo che autorizza il servizio Firehose ad assumere questo ruolo. Quando crei il ruolo, Amazon Data Firehose può assumersi che esegua le operazioni richieste su AWS Glue e bucket S3. Aggiungi l'entità del servizio Firehose alla politica di fiducia del ruolo che viene creato. Per ulteriori informazioni, consulta Consenti a Firehose di assumere un ruolo IAM.

Concedi a Firehose l'accesso a una destinazione Apache Iceberg Tables

È necessario disporre di un ruolo IAM prima di creare uno stream Firehose e Apache Iceberg Tables utilizzando AWS Glue. Utilizza i passaggi seguenti per creare una policy e un ruolo IAM. Firehose assume questo ruolo IAM ed esegue le azioni richieste.

  1. Accedere al Console di gestione AWS e apri la console IAM all'indirizzo https://console.aws.amazon.com/iam/.

  2. Crea una politica e scegli JSON nell'editor delle politiche.

  3. Aggiungi la seguente policy in linea che concede autorizzazioni Amazon S3 come read/write autorizzazioni, autorizzazioni per aggiornare la tabella nel catalogo dati ecc.

    Questa policy contiene una dichiarazione che consente l'accesso ad Amazon Kinesis Data Streams, il richiamo delle funzioni Lambda e l'accesso alle chiavi KMS. Se non si utilizza nessuna di queste risorse, è possibile rimuovere le rispettive istruzioni.

    Se la registrazione degli errori è abilitata, Firehose invia anche gli errori di consegna dei dati al tuo CloudWatch gruppo di log e stream. A tale scopo è necessario configurare i nomi dei gruppi di log e dei flussi di log. Per i nomi dei gruppi di log e dei flussi di log, vedi Monitora Amazon Data Firehose utilizzando i log CloudWatch.

  4. Nelle politiche in linea, sostituisci amzn-s3-demo-bucket con il nome del bucket Amazon S3, aws-account-id e la regione con un valore valido Account AWS numero e regione delle risorse.

    Nota

    Questo ruolo dà l'autorizzazione a tutti i database e le tabelle nel catalogo dei dati. Se lo si desidera, è possibile concedere le autorizzazioni solo a tabelle e database specifici.

  5. Dopo aver creato la policy, apri il Console IAM e crea un ruolo IAM con Servizio AWS come Tipo di entità attendibile.

  6. Per Servizio o caso d'uso scegli Kinesis. Per Caso d'uso scegli Kinesis Firehose.

  7. Nella pagina successiva, scegli la policy creata nel passaggio precedente da allegare a questo ruolo. Nella pagina di revisione, troverai la politica di fiducia già allegata a questo ruolo che autorizza il servizio Firehose ad assumere questo ruolo. Quando crei il ruolo, Amazon Data Firehose può assumersi che esegua le operazioni richieste su AWS Glue e bucket S3.

Concedi a Firehose l'accesso a una destinazione Amazon Redshift

Fai riferimento a quanto segue per concedere l'accesso ad Amazon Data Firehose quando usi una destinazione Amazon Redshift.

Ruolo IAM e politica di accesso

Quando utilizzi una destinazione Amazon Redshift, Amazon Data Firehose invia i dati al bucket S3 come posizione intermedia. Facoltativamente può utilizzare un AWS KMS chiave di tua proprietà per la crittografia dei dati. Amazon Data Firehose carica quindi i dati dal bucket S3 nel cluster con provisioning di Amazon Redshift o nel gruppo di lavoro Amazon Redshift Serverless. Se la registrazione degli errori è abilitata, Amazon Data Firehose invia anche gli errori di consegna dei dati al tuo CloudWatch gruppi di log e stream. Amazon Data Firehose utilizza il nome utente e la password di Amazon Redshift specificati per accedere al cluster fornito o al gruppo di lavoro Amazon Redshift Serverless e utilizza un ruolo IAM per accedere al bucket, alla chiave specificati, CloudWatch gruppo di log e stream. È necessario disporre di un ruolo IAM per creare uno stream Firehose.

Utilizza la seguente politica di accesso per consentire ad Amazon Data Firehose di accedere al tuo bucket S3 e AWS KMS chiave. Se non possiedi il bucket S3, aggiungi s3:PutObjectAcl all'elenco delle azioni Amazon S3, che garantisce al proprietario del bucket l'accesso completo agli oggetti forniti da Amazon Data Firehose. Questa policy ha anche un'istruzione che permette l'accesso a flusso di dati Amazon Kinesis. Se non utilizzi Kinesis Data Firehose come origine dati, puoi rimuovere questa istruzione.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] }, { "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": [ "arn:aws:kms:us-east-1:123456789012:key/key-id" ], "Condition": { "StringEquals": { "kms:ViaService": "s3.us-east-1.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*" } } }, { "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:GetShardIterator", "kinesis:GetRecords", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name" }, { "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name" ] }, { "Effect": "Allow", "Action": [ "lambda:InvokeFunction", "lambda:GetFunctionConfiguration" ], "Resource": [ "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version" ] } ] }

Per ulteriori informazioni su come consentire altre AWS servizi per accedere al tuo AWS risorse, vedi Creazione di un ruolo per delegare le autorizzazioni a un AWS Servizio nel Guida per l'utente IAM.

Accesso VPC a un cluster con provisioning di Amazon Redshift o a un gruppo di lavoro Amazon Redshift Serverless

Se il cluster con provisioning Amazon Redshift o il gruppo di lavoro Amazon Redshift serverless si trova in un cloud virtuale privato (VPC), deve essere accessibile pubblicamente con un indirizzo IP pubblico. Inoltre, concedi ad Amazon Data Firehose l'accesso al tuo cluster con provisioning Amazon Redshift o al gruppo di lavoro Amazon Redshift Serverless sbloccando gli indirizzi IP di Amazon Data Firehose. Amazon Data Firehose attualmente utilizza un blocco CIDR per ogni regione disponibile.

Region Blocchi CIDR
Stati Uniti orientali (Ohio)

13.58.135.96/27

Stati Uniti orientali (Virginia settentrionale) 52.70.63.192/27
Stati Uniti occidentali (California settentrionale) 13.57.135.192/27
Stati Uniti occidentali (Oregon) 52.89.255.224/27
AWS GovCloud (US-East) 18.253.138.96/27
AWS GovCloud (US-West) 52.61.204.160/27
Canada (Centrale) 35.183.92.128/27
Canada occidentale (Calgary) 40.176.98.192/27
Asia Pacifico (Hong Kong) 18.162.221.32/27
Asia Pacifico (Mumbai) 13.232.67.32/27
Asia Pacific (Hyderabad) 18.60.192.128/27
Asia Pacifico (Seul) 13.209.1.64/27
Asia Pacifico (Singapore) 13.228.64.192/27
Asia Pacifico (Sydney) 13.210.67.224/27
Asia Pacifico (Giacarta) 108.136.221.64/27
Asia Pacifico (Tokyo) 13.113.196.224/27
Asia Pacifico (Osaka) 13.208.177.192/27
Asia Pacifico (Thailandia) 43.208.112.96/27
Asia Pacifico (Taipei) 43.212.53.160/27
Cina (Pechino) 52.81.151.32/27
Cina (Ningxia) 161.189.23.64/27
Europa (Zurigo) 16.62.183.32/27
Europa (Francoforte) 35.158.127.160/27
Europa (Irlanda) 52.19.239.192/27
Europa (Londra) 18.130.1.96/27
Europe (Paris) 35.180.1.96/27
Europa (Stoccolma) 13.53.63.224/27
Europa (Spagna) 18.100.71.96/27
Medio Oriente (Bahrein) 15.185.91.0/27
Messico (centrale) 78.12.207.32/27
Sud America (San Paolo) 18.228.1.128/27
Europa (Milano) 15.161.135.128/27
Africa (Città del Capo) 13.244.121.224/27
Medio Oriente (Emirati Arabi Uniti) 3.28.159.32/27
Israele (Tel Aviv) 51.16.102.0/27
Asia Pacifico (Melbourne) 16.50.161.128/27
Asia Pacifico (Malesia) 43.216.58.0/27

Per ulteriori informazioni su come sbloccare gli indirizzi IP, consulta la fase Autorizzare l'accesso al cluster nella guida Guida alle operazioni di base di Amazon Redshift.

Concedi a Firehose l'accesso a un pubblico OpenSearch Destinazione del servizio

Quando si utilizza un OpenSearch Destinazione del servizio, Amazon Data Firehose fornisce i dati al tuo OpenSearch Cluster di servizi ed esegue contemporaneamente il backup di tutti i documenti non riusciti nel bucket S3. Se la registrazione degli errori è abilitata, Amazon Data Firehose invia anche gli errori di consegna dei dati al tuo CloudWatch gruppi di log e stream. Amazon Data Firehose utilizza un ruolo IAM per accedere a quanto specificato OpenSearch Dominio di servizio, bucket S3, AWS KMS chiave e CloudWatch gruppo di log e stream. È necessario disporre di un ruolo IAM per creare uno stream Firehose.

Utilizza la seguente politica di accesso per consentire ad Amazon Data Firehose di accedere al tuo bucket S3, OpenSearch Dominio di servizio e AWS KMS chiave. Se non possiedi il bucket S3, aggiungi s3:PutObjectAcl all'elenco delle azioni Amazon S3, che garantisce al proprietario del bucket l'accesso completo agli oggetti forniti da Amazon Data Firehose. Questa policy ha anche un'istruzione che permette l'accesso a flusso di dati Amazon Kinesis. Se non utilizzi Kinesis Data Firehose come origine dati, puoi rimuovere questa istruzione.

Per ulteriori informazioni su come consentire altre AWS servizi per accedere al tuo AWS risorse, vedi Creazione di un ruolo per delegare le autorizzazioni a un AWS Servizio nel Guida per l'utente IAM.

Per scoprire come concedere ad Amazon Data Firehose l'accesso a un OpenSearch Cluster di servizi in un altro account, consulta Cross-account consegna a un OpenSearch destinazione del servizio.

Concedi a Firehose l'accesso a un OpenSearch Destinazione del servizio in un VPC

Se il tuo OpenSearch Il dominio di servizio è in un VPC, assicurati di concedere ad Amazon Data Firehose le autorizzazioni descritte nella sezione precedente. Inoltre, devi concedere ad Amazon Data Firehose le seguenti autorizzazioni per consentirgli di accedere al tuo OpenSearch VPC del dominio di servizio.

  • ec2:DescribeVpcs

  • ec2:DescribeVpcAttribute

  • ec2:DescribeSubnets

  • ec2:DescribeSecurityGroups

  • ec2:DescribeNetworkInterfaces

  • ec2:CreateNetworkInterface

  • ec2:CreateNetworkInterfacePermission

  • ec2:DeleteNetworkInterface

Importante

Non revocate queste autorizzazioni dopo aver creato lo stream Firehose. Se revochi queste autorizzazioni, il tuo stream Firehose verrà degradato o smetterà di fornire dati al tuo OpenSearch dominio di servizio ogni volta che il servizio tenta di interrogare o aggiornare ENI.

Importante

Quando specifichi le sottoreti per la consegna dei dati alla destinazione in un VPC privato, assicurati di avere un numero sufficiente di indirizzi IP gratuiti nelle sottoreti selezionate. Se non è disponibile un indirizzo IP gratuito in una sottorete specificata, Firehose non può creare o aggiungere ENI per la consegna dei dati nel VPC privato e la consegna sarà degradata o fallirà.

Quando crei o aggiorni il tuo stream Firehose, specifichi un gruppo di sicurezza che Firehose deve utilizzare quando invia i dati al tuo OpenSearch Dominio di servizio. È possibile utilizzare lo stesso gruppo di sicurezza di OpenSearch Utilizza un dominio di servizio o uno diverso. Se specifichi un gruppo di sicurezza diverso, assicurati che consenta il traffico HTTPS in uscita verso OpenSearch Gruppo di sicurezza del dominio di servizio. Assicurati inoltre che OpenSearch Il gruppo di sicurezza del dominio di servizio consente il traffico HTTPS proveniente dal gruppo di sicurezza specificato durante la configurazione dello stream Firehose. Se utilizzi lo stesso gruppo di sicurezza sia per il tuo stream Firehose che per OpenSearch Dominio di servizio, assicurati che la regola in entrata del gruppo di sicurezza consenta il traffico HTTPS. Per ulteriori informazioni sulle regole dei gruppi di sicurezza, consulta Regole del gruppo di sicurezza nella documentazione di Amazon VPC.

Concedi a Firehose l'accesso a un pubblico OpenSearch Destinazione serverless

Quando si utilizza un OpenSearch Destinazione serverless, Amazon Data Firehose fornisce dati al tuo OpenSearch Raccolta senza server e backup simultaneo di tutti i documenti non riusciti nel bucket S3. Se la registrazione degli errori è abilitata, Amazon Data Firehose invia anche gli errori di consegna dei dati al tuo CloudWatch gruppi di log e stream. Amazon Data Firehose utilizza un ruolo IAM per accedere a quanto specificato OpenSearch Raccolta serverless, bucket S3, AWS KMS chiave e CloudWatch gruppo di log e stream. È necessario disporre di un ruolo IAM per creare uno stream Firehose.

Utilizza la seguente politica di accesso per consentire ad Amazon Data Firehose di accedere al tuo bucket S3, OpenSearch Dominio serverless e AWS KMS chiave. Se non possiedi il bucket S3, aggiungi s3:PutObjectAcl all'elenco delle azioni Amazon S3, che garantisce al proprietario del bucket l'accesso completo agli oggetti forniti da Amazon Data Firehose. Questa policy ha anche un'istruzione che permette l'accesso a flusso di dati Amazon Kinesis. Se non utilizzi Kinesis Data Firehose come origine dati, puoi rimuovere questa istruzione.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] }, { "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": [ "arn:aws:kms:us-east-1:123456789012:key/key-id" ], "Condition": { "StringEquals": { "kms:ViaService": "s3.us-east-1.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*" } } }, { "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:GetShardIterator", "kinesis:GetRecords", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name" }, { "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:log-stream-name" ] }, { "Effect": "Allow", "Action": [ "lambda:InvokeFunction", "lambda:GetFunctionConfiguration" ], "Resource": [ "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version" ] }, { "Effect": "Allow", "Action": "aoss:APIAccessAll", "Resource": "arn:aws:aoss:us-east-1:123456789012:collection/collection-id" } ] }

Oltre alla politica di cui sopra, devi anche configurare Amazon Data Firehose in modo che in una policy di accesso ai dati vengano assegnate le seguenti autorizzazioni minime:

[ { "Rules":[ { "ResourceType":"index", "Resource":[ "index/target-collection/target-index" ], "Permission":[ "aoss:WriteDocument", "aoss:UpdateIndex", "aoss:CreateIndex" ] } ], "Principal":[ "arn:aws:sts::123456789012:assumed-role/firehose-delivery-role-name/*" ] } ]

Per ulteriori informazioni su come consentire altre AWS servizi per accedere al tuo AWS risorse, vedi Creazione di un ruolo per delegare le autorizzazioni a un AWS Servizio nel Guida per l'utente IAM.

Concedi a Firehose l'accesso a un OpenSearch Destinazione serverless in un VPC

Se il tuo OpenSearch La raccolta serverless è in un VPC, assicurati di concedere ad Amazon Data Firehose le autorizzazioni descritte nella sezione precedente. Inoltre, devi concedere ad Amazon Data Firehose le seguenti autorizzazioni per consentirgli di accedere al tuo OpenSearch VPC della collezione Serverless.

  • ec2:DescribeVpcs

  • ec2:DescribeVpcAttribute

  • ec2:DescribeSubnets

  • ec2:DescribeSecurityGroups

  • ec2:DescribeNetworkInterfaces

  • ec2:CreateNetworkInterface

  • ec2:CreateNetworkInterfacePermission

  • ec2:DeleteNetworkInterface

Importante

Non revocate queste autorizzazioni dopo aver creato lo stream Firehose. Se revochi queste autorizzazioni, il tuo stream Firehose verrà degradato o smetterà di fornire dati al tuo OpenSearch dominio di servizio ogni volta che il servizio tenta di interrogare o aggiornare ENI.

Importante

Quando specifichi le sottoreti per la consegna dei dati alla destinazione in un VPC privato, assicurati di avere un numero sufficiente di indirizzi IP gratuiti nelle sottoreti selezionate. Se non è disponibile un indirizzo IP gratuito in una sottorete specificata, Firehose non può creare o aggiungere ENI per la consegna dei dati nel VPC privato e la consegna sarà degradata o fallirà.

Quando crei o aggiorni il tuo stream Firehose, specifichi un gruppo di sicurezza che Firehose deve utilizzare quando invia i dati al tuo OpenSearch Raccolta serverless. È possibile utilizzare lo stesso gruppo di sicurezza di OpenSearch La raccolta serverless utilizza o una diversa. Se specifichi un gruppo di sicurezza diverso, assicurati che consenta il traffico HTTPS in uscita verso OpenSearch Gruppo di sicurezza della raccolta Serverless. Assicurati inoltre che il OpenSearch Il gruppo di sicurezza di Serverless Collection consente il traffico HTTPS proveniente dal gruppo di sicurezza specificato durante la configurazione dello stream Firehose. Se utilizzi lo stesso gruppo di sicurezza sia per il tuo stream Firehose che per il OpenSearch Raccolta serverless, assicurati che la regola in entrata del gruppo di sicurezza consenta il traffico HTTPS. Per ulteriori informazioni sulle regole dei gruppi di sicurezza, consulta Regole del gruppo di sicurezza nella documentazione di Amazon VPC.

Concedi a Firehose l'accesso a una destinazione Splunk

Quando utilizzi una destinazione Splunk, Amazon Data Firehose invia i dati al tuo endpoint Splunk HTTP Event Collector (HEC). Inoltre, esegue il backup dei dati nel bucket Amazon S3 specificato e, facoltativamente, puoi utilizzare un AWS KMS chiave di tua proprietà per la crittografia lato server di Amazon S3. Se la registrazione degli errori è abilitata, Firehose invia gli errori di consegna dei dati al tuo CloudWatch log stream. Puoi anche usare AWS Lambda per la trasformazione dei dati.

Se si utilizza un AWS un load balancer, assicurati che sia un Load Balancer classico o un Application Load Balancer. Inoltre, abilita le sessioni permanenti basate sulla durata con la scadenza dei cookie disabilitata per Classic Load Balancer e la scadenza è impostata al massimo (7 giorni) per Application Load Balancer. Per informazioni su come eseguire questa operazione, consulta Duration-Based Session Stickiness per Load Balancer classico o un Application Load Balancer.

Devi avere un ruolo IAM quando crei uno stream Firehose. Firehose assume il ruolo IAM e ottiene l'accesso al bucket, alla chiave e CloudWatch gruppo di log e stream.

Utilizza la seguente politica di accesso per consentire ad Amazon Data Firehose di accedere al tuo bucket S3. Se non possiedi il bucket S3, aggiungi s3:PutObjectAcl all'elenco delle azioni Amazon S3, che garantisce al proprietario del bucket l'accesso completo agli oggetti forniti da Amazon Data Firehose. Questa politica garantisce inoltre ad Amazon Data Firehose l'accesso a CloudWatch per la registrazione degli errori e a AWS Lambda per la trasformazione dei dati. La policy ha anche un'istruzione che permette l'accesso a flusso di dati Amazon Kinesis. Se non utilizzi Kinesis Data Firehose come origine dati, puoi rimuovere questa istruzione. Amazon Data Firehose non utilizza IAM per accedere a Splunk. Per accedere a Splunk, utilizza il token HEC.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] }, { "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": [ "arn:aws:kms:us-east-1:123456789012:key/key-id" ], "Condition": { "StringEquals": { "kms:ViaService": "s3.us-east-1.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*" } } }, { "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:GetShardIterator", "kinesis:GetRecords", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name" }, { "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:*" ] }, { "Effect": "Allow", "Action": [ "lambda:InvokeFunction", "lambda:GetFunctionConfiguration" ], "Resource": [ "arn:aws:lambda:us-east-1:123456789012:function:function-name:function-version" ] } ] }

Per ulteriori informazioni su come consentire ad altri AWS servizi per accedere al tuo AWS risorse, vedi Creazione di un ruolo per delegare le autorizzazioni a un AWS Servizio nel Guida per l'utente IAM.

Accesso a Splunk in VPC

Se la piattaforma Splunk si trova in un VPC, deve essere accessibile pubblicamente con un indirizzo IP pubblico. Inoltre, concedi ad Amazon Data Firehose l'accesso alla tua piattaforma Splunk sbloccando gli indirizzi IP di Amazon Data Firehose. Amazon Data Firehose attualmente utilizza i seguenti blocchi CIDR.

Region Blocchi CIDR
Stati Uniti orientali (Ohio)

18.216.68.160/27, 18.216.170.64/27, 18.216.170.96/27\

Stati Uniti orientali (Virginia settentrionale) 34.238.188.128/26, 34.238.188.192/26, 34.238.195.0/26
Stati Uniti occidentali (California settentrionale) 13.57.180.0/26
Stati Uniti occidentali (Oregon) 34.216.24.32/27, 34.216.24.192/27, 34.216.24.224/27
AWS GovCloud (US-East) 18.253.138.192/26
AWS GovCloud (US-West) 52.61.204.192/26
Asia Pacifico (Hong Kong) 18.162.221.64/26
Asia Pacifico (Taipei) 43.212.53.192/26
Asia Pacifico (Mumbai) 13.232.67.64/26
Asia Pacifico (Seoul) 13.209.71.0/26
Asia Pacifico (Singapore) 13.229.187.128/26
Asia Pacifico (Sydney) 13.211.12.0/26
Asia Pacifico (Thailandia) 43.208.112.128/26
Asia Pacifico (Tokyo) 13.230.21.0/27, 13.230.21.32/27
Canada (Centrale) 35.183.92.64/26
Canada occidentale (Calgary) 40.176.98.128/26
Europa (Francoforte) 18.194.95.192/27, 18.194.95.224/27, 18.195.48.0/27
Europa (Irlanda) 34.241.197.32/27, 34.241.197.64/27, 34.241.197.96/27
Europa (Londra) 18.130.91.0/26
Europa (Parigi) 35.180.112.0/26
Europa (Spagna) 18.100.194.0/26
Europa (Stoccolma) 13.53.191.0/26
Medio Oriente (Bahrein) 15.185.91.64/26
Messico (centrale) 78.12.207.64/26
Sud America (San Paolo) 18.228.1.192/26
Europa (Milano) 15.161.135.192/26
Africa (Città del Capo) 13.244.165.128/26
Asia Pacifico (Osaka) 13.208.217.0/26
Cina (Pechino) 52.81.151.64/26
Cina (Ningxia) 161.189.23.128/26
Asia Pacifico (Giacarta) 108.136.221.128/26
Medio Oriente (Emirati Arabi Uniti) 3.28.159.64/26
Israele (Tel Aviv) 51.16.102.64/26
Europa (Zurigo) 16.62.183.64/26
Asia Pacifico (Hyderabad) 18.60.192.192/26
Asia Pacifico (Melbourne) 16.50.161.192/26
Asia Pacifico (Malesia) 43.216.44.192/26
Asia Pacifico (Nuova Zelanda) 3.102.119.128/26

Inserisci i log di flusso VPC in Splunk utilizzando Amazon Data Firehose

Per saperne di più su come creare un abbonamento ai log di flusso VPC, pubblicarli su Firehose e inviare i log di flusso VPC a una destinazione supportata, consulta Inserisci i log di flusso VPC in Splunk utilizzando Amazon Data Firehose.

Accesso all'endpoint Snowflake o HTTP

Non esiste un sottoinsieme di AWS Intervalli di indirizzi IP specifici per Amazon Data Firehose quando la destinazione è un endpoint HTTP o un cluster pubblico Snowflake.

Per aggiungere Firehose a un elenco di cluster Snowflake pubblici o agli endpoint HTTP o HTTPS pubblici, aggiungi tutti gli attuali AWS Intervalli di indirizzi IP alle tue regole di ingresso.

Nota

Le notifiche non provengono sempre dagli stessi indirizzi IP AWS Regione come argomento associato. È necessario includere il AWS Intervallo di indirizzi IP per tutte le regioni.

Concedi a Firehose l'accesso a una destinazione Snowflake

Quando utilizzi Snowflake come destinazione, Firehose invia i dati a un account Snowflake utilizzando l'URL del tuo account Snowflake. Inoltre, esegue il backup dei dati di errore nel bucket Amazon Simple Storage Service specificato e, facoltativamente, puoi utilizzare un AWS Key Management Service chiave di tua proprietà per la crittografia lato server di Amazon S3. Se la registrazione degli errori è abilitata, Firehose invia gli errori di consegna dei dati al tuo CloudWatch Registra i flussi.

È necessario disporre di un ruolo IAM prima di creare uno stream Firehose. Firehose assume il ruolo IAM e ottiene l'accesso al bucket, alla chiave e CloudWatch Registra gruppo e stream. Usa la seguente politica di accesso per consentire a Firehose di accedere al tuo bucket S3. Se non possiedi il bucket S3, aggiungi s3:PutObjectAcl all'elenco delle azioni di Amazon Simple Storage Service, che garantisce al proprietario del bucket l'accesso completo agli oggetti forniti da Firehose. Questa politica garantisce inoltre a Firehose l'accesso a CloudWatch per la registrazione degli errori. La policy ha anche un'istruzione che permette l'accesso a flusso di dati Amazon Kinesis. Se non utilizzi Kinesis Data Firehose come origine dati, puoi rimuovere questa istruzione. Firehose non utilizza IAM per accedere a Snowflake. Per accedere a Snowflake, utilizza l'URL del tuo account Snowflake e PrivateLink Vpce Id nel caso di un cluster privato.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] }, { "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:GenerateDataKey" ], "Resource": [ "arn:aws:kms:us-east-1:123456789012:key/key-id" ], "Condition": { "StringEquals": { "kms:ViaService": "s3.us-east-1.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::amzn-s3-demo-bucket/prefix*" } } }, { "Effect": "Allow", "Action": [ "kinesis:DescribeStream", "kinesis:GetShardIterator", "kinesis:GetRecords", "kinesis:ListShards" ], "Resource": "arn:aws:kinesis:us-east-1:123456789012:stream/stream-name" }, { "Effect": "Allow", "Action": [ "logs:PutLogEvents" ], "Resource": [ "arn:aws:logs:us-east-1:123456789012:log-group:log-group-name:log-stream:*" ] } ] }

Per ulteriori informazioni su come consentire altri AWS servizi per accedere al tuo AWS risorse, vedi Creazione di un ruolo per delegare le autorizzazioni a un AWS Servizio nel Guida per l'utente IAM.

Accesso a Snowflake in VPC

Se il cluster Snowflake è abilitato per il collegamento privato, Firehose utilizzerà uno dei seguenti endpoint VPC al momento della creazione del collegamento privato per fornire dati al cluster privato senza utilizzare la rete Internet pubblica. A tal fine, crea regole di rete Snowflake per consentire l'ingresso da quanto segue AwsVpceIds per Regione AWS il tuo cluster è dentro. Per ulteriori informazioni, consulta Creazione di una regola di rete nel Guida per l'utente di Snowflake.

ID degli endpoint VPC da utilizzare in base alle regioni in cui si trova il cluster
Regione AWS VPCE IDs
Stati Uniti orientali (Ohio)

vpce-0d96cafcd96a50aeb

vpce-0cec34343d48f537b

Stati Uniti orientali (Virginia settentrionale)

vpce-0b4d7e8478e141ba8

vpce-0b75cd681fb507352

vpce-01c03e63820ec00d8

vpce-0c2cfc51dc2882422

vpce-06ca862f019e4e056

vpce-020cda0cfa63f8d1c

vpce-0b80504a1a783cd70

vpce-0289b9ff0b5259a96

vpce-0d7add8628bd69a12

vpce-02bfb5966cc59b2af

vpce-09e707674af878bf2

vpce-049b52e96cc1a2165

vpce-0bb6c7b7a8a86cdbb

vpce-03b22d599f51e80f3

vpce-01d60dc60fc106fe1

vpce-0186d20a4b24ecbef

vpce-0533906401a36e416

vpce-05111fb13d396710e

vpce-0694613f4fbd6f514

vpce-09b21cb25fe4cc4f4

vpce-06029c3550e4d2399

vpce-00961862a21b033da

vpce-01620b9ae33273587

vpce-078cf4ec226880ac9

vpce-0d711bf076ce56381

vpce-066b7e13cbfca6f6e

vpce-0674541252d9ccc26

vpce-03540b88dedb4b000

vpce-0b1828e79ad394b95

vpce-0dc0e6f001fb1a60d

vpce-0d8f82e71a244098a

vpce-00e374d9e3f1af5ce

vpce-0c1e3d6631ddb442f

Stati Uniti occidentali (Oregon)

vpce-0f60f72da4cd1e4e7

vpce-0c60d21eb8b1669fd

vpce-01c4e3e29afdafbef

vpce-0cc6bf2a88da139de

vpce-0797e08e169e50662

vpce-033cbe480381b5c0e

vpce-00debbdd8f9eb10a5

vpce-08ec2f386c809e889

vpce-0856d14310857b545

Europa (Francoforte)

vpce-068dbb7d71c9460fb

vpce-0a7a7f095942d4ec9

Europa (Irlanda)

vpce-06857e59c005a6276

vpce-04390f4f8778b75f2

vpce-011fd2b1f0aa172fd

Asia Pacifico (Tokyo)

vpce-06369e5258144e68a

vpce-0f2363cdb8926fbe8

Asia Pacifico (Singapore)

vpce-049cd46cce7a12d52

vpce-0e8965a1a4bdb8941

Asia Pacifico (Seul)

vpce-0aa444d9001e1faa1

vpce-04a49d4dcfd02b884

Asia Pacifico (Sydney)

vpce-048a60a182c52be63

vpce-03c19949787fd1859

Asia Pacifico (Mumbai)

vpce-0d68cb822f6f0db68

vpce-0517d32692ffcbde2

Europa (Londra)

vpce-0fd1874a0ba3b9374

vpce-08091b1a85e206029

Sud America (San Paolo)

vpce-065169b8144e4f12e

vpce-0493699f0e5762d63

Canada (Centrale)

vpce-07e6ed81689d5271f

vpce-0f53239730541394c

Europa (Parigi)

vpce-09419680077e6488a

vpce-0ea81ba2c08140c14

Asia Pacifico (Osaka)

vpce-0a9f003e6a7e38c05

vpce-02886510b897b1c5a

Europa (Stoccolma)

vpce-0d96410833219025a

vpce-060a32f9a75ba969f

Asia Pacifico (Giacarta)

vpce-00add4b9a25e5c649

vpce-004ae2de34338a856

Concedi a Firehose l'accesso a una destinazione endpoint HTTP

Puoi utilizzare Amazon Data Firehose per inviare dati a qualsiasi destinazione endpoint HTTP. Amazon Data Firehose esegue anche il backup di tali dati nel bucket Amazon S3 specificato e, facoltativamente, puoi utilizzare un AWS KMS chiave di tua proprietà per la crittografia lato server di Amazon S3. Se la registrazione degli errori è abilitata, Amazon Data Firehose invia gli errori di consegna dei dati al tuo CloudWatch flussi di log. Puoi anche usare AWS Lambda per la trasformazione dei dati.

È necessario disporre di un ruolo IAM per creare uno stream Firehose. Amazon Data Firehose assume il ruolo IAM e ottiene l'accesso al bucket, alla chiave e CloudWatch gruppo di log e stream.

Utilizza la seguente politica di accesso per consentire ad Amazon Data Firehose di accedere al bucket S3 specificato per il backup dei dati. Se non possiedi il bucket S3, aggiungi s3:PutObjectAcl all'elenco delle azioni Amazon S3, che garantisce al proprietario del bucket l'accesso completo agli oggetti forniti da Amazon Data Firehose. Questa politica garantisce inoltre ad Amazon Data Firehose l'accesso a CloudWatch per la registrazione degli errori e a AWS Lambda per la trasformazione dei dati. La policy ha anche un'istruzione che permette l'accesso a flusso di dati Amazon Kinesis. Se non utilizzi Kinesis Data Firehose come origine dati, puoi rimuovere questa istruzione.

Importante

Amazon Data Firehose non utilizza IAM per accedere alle destinazioni degli endpoint HTTP di proprietà di fornitori di servizi di terze parti supportati, tra cui Datadog, Dynatrace, LogicMonitor, MongoDB, New Relic, Splunk o Sumo Logic. Per accedere a una destinazione endpoint HTTP specificata di proprietà di un fornitore di servizi di terze parti supportato, contatta quel fornitore di servizi per ottenere la chiave API o la chiave di accesso necessaria per abilitare la consegna dei dati a quel servizio da Amazon Data Firehose.

Per ulteriori informazioni su come consentire altri AWS servizi per accedere al tuo AWS risorse, vedi Creazione di un ruolo per delegare le autorizzazioni a un AWS Servizio nel Guida per l'utente IAM.

Importante

Attualmente Amazon Data Firehose NON supporta la consegna di dati agli endpoint HTTP in un VPC.

Cross-account consegna da Amazon MSK

Quando crei uno stream Firehose dal tuo account Firehose (ad esempio, Account B) e la fonte è un cluster MSK in un altro AWS account (Account A), è necessario disporre delle seguenti configurazioni.

Account A:

  1. Nella console Amazon MSK scegli il cluster con provisioning, quindi scegli Proprietà.

  2. Sotto Impostazioni di rete, scegli Modifica e accendi Multi-VPC connettività.

  3. In Impostazioni di sicurezza scegli Modifica policy del cluster.

    1. Se il cluster non ha già configurato una policy, seleziona Includi il principale del servizio Firehose e Abilita la distribuzione S3 multi-account Firehose. Il Console di gestione AWS genererà automaticamente una policy con le autorizzazioni appropriate.

    2. Se il cluster ha già una policy configurata, aggiungi le seguenti autorizzazioni alla policy esistente:

      { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::us-east-1:role/mskaasTestDeliveryRole" }, "Action": [ "kafka:GetBootstrapBrokers", "kafka:DescribeCluster", "kafka:DescribeClusterV2", "kafka-cluster:Connect" ], "Resource": "arn:aws:kafka:us-east-1:123456789012:cluster/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20" // ARN of the cluster }, { "Effect": "Allow", "Principal": { "AWS": "arn:aws::iam::us-east-1:role/mskaasTestDeliveryRole" }, "Action": [ "kafka-cluster:DescribeTopic", "kafka-cluster:DescribeTopicDynamicConfiguration", "kafka-cluster:ReadData" ], "Resource": "arn:aws:kafka:us-east-1:arn:topic/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*"//topic of the cluster }, { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::us-east-1:role/mskaasTestDeliveryRole" }, "Action": "kafka-cluster:DescribeGroup", "Resource": "arn:aws:kafka:us-east-1:arn:group/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster }, }
  4. In Principale AWS , inserisci l'ID principale dell'Account B.

  5. Sotto Argomento, specifica l'argomento di Apache Kafka da cui desideri che il tuo stream Firehose acquisisca i dati. Una volta creato lo stream Firehose, non è possibile aggiornare questo argomento.

  6. Scegliere Salva modifiche.

Account B:

  1. Nella console Firehose, scegli Crea uno stream Firehose utilizzando l'account B.

  2. In Origine, scegli Amazon Managed Streaming for Apache Kafka.

  3. In Impostazioni di origine, per il cluster Amazon Managed Streaming for Apache Kafka, inserisci l'ARN del cluster Amazon MSK nell'Account A.

  4. Sotto Argomento, specifica l'argomento di Apache Kafka da cui desideri che il tuo stream Firehose acquisisca i dati. Una volta creato lo stream Firehose, non è possibile aggiornare questo argomento.

  5. In Nome del flusso di consegna specifica il nome del tuo stream Firehose.

Nell'Account B, quando crei il tuo stream Firehose, devi avere un ruolo IAM (creato di default quando usi il Console di gestione AWS) che concede allo stream Firehose l'accesso in «lettura» al cluster Amazon MSK con più account per l'argomento configurato.

Di seguito è riportato ciò che viene configurato dalla Console di gestione AWS:

{ "Sid": "", "Effect": "Allow", "Action": [ "kafka:GetBootstrapBrokers", "kafka:DescribeCluster", "kafka:DescribeClusterV2", "kafka-cluster:Connect" ], "Resource": "arn:aws:kafka:us-east-1:arn:aws::cluster/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster }, { "Sid": "", "Effect": "Allow", "Action": [ "kafka-cluster:DescribeTopic", "kafka-cluster:DescribeTopicDynamicConfiguration", "kafka-cluster:ReadData" ], "Resource": "arn:aws:kafka:us-east-1:arn:aws::topic/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/mskaas_test_topic" //topic of the cluster }, { "Sid": "", "Effect": "Allow", "Action": [ "kafka-cluster:DescribeGroup" ], "Resource": "arn:aws:kafka:us-east-1:arn:aws::group/DO-NOT-TOUCH-mskaas-provisioned-privateLink/xxxxxxxxx-2f3a-462a-ba09-xxxxxxxxxx-20/*" //topic of the cluster }, }

Successivamente, puoi completare la fase facoltativa di configurazione della trasformazione del record e della conversione del formato del record. Per ulteriori informazioni, consulta (Facoltativo) Configurare la trasformazione dei record e la conversione del formato.

Cross-account consegna a una destinazione Amazon S3

Puoi usare il AWS CLI o le API Amazon Data Firehose per creare uno stream Firehose in un'unica soluzione AWS account con una destinazione Amazon S3 in un altro account. La procedura seguente mostra un esempio di configurazione di uno stream Firehose di proprietà dell'account A per inviare dati a un bucket Amazon S3 di proprietà dell'account B.

  1. Crea un ruolo IAM nell'account A utilizzando i passaggi descritti in Concedi a Firehose l'accesso a una destinazione Amazon S3.

    Nota

    In questo caso il bucket Amazon S3 specificato nella policy di accesso è di proprietà dell'account B. Assicurati di aggiungere s3:PutObjectAcl all'elenco delle azioni di Amazon S3 nella policy di accesso, che garantisce all'account B l'accesso completo agli oggetti forniti da Amazon Data Firehose. Questa autorizzazione è necessaria per la distribuzione multi-account. Amazon Data Firehose imposta l'intestazione «x-amz-acl» sulla richiesta su «bucket-owner-full-control».

  2. Per consentire l'accesso dal ruolo IAM creato in precedenza, crea una policy del bucket S3 nell'account B. Il codice seguente è un esempio di policy del bucket. Per ulteriori informazioni, consulta Utilizzo delle policy di bucket e delle policy utente.

    JSON
    { "Version":"2012-10-17", "Id": "PolicyID", "Statement": [ { "Sid": "StmtID", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::123456789012:role/iam-role-name" }, "Action": [ "s3:AbortMultipartUpload", "s3:GetBucketLocation", "s3:GetObject", "s3:ListBucket", "s3:ListBucketMultipartUploads", "s3:PutObject", "s3:PutObjectAcl" ], "Resource": [ "arn:aws:s3:::amzn-s3-demo-bucket", "arn:aws:s3:::amzn-s3-demo-bucket/*" ] } ] }
  3. Crea uno stream Firehose nell'account A utilizzando il ruolo IAM creato nel passaggio 1.

Cross-account consegna a un OpenSearch destinazione del servizio

È possibile utilizzare AWS CLI o le API Amazon Data Firehose per creare uno stream Firehose in un'unica soluzione AWS account con un OpenSearch destinazione del servizio in un altro account. La procedura seguente mostra un esempio di come è possibile creare uno stream Firehose nell'account A e configurarlo per fornire dati a un OpenSearch Destinazione del servizio di proprietà dell'account B.

  1. Crea un ruolo IAM nell'account A utilizzando le fasi descritte in Concedi a Firehose l'accesso a un pubblico OpenSearch Destinazione del servizio.

  2. Per consentire l'accesso dal ruolo IAM creato nel passaggio precedente, crea un OpenSearch Politica di servizio nell'account B. Il seguente JSON è un esempio.

    JSON
    { "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::123456789012:role/firehose_delivery_role " }, "Action": "es:ESHttpGet", "Resource": [ "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/_all/_settings", "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/_cluster/stats", "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/roletest*/_mapping/roletest", "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/_nodes", "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/_nodes/stats", "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/_nodes/*/stats", "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/_stats", "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/roletest*/_stats", "arn:aws:es:us-east-1:123456789012:domain/cross-account-cluster/" ] } ] }
  3. Crea uno stream Firehose nell'account A utilizzando il ruolo IAM creato nel passaggio 1. Quando crei lo stream Firehose, usa il AWS CLI o le API Amazon Data Firehose e specifica ClusterEndpoint campo invece di DomainARN per OpenSearch Servizio.

Nota

Per creare uno stream Firehose in uno AWS account con un OpenSearch destinazione del servizio in un altro account, è necessario utilizzare AWS CLI per le API Amazon Data Firehose. Non puoi usare Console di gestione AWS per creare questo tipo di configurazione tra più account.

Utilizzo dei tag per controllare l'accesso

Puoi usare l'opzionale Condition elemento (o Condition bloccare) in una policy IAM per ottimizzare l'accesso alle operazioni di Amazon Data Firehose in base a chiavi e valori dei tag. Le sottosezioni seguenti descrivono come eseguire questa operazione per le diverse operazioni di Amazon Data Firehose. Per ulteriori informazioni sull'utilizzo dell'elemento Condition e degli operatori che puoi utilizzare al suo interno, consulta Elementi della policy JSON di IAM: condizione.

CreateDeliveryStream

Per l'operazione CreateDeliveryStream, utilizza la chiave di condizione aws:RequestTag. Nel seguente esempio, MyKey e MyValue rappresentano la chiave e il valore corrispondente del tag. Per ulteriori informazioni, consulta Comprendi le nozioni di base sui tag

JSON
{ "Version":"2012-10-17", "Statement": [{ "Effect": "Allow", "Action": [ "firehose:CreateDeliveryStream", "firehose:TagDeliveryStream" ], "Resource": "*", "Condition": { "StringEquals": { "aws:RequestTag/MyKey": "MyValue" } } }] }

TagDeliveryStream

Per l'operazione TagDeliveryStream, utilizza la chiave di condizione aws:TagKeys. Nel seguente esempio, MyKey è un esempio di chiave di tag.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "firehose:TagDeliveryStream", "Resource": "*", "Condition": { "ForAnyValue:StringEquals": { "aws:TagKeys": "MyKey" } } } ] }

UntagDeliveryStream

Per l'operazione UntagDeliveryStream, utilizza la chiave di condizione aws:TagKeys. Nel seguente esempio, MyKey è un esempio di chiave di tag.

JSON
{ "Version":"2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "firehose:UntagDeliveryStream", "Resource": "*", "Condition": { "ForAnyValue:StringEquals": { "aws:TagKeys": "MyKey" } } } ] }

ListDeliveryStreams

Non puoi utilizzare il controllo degli accessi basato su tag con ListDeliveryStreams.

Altre operazioni

Per tutte le operazioni Firehose diverse da CreateDeliveryStream, TagDeliveryStream, UntagDeliveryStream, e ListDeliveryStreams, usa aws:RequestTag chiave di condizione. Nel seguente esempio, MyKey e MyValue rappresentano la chiave e il valore corrispondente del tag.

ListDeliveryStreams, usa il firehose:ResourceTag chiave condizionale per controllare l'accesso in base ai tag su quel flusso Firehose.

Nel seguente esempio, MyKey e MyValue rappresentano la chiave e il valore corrispondente del tag. La politica si applicherebbe solo agli stream di Data Firehose con un tag denominato MyKey con un valore di MyValue. Per ulteriori informazioni sul controllo dell'accesso in base ai tag delle risorse, vedere Controllo dell'accesso a AWS risorse che utilizzano tag nel Guida per l'utente IAM.