Questa pagina spiega perché e come utilizzare la funzionalità MLTransform per preparare i dati per l'addestramento dei modelli di machine learning (ML). Combinando più trasformazioni di trattamento dati in un'unica classe, MLTransform semplifica il processo di applicazione delle operazioni di trattamento dati di Apache Beam ML al tuo workflow.
Per informazioni sull'utilizzo di MLTransform per le attività di generazione degli embedding, consulta Genera embedding con MLTransform.

MLTransform nel passaggio di pre-elaborazione del workflow.
Vantaggi
La classe MLTransform offre i seguenti vantaggi:
- Trasforma i dati senza scrivere codice complesso o gestire le librerie sottostanti.
- Concatenare in modo efficiente più tipi di operazioni di trattamento con un'unica interfaccia.
Genera embedding che puoi utilizzare per eseguire il push dei dati nei database vettoriali o per eseguire l'inferenza.
Per saperne di più sulla generazione di embedding, consulta Genera embedding con MLTransform.
Supporto e limitazioni
La classe MLTransform presenta le seguenti limitazioni:
- Disponibile per le pipeline che utilizzano l'SDK Apache Beam per Python versione 2.53.0 e successive.
- Le pipeline devono utilizzare le finestre predefinite.
Trasformazioni di trattamento dati che utilizzano TFT:
- Supporto di Python 3.9, 3.10, 3.11.
- Supportano le pipeline batch.
Casi d'uso
I blocchi note di esempio mostrano come utilizzare MLTransform per casi d'uso specifici degli embedding.
- Voglio calcolare un vocabolario da un set di dati
- Calcola un vocabolario univoco da un set di dati, quindi mappa ogni parola o token a un indice intero distinto. Utilizza questa trasformazione per convertire i dati di testo in rappresentazioni numeriche per le attività di machine learning.
- Voglio scalare i miei dati per addestrare il mio modello ML
- Scala i dati in modo da poterli utilizzare per addestrare il tuo modello di ML. La classe Apache Beam
MLTransforminclude più trasformazioni di scalabilità dei dati.
Per un elenco completo delle trasformazioni disponibili, consulta Trasformazioni nella documentazione di Apache Beam.
Utilizza MLTransform
Per utilizzare la classe MLTransform per pre-elaborare i dati, includi il seguente codice nella pipeline:
import apache_beam as beam
from apache_beam.ml.transforms.base import MLTransform
from apache_beam.ml.transforms.tft import TRANSFORM_NAME
import tempfile
data = [
{
DATA
},
]
artifact_location = gs://BUCKET_NAME
TRANSFORM_FUNCTION_NAME = TRANSFORM_NAME(columns=['x'])
with beam.Pipeline() as p:
transformed_data = (
p
| beam.Create(data)
| MLTransform(write_artifact_location=artifact_location).with_transform(
TRANSFORM_FUNCTION_NAME)
| beam.Map(print))
Sostituisci i seguenti valori:
TRANSFORM_NAME: il nome della trasformazione da utilizzareBCUKET_NAME: il nome del tuo bucket Cloud StorageDATA: i dati di input da trasformareTRANSFORM_FUNCTION_NAME: il nome che assegni alla funzione di trasformazione nel codice
Passaggi successivi
- Per maggiori dettagli su
MLTransform, consulta Pre-elabora i dati nella documentazione di Apache Beam. - Per altri esempi, consulta
MLTransformper il trattamento dati nel catalogo delle trasformazioni di Apache Beam. - Esegui un blocco note interattivo in Colab.