TFX, que significa TensorFlow Extended, es una plataforma integral integral para crear canalizaciones de aprendizaje automático listas para la producción. Proporciona un conjunto de herramientas y componentes que facilitan el desarrollo y la implementación de sistemas de aprendizaje automático escalables y confiables. TFX está diseñado para abordar los desafíos de administrar y optimizar las canalizaciones de aprendizaje automático, lo que permite que los científicos e ingenieros de datos se concentren en construir e iterar modelos en lugar de lidiar con las complejidades de la infraestructura y la administración de datos.
TFX organiza la tubería de aprendizaje automático en varias capas horizontales, cada una con un propósito específico en el flujo de trabajo general. Estas capas funcionan juntas para garantizar el flujo fluido de datos y artefactos del modelo, así como la ejecución eficiente de la canalización. Exploremos las diferentes capas en TFX para la gestión y optimización de canalizaciones:
1. Ingestión y validación de datos:
Esta capa es responsable de ingerir datos sin procesar de varias fuentes, como archivos, bases de datos o sistemas de transmisión. TFX proporciona herramientas como TensorFlow Data Validation (TFDV) para realizar la validación de datos y la generación de estadísticas. TFDV ayuda a identificar anomalías, valores faltantes y deriva de datos, lo que garantiza la calidad y la coherencia de los datos de entrada.
2. Preprocesamiento de datos:
En esta capa, TFX ofrece TensorFlow Transform (TFT) para realizar el preprocesamiento de datos y la ingeniería de características. TFT permite a los usuarios definir transformaciones en los datos de entrada, como escalado, normalización, codificación one-hot y más. Estas transformaciones se aplican de manera uniforme durante el entrenamiento y el servicio, lo que garantiza la coherencia de los datos y reduce el riesgo de sesgo de datos.
3. Entrenamiento modelo:
TFX aprovecha las poderosas capacidades de capacitación de TensorFlow en esta capa. Los usuarios pueden definir y entrenar sus modelos de aprendizaje automático mediante las API de alto nivel de TensorFlow o el código personalizado de TensorFlow. TFX proporciona herramientas como TensorFlow Model Analysis (TFMA) para evaluar y validar los modelos entrenados mediante métricas, visualizaciones y técnicas de división. TFMA ayuda a evaluar el rendimiento del modelo e identificar posibles problemas o sesgos.
4. Validación y evaluación del modelo:
Esta capa se enfoca en validar y evaluar los modelos entrenados. TFX proporciona Validación de datos de TensorFlow (TFDV) y Análisis de modelo de TensorFlow (TFMA) para realizar una evaluación y validación integral del modelo. TFDV ayuda a validar los datos de entrada frente a las expectativas definidas durante la fase de ingesta de datos, mientras que TFMA permite a los usuarios evaluar el rendimiento del modelo frente a métricas y segmentos predefinidos.
5. Implementación del modelo:
TFX admite la implementación de modelos en varios entornos, incluidos TensorFlow Serving, TensorFlow Lite y TensorFlow.js. TensorFlow Serving permite a los usuarios servir sus modelos como servicios web escalables y eficientes, mientras que TensorFlow Lite y TensorFlow.js permiten la implementación en plataformas móviles y web, respectivamente. TFX proporciona herramientas y utilidades para empaquetar e implementar los modelos entrenados con facilidad.
6. Orquestación y gestión del flujo de trabajo:
TFX se integra con los sistemas de gestión de flujos de trabajo, como Apache Airflow y Kubeflow Pipelines, para orquestar y gestionar toda la canalización de aprendizaje automático. Estos sistemas brindan capacidades para la programación, el monitoreo y el manejo de errores, lo que garantiza la ejecución confiable de la tubería.
Al organizar la tubería en estas capas horizontales, TFX permite a los científicos e ingenieros de datos desarrollar y optimizar los sistemas de aprendizaje automático de manera eficiente. Proporciona un enfoque estructurado y escalable para administrar las complejidades de la ingesta de datos, el preprocesamiento, el entrenamiento, la validación, la evaluación y la implementación de modelos. Con TFX, los usuarios pueden concentrarse en crear modelos de alta calidad y brindar valor a sus organizaciones.
TFX para la gestión y optimización de canalizaciones incluye capas horizontales para ingesta y validación de datos, preprocesamiento de datos, entrenamiento de modelos, validación y evaluación de modelos, implementación de modelos y orquestación y gestión de flujos de trabajo. Estas capas funcionan juntas para optimizar el desarrollo y la implementación de canalizaciones de aprendizaje automático, lo que permite a los científicos e ingenieros de datos crear sistemas de aprendizaje automático escalables y confiables.
Otras preguntas y respuestas recientes sobre Fundamentos de TensorFlow de EITC/AI/TFF:
- ¿Cómo se puede utilizar una capa de incrustación para asignar automáticamente los ejes adecuados para un gráfico de representación de palabras como vectores?
- ¿Cuál es el propósito de la agrupación máxima en una CNN?
- ¿Cómo se aplica el proceso de extracción de características en una red neuronal convolucional (CNN) al reconocimiento de imágenes?
- ¿Es necesario utilizar una función de aprendizaje asincrónico para los modelos de aprendizaje automático que se ejecutan en TensorFlow.js?
- ¿Cuál es el parámetro de número máximo de palabras de TensorFlow Keras Tokenizer API?
- ¿Se puede utilizar la API TensorFlow Keras Tokenizer para encontrar las palabras más frecuentes?
- ¿Qué es TOCO?
- ¿Cuál es la relación entre varias épocas en un modelo de aprendizaje automático y la precisión de la predicción al ejecutar el modelo?
- ¿La API de vecinos del paquete en Neural Structured Learning de TensorFlow produce un conjunto de datos de entrenamiento aumentado basado en datos de gráficos naturales?
- ¿Qué es la API de vecinos del paquete en el aprendizaje estructurado neuronal de TensorFlow?
Ver más preguntas y respuestas en EITC/AI/TFF Fundamentos de TensorFlow