Llegamos a ustedes gracias a:



Noticias

AWS anuncia la disponibilidad de Amazon Managed Workflows for Apache Airflow

[26/11/2020] Amazon Web Services (AWS) anunció la disponibilidad general de Amazon Managed Workflows for Apache Airflow (MWAA), un nuevo servicio gestionado que señalan facilita a los ingenieros de datos la ejecución de flujos de trabajo de procesamiento de datos en la nube.

"Apache Airflow es una popular herramienta de código abierto que ayuda a los clientes a crear, programar y monitorear flujos de trabajo. Con Amazon MWAA, los clientes pueden utilizar la misma plataforma familiar de Airflow como lo hacen hoy en día para gestionar sus flujos de trabajo, y disfrutar de una mejor escalabilidad, disponibilidad y seguridad sin la carga de tener que construir, escalar y gestionar la infraestructura subyacente, señaló Jesse Dougherty, vicepresidente de Integración de Aplicaciones, AWS. "Amazon MWAA escala la capacidad de ejecución del flujo de trabajo en función de las necesidades del cliente, y se integra con los servicios de seguridad de AWS para proporcionar un acceso seguro a los datos de los clientes. No se requieren inversiones iniciales para utilizar Amazon MWAA y los clientes solo pagan por lo que utilizan.

Hoy en día, explicó el ejecutivo, los clientes están utilizando el análisis y el aprendizaje automático para obtener información a partir de grandes cantidades de datos. Para usar estos datos de manera efectiva, los clientes a menudo necesitan primero construir un flujo de trabajo que defina una serie de tareas secuenciales para preparar y procesar los datos.

"Decenas de miles de clientes utilizan las funciones de paso de AWS para construir y ejecutar visualmente flujos de trabajo rentables y escalables impulsados por eventos que ejecutan tareas a través de múltiples servicios de AWS. También hay clientes que quieren el flujo de trabajo de orquestación de Apache Airflow, que tiene una activa comunidad de código abierto, una gran biblioteca de integraciones preconstruidas a herramientas de procesamiento de datos de terceros como Apache Spark y Hadoop, y la capacidad de usar scripts Python para crear flujos de trabajo, agregó.

Sin embargo, sostuvo Dougherty, el uso de Apache Airflow requiere que los ingenieros de datos instalen, mantengan, escalen y aseguren los entornos de Apache Airflow, lo que añade costo y complejidad operacional. "Además, para soportar la autentificación basada en roles para un acceso seguro, Apache Airflow a menudo requiere una combinación manual, iterativa y propensa a errores de cambios de configuración, comandos de interfaz de línea de comandos (CLI), y, en algunos casos, ediciones del código de Apache Airflow. Los clientes también deben integrar y configurar herramientas adicionales para alertar sobre problemas como el tiempo de inactividad del sistema, errores en el flujo de trabajo, y retrasos en la ejecución de tareas. Aunque los clientes realmente disfrutan de las integraciones preconstruidas y del familiar lenguaje de programación Python de Apache Airflow, lo quieren sin el coste y la complejidad operativa añadidos, anotó.

En este sentido, agregó Dougherty, Amazon MWAA gestiona el aprovisionamiento y el mantenimiento continuo de Apache Airflow para que los clientes ya no tengan que preocuparse de parchear, escalar o asegurar las implementaciones autogestionadas de Apache Airflow. "Con Amazon MWAA, los recursos de computación que ejecutan las tareas se escalan bajo demanda, proporcionando un rendimiento consistente para los usuarios. Los datos de los clientes están seguros por defecto, ya que las cargas de trabajo se ejecutan en los propios entornos de nube aislados y seguros de los clientes utilizando la Nube Privada Virtual de Amazon (Amazon VPC), con los datos almacenados cifrados mediante el Servicio de Gestión de Claves de AWS (AWS KMS), indicó el ejecutivo.

Agregó que Amazon MWAA facilita a los clientes la combinación de datos utilizando cualquiera de las integraciones de Apache Airflow, incluyendo los servicios AWS y las populares herramientas de terceros como Apache Hadoop, Presto, Hive y Spark, para automatizar el procesamiento de datos, los canales de aprendizaje de la máquina y el desarrollo y las operaciones de software. "Los clientes pueden proporcionar acceso basado en roles a la interfaz de usuario de Apache Airflow de forma fácil y segura a través de la Gestión de Identidad y Acceso (IAM) de AWS, proporcionando a los usuarios acceso de inicio de sesión único (SSO) para programar y visualizar sus ejecuciones de flujo de trabajo. Amazon MWAA envía automáticamente las métricas y los registros del sistema Apache Airflow al servicio de monitorización de AWS, Amazon CloudWatch, facilitando a los clientes la visualización de los retrasos en la ejecución de las tareas y los errores del flujo de trabajo en uno o más entornos sin herramientas de terceros. Con Amazon MWAA, los ingenieros de datos obtienen la extensibilidad de Apache Airflow con la escalabilidad, disponibilidad y seguridad de AWS, sostuvo Dougherty.

Los clientes pueden lanzar un nuevo entorno Amazon MWAA desde la Consola de Gestión de AWS, CLI, AWS CloudFormation, o AWS SDK, y empezar a funcionar en minutos. Amazon MWAA está disponible hoy en día en EE.UU. Este (Norte de Virginia), Oeste de EE.UU. (Oregón), Este de EE.UU. (Ohio), Asia Pacífico (Singapur), Asia Pacífico (Tokio), Asia Pacífico (Sydney), Europa (Irlanda), Europa (Frankfurt), y Europa (Estocolmo), con más regiones por venir.