[11/11/2022] En el informe State of ModelOps 2022, el 51% de las grandes empresas habían realizado pruebas piloto o experimentos iniciales en inteligencia artificial, pero todavía no los ponen en producción. Solo el 38% informó que puede responder preguntas ejecutivas sobre el retorno a la inversión en inteligencia artificial, y el 43% afirmó que su empresa es ineficaz para encontrar y solucionar problemas de manera oportuna.
[Reciba lo último de CIO Perú suscribiéndose a nuestro newsletter semanal]
Estos desafíos plantean la cuestión de cómo mejorar la productividad del desarrollo, la entrega y la gestión de modelos de aprendizaje automático en producción.
¿MLops o ModelOps? Es posible que necesite ambos
Ahora los científicos de datos disponen de muchas herramientas de analítica para desarrollar modelos, como Alteryx, AWS SageMaker, Dataiku, DataRobot, Google Vertex AI, KNIME, Microsoft Azure Machine Learning, SAS y otros. También hay plataformas MLops para ayudar a los equipos de ciencia de datos a integrar sus herramientas de analítica, ejecutar experimentos, e implementar modelos de aprendizaje automático durante el proceso de desarrollo.
Rohit Tandon, gerente general de ReadyAI y director gerente de Deloitte Consulting, explica el rol de MLops en las implementaciones de inteligencia artificial a gran escala. "A medida que las empresas buscan incrementar la capacidad de desarrollo de inteligencia artificial de docenas a cientos o incluso miles de modelos de aprendizaje automático, pueden beneficiarse de la misma ingeniería y disciplina operativa que los desarrolladores aportaron al desarrollo de software. MLops puede ayudar a automatizar flujos de trabajo manuales e ineficientes y agilizar todos los pasos de la construcción y gestión de modelos”.
Aunque muchas plataformas MLops soportan modelos de implementación y monitoreo en producción, su función principal es servir a los científicos de datos durante los procesos de desarrollo, prueba y mejora. Las plataformas de ModelOps y las prácticas tienen como objetivo llenar un vacío al proporcionar herramientas de colaboración, orquestación e informes sobre qué modelos de aprendizaje automático se ejecutan en producción, y qué tan bien se desempeñan desde las perspectivas operativas, de cumplimiento y de negocios.
Una forma de pensar en MLops versus ModelOps es que MLops para ciencia de datos es similar a las herramientas DevOps, mientras que ModelOps proporciona gobernanza, colaboración e informes en torno al ciclo de vida del aprendizaje automático, enfocándose en operaciones, monitoreo y soporte.
Ejemplos de casos de uso de ModelOps incluyen bancos que desarrollan modelos de aprobación de crédito, hospitales que usan el aprendizaje automático para identificar anomalías de pacientes, y minoristas que usan el aprendizaje automático para equilibrar el rendimiento de producción con la demanda del cliente. En estos casos, las partes interesadas del negocio buscan aprendizaje automático explicable y necesitan confiar en las predicciones. En algunos casos, los reguladores requieren transparencia en el modelo.
Ciertamente, existe una superposición confusa en la terminología y las capacidades entre MLops, ModelOps e incluso DataOps. Al pensar en cómo ayudar a los científicos de datos a implementar, administrar y proporcionar informes de negocios sobre modelos compatibles, ofrezco cinco capacidades ModelOps para mejorar la productividad de la ciencia de datos.
1. Colabore usando un catálogo de modelos de aprendizaje automático
¿Los equipos de ciencia de datos saben qué modelos de aprendizaje automático se están ejecutando en producción y qué tan bien se desempeñan? Al igual que la gobernanza de datos y las operaciones de datos usan catálogos de datos como una fuente de referencia para los conjuntos de datos disponibles, los modelos pueden proporcionar transparencia operativa a los modelos de aprendizaje automático.
Dmitry Petrov, cofundador y director ejecutivo de Iterative, afirma: "la productividad de los científicos de datos se puede medir en la rapidez con la que pueden llevar modelos al mercado a las aplicaciones y servicios de su organización. Para lograrlo, recomiendo mejorar la visibilidad y la colaboración entre los equipos de ciencia de datos”.
Petrov sugiere "tener un lugar central para almacenar toda la información relacionada con el modelo, como datos, experimentos, métricas e hiperparámetros, y conectarse a herramientas orientadas a Devops para que la puesta en producción de los modelos sea más fluida”.
2. Establezca un camino consistente y automatizado hacia la producción
Las herramientas de DevOps que menciona Petrov se refieren específicamente a las herramientas de CI/CD para ayudar a llevar el código, los parámetros y los artefactos de datos a los ambientes de tiempo de ejecución. La implementación continua en ambientes de producción tiene partes interesadas de negocio adicionales, especialmente cuando los modelos predictivos requieren revisiones de cumplimiento normativo.
Manasi Vartak, fundador y director ejecutivo de Verta, sugiere: "las plataformas de ModelOps con listas de verificación de preparación, flujos de trabajo automatizados y controles de acceso incorporados para la gobernanza pueden facilitar y acelerar la entrega”. Ella continúa: "los equipos de ciencia de datos entregan modelos a sus equipos de gestión de riesgos de modelos, ingeniería de aprendizaje automático, SRE y desarrollo para garantizar la confiabilidad operativa, gobernanza, la seguridad y la capacidad de adaptación de escala de las implementaciones de inteligencia artificial en tiempo real y de misión crítica”.
3. Supervise los modelos de aprendizaje automático para operaciones y cumplimiento
Ayudar a los científicos de datos a automatizar e implementar más modelos con mayor rapidez puede crear problemas al negocio si no hay un modelo de ModelOps que le siga el ritmo.
Una necesidad operativa clave es el monitoreo de los modelos, como explica Kjell Carlsson, jefe de estrategia de ciencia de datos y evangelismo en Domino Data Lab. "Con la ayuda de las plataformas ModelOps, los científicos de datos pueden desarrollar modelos más rápido. En el mejor de los casos, estas plataformas agilizan la implementación y el monitoreo, por ejemplo, la deriva del modelo en los diferentes ambientes donde residen las aplicaciones comerciales, ya sea en la nube u on premises”.
John Wills, CTO de campo en Alation, compartió una definición fácil de entender para la derivación de un modelo. "La derivación del modelo es la capacidad de la plataforma para medir la situación en la que cambia la distribución de las entradas del modelo”, señala Wills. "La identificación temprana de este cambio permite a los científicos de datos adelantarse a los problemas y los impactos negativos sobre el negocio relacionados con la pérdida de precisión”.
4. Proporcionar informes ejecutivos acerca de los impactos sobre el negocio
Cuando los científicos de datos implementan modelos de aprendizaje automático en producción y los usuarios del negocio experimentan los beneficios, ¿cómo sabrán los ejecutivos que patrocinan las inversiones en inteligencia artificial cuándo están dando sus frutos?
Krishna Kallakuri, CEO de Diwo, afirma: "el objetivo son las decisiones rápidas y precisas, por lo que las empresas deben medir la productividad de un científico de datos junto con la productividad de los analistas y usuarios de negocio a los que sirve la inteligencia artificial”.
Petrov, de Iterative, agrega que las plataformas de modelos deben visualizar el "progreso en torno a la construcción y las mejoras del modelo, y compartirlo entre los miembros del equipo y el liderazgo”.
La conclusión es que los impactos de la inteligencia artificial y el aprendizaje automático en producción no siempre son visibles para los ejecutivos. A menudo, es un ingrediente de la experiencia del cliente, el flujo de trabajo de los empleados o la integración de aplicaciones lo que proporciona el impacto. Las plataformas de ModelOps, con informes de nivel ejecutivo, tienen como propósito abordar esta brecha.
5. Proporcionar capacidades para soportar el ciclo de vida del modelo aprendizaje automático
Consideremos algunas de las capacidades de las plataformas ModelOps que mejoran la productividad de la ciencia de datos:
- Administran implementaciones de producción con capacidades de control de versiones y reversión
- Habilitan la colaboración con otros científicos de datos, promueven el intercambio de conocimientos y permiten la reutilización
- Identifican y ayudan a priorizar qué modelos en producción tienen un bajo rendimiento o requieren soporte
- Mejoran la audibilidad del modelo y auditan los informes de los modelos para que los científicos de datos no pierdan un tiempo precioso respondiendo a los reguladores.
- Automatizan los informes de negocios para que los científicos de datos tengan una fuente única para compartir con las partes interesadas y los ejecutivos de negocio que demuestre los impactos de sus modelos sobre el negocio.
Estas son algunas de las capacidades que los líderes de inteligencia artificial quieren de las plataformas de modelos: los resultados que son importantes para las organizaciones que buscan generar impactos comerciales a partir de las inversiones en aprendizaje automático.
Más organizaciones experimentarán con aprendizaje automático e inteligencia artificial. La pregunta sigue siendo si MLops, ModelOps u otras mejores prácticas emergentes ayudarán a los científicos de datos a implementar, administrar y demostrar los resultados de los modelos en producción sobre el negocio.
Basado en el artículo de Isaac Sacolick (InfoWorld) y editado por CIO Perú
Isaac Sacolick es el autor de Driving Digital: The Leader's Guide to Business Transformation through Technology, que cubre muchas prácticas como la metodología ágil, devops y ciencia de datos que son fundamentales para los programas exitosos de transformación digital. Sacolick es un reconocido CIO social, bloguero desde hace mucho tiempo en Social, Agile and Transformation y CIO.com, también es presidente de StarCIO.