PYTHON E MLFLOW – CONCEBER, IMPLEMENTAR E MONITORIZAR UM PIPELINE MLOPS

Objetivos da formação

• Conceber e testar um modelo de ML (Machine Learning) com MLflow.
• Conceber e testar um pipeline MLOps robusto com MLflow.
• Implementar o modelo em produção.
• Monitorizar o modelo em produção e corrigir desvios.

Duração da formação

Programa da formação

FUNDAMENTOS 

• O que são dados?

• Ciclo de vida dos dados

• Ciclo de vida da ciência de dados

• Evolução da análise de dados

• Contributos da análise de dados e da cloud

• O que é uma organização orientada por dados?

• Business Intelligence vs Analytics

• Do Data Warehouse ao Data Lake e à Lakehouse

• Governação e qualidade de dados

• Lean, Agile e DevOps, MLOps aplicado aos dados

• Contentorização e arquiteturas de microsserviços

• Contributos do MLOps

• Fluxo de trabalho MLOps

• DevOps vs DataOps vs MLOps

• Machine Learning e Operações: compreender os desafios

• Construir e desenvolver uma equipa de MLOps

• Plataformas e ferramentas de MLOps

• O que é MLflow?

Exemplos de exercícios práticos

• Desenvolver e implementar um primeiro modelo com MLflow

PRIMEIROS PASSOS COM MLFLOW 

• Projetos MLflow

• Tracking do MLflow

• Modelos MLflow

• Model Registry do MLflow

Exemplo de trabalhos práticos

• Criação de um primeiro pipeline com MLflow

DESENVOLVIMENTO E EXPERIMENTAÇÃO DE MODELOS 

• Definir o experimento: exploração do conjunto de dados

• Adicionar experiências: etapas para conceber um classificador logístico

• Comparar diferentes modelos

• Melhorar o modelo através da otimização de hiperparâmetros

• Gerir assinaturas e esquemas de modelos

• Adicionar o melhor modelo ao Model Registry

• Gerir o ciclo de vida de desenvolvimento do modelo

Exemplo de trabalhos práticos

• Melhoria do pipeline anterior através da otimização de hiperparâmetros e seleção do melhor modelo para implementação

MACHINE LEARNING EM PRODUÇÃO 

• Compreender os desafios dos sistemas e projetos de Machine Learning

• Plataformas de Machine Learning: Michelangelo, Kubeflow

• Definir a arquitetura de uma plataforma de Machine Learning

• Arquitetura de sistemas de alto nível

• MLflow e outras ferramentas no ecossistema

Exemplo de trabalhos práticos

• Estudo de caso sobre dimensionamento de uma infraestrutura de Machine Learning, incluindo um servidor MLflow

PREPARAR OS DADOS E TREINAR O MODELO 

• Estruturar o fluxo de dados do projeto

• Normalizar o código e o ambiente com projetos MLflow

• Desenvolver pipelines reproduzíveis e testáveis utilizando recipes

• Obter os dados

• Verificar a qualidade dos dados

• Gerar atributos e dados de treino

• Executar o pipeline de ponta a ponta

• Utilizar feature stores

• Implementar a tarefa de aprendizagem

• Avaliar o modelo

• Implementar o modelo no Model Registry

• Criar uma imagem Docker para a tarefa de aprendizagem

• Implementar a imagem Docker

Exemplo de trabalhos práticos

• Implementação de projetos MLflow para normalizar código e ambiente

IMPLEMENTAÇÃO E INFERÊNCIA COM MLFLOW 

• Criar um Model Registry local

• Criar um processo de inferência em lote

• Utilizar a API para inferência

• Implementação de modelos batch no Kubernetes

• Análise de ambientes cloud e introdução ao AWS SageMaker

Exemplo de trabalhos práticos

• Realizar uma implementação na cloud com AWS SageMaker

MELHORIA DO FLUXO DE TRABALHO DE MACHINE LEARNING 

• Integração do MLflow com TensorFlow e PyTorch

• Integração do MLflow com Spark

• Integração do MLflow com NVIDIA RAPIDS (GPU)

• Monitorizar o desempenho dos modelos em produção

• Monitorização de deriva de dados, do modelo e do target

• Monitorização e alertas de infraestrutura

Exemplo de trabalhos práticos

• Desenvolver um pipeline com implementação no AWS SageMaker

CASOS DE USO AVANÇADOS DE MLFLOW

• Introdução ao Deep Learning eficaz

• Otimizar a utilização de recursos do modelo (CPU, RAM, armazenamento) com MLflow e Optuna

• Disponibilizar múltiplos modelos através de um único endpoint com MLflow e PyFunc

• Deteção de deriva de dados e de features com MLflow e Evidently

• IA Responsável: monitorização da interpretabilidade e explicabilidade dos modelos com MLflow, SHAP, LIME e InterpretML

Exemplo de trabalhos práticos

• Aplicação prática com MLflow, Optuna, PyFunc, Evidently e InterpretML

Formador

Facilitador que combina know-how com experiência empresarial e competências pedagógicas, para dar resposta a necessidades operacionais e potenciar a aprendizagem.