BIG DATA – DESENVOLVIMENTO DE APLICAÇÕES DE MACHINE LEARNING E DE INTELIGÊNCIA ARTIFICIAL (IA)

Objetivos da formação

• Desenvolver aplicações de Machine Learning e de IA (Inteligência Artificial) com Spark e Python.
• Utilizar programação paralela num cluster.
• Desenvolver e otimizar algoritmos padrão de Machine Learning e de IA.
• Utilizar bibliotecas Python para o Machine Learning e a IA.
• Descrever o ciclo de vida de um projeto de Data Science.

Duração da formação

Programa da formação

Visão geral do Big Data, do Machine Learning e da IA

• Introdução ao Big Data e à IA (Inteligência Artificial): do que se trata?
• Perspetivas oferecidas pelo Big Data e pela IA.
• Os intervenientes do Big Data e da IA.
• Exemplos práticos.
• As tecnologias em causa.
• As diferentes profissões.
• Aspetos económicos (OPEX, CAPEX, TRI) do Cloud vs On-Premise.
• Demonstração de aplicações.

Revisões sobre Data Science.

• As bases da linguagem Python.
• Modelação das problemáticas através de vetores e matrizes.
• Probabilidades, estatísticas, estatísticas descritivas e explicativas.
• Entropia, ganho de informação.
• Compromisso viés-complexidade.
• A maldição da dimensão.
• Matriz de confusão.
• Gerir os valores em falta (MCAR / MAR / MNAR).
• Validação cruzada.
• Curva de aprendizagem.
• Fundamentos da limpeza de dados.
• Redução da dimensão por seleção ou transformação de variáveis.
• Métricas de desempenho de um modelo: R², Accuracy, Precisão, Recall, F1-score, AUC, P-valor.

Exemplos de exercícios práticos

• Carregamento, exploração, análise, limpeza e primeiras modelizações sobre um conjunto de dados.

Machine Learning e IA: algoritmos

• Os conceitos de Machine Learning e de IA.
• Dados supervisionados e não supervisionados: diferenças.
• Bibliotecas utilizadas: Scikit-learn, TensorFlow, PyTorch, Keras.
• Regressão.
• Modelos lineares.
• Classificação.
• Naive Bayes.
• K-NN.
• K-Means clustering.

Exemplos de exercícios práticos

•Implementação dos algoritmos estudados em função da finalidade procurada (regressão, classificação, imputação de valores em falta) utilizando as bibliotecas Scikit-learn e Keras.

• Árvores de decisão e de regressão.
• Support Vector Machines (SVM).
• Redes neuronais e aprendizagem profunda (Deep Learning).
• Redes convolutivas e redes recorrentes.

Exemplos de exercícios práticos

• Modelizações avançadas (DL, CNN, RNN) com otimização das arquiteturas e dos hiperparâmetros.

Desenvolver com Spark

• Introdução ao Apache Spark.
• Machine Learning com Apache Spark MLlib.
• Tratamento de dados em tempo real com Apache Spark Streaming.
• Consultas SQL com Apache Spark SQL.
• Modelação de redes sociais com grafos utilizando Apache Spark GraphFrames.
• Demonstração de trabalho colaborativo com MLFlow.

Exemplos de exercícios práticos

• Exercícios de aplicação com Spark MLlib, Streaming, SQL e GraphFrames.

• Implementação de MLFlow para comparar modelos.

Ferramentas de visualização de dados (Dataviz)

• Definição de Dataviz.
• Os intervenientes da Dataviz.
• Princípios da Dataviz.
• Bibliotecas Python de Dataviz.
• Tableau Desktop / Public.
• Microsoft Power BI.

MLOps e arquiteturas serverless

• Introdução ao MLOps e às arquiteturas serverless.
• As abordagens DevOps e GitOps.
• Bases da contentorização e da automatização.
• As arquiteturas serverless.
• Desenvolvimento e implementação de aplicações MLOps em produção (demonstração).
• Monitorização e melhoria contínua das aplicações MLOps (demonstração).

Exemplos de exercícios práticos

• Utilização de Tableau ou MS Power BI.
• Utilização de bibliotecas Python (Matplotlib, Seaborn).
• Criação e execução de um pipeline MLOps com serving e monitorização do modelo.

Nota: O conteúdo deste programa pode ser objeto de adaptação em função dos níveis, pré-requisitos e necessidades dos participantes.

Formador

Facilitador que combina know-how com experiência empresarial e competências pedagógicas, para dar resposta a necessidades operacionais e potenciar a aprendizagem.