IMPLEMENTAR UMA INTELIGÊNCIA ARTIFICIAL (IA) OPEN SOURCE LOCALMENTE
- inteligência artificial, Inteligência Artificial, New, PRO
- 0 (Registered)
A formação Implementar uma Inteligência Artificial (IA) Open Source Localmente destina‑se a profissionais de dados, engenharia e gestão que pretendem conceber e implementar soluções de IA completas em infraestruturas locais ou privadas. Ao longo da formação, os participantes aprendem a definir requisitos funcionais e não funcionais, a comparar modelos open source segundo métricas técnicas e económicas, e a escolher abordagens de treino como from scratch, transfer learning, prompting, distillation, RLHF, Mixture of Experts, LoRA e PEFT. O programa cobre ainda infraestruturas locais para LLM, otimização de inferência (quantization, LoRA), monitorização e desafios reais de colocação em produção, permitindo implementar IA open source robusta, segura e otimizada.
- Definir os requisitos funcionais e não funcionais do seu modelo, bem como os testes.
- Comparar os diferentes modelos open source do mercado segundo as principais métricas.
- Explorar as diferentes alternativas para treinar o seu modelo: from scratch, transfer learning, prompting, distillation, RLHF, mixture of experts, LoRA e PEFT.
- Especificar e estimar as alternativas arquiteturais locais capazes de alojar o seu modelo.
- Implementar e monitorizar o seu modelo em produção, e otimizar as inferências.
• Introdução.
• Avanços recentes na produção de modelos de IA.
• Planeamento de aplicações de IA: as grandes etapas.
• IA closed source vs IA open source: comparação das vantagens e desvantagens.
• Engenharia de custos.
• Modelos open source.
• Requisitos de hardware para cada tipo de modelo (memória, CPU/GPU/multi-GPU/cluster/cloud privado, rede).
• Engenharia de Inteligências Artificiais: dos LLM aos modelos fundacionais e ecossistemas de IA.
• Engenharia de datasets.
• As três camadas da stack de IA.
Exemplos de exercícios práticos
• A partir de um estudo de caso: recolha de necessidades, estudo de viabilidade, estimativa do orçamento e dos recursos, seleção de uma solução, implementação da aplicação de IA, testes.
Os modelos fundacionais
• Polivalentes (Mistral/Mixtral, Llama, Falcon).
• Leves (Phi-3, Gemma, TinyLlama).
• Especializados (CodeLlama, Meditron).
• Tratamento.
• Enriquecimento.
• Aumento.
• Síntese dos dados.
• O que é um modelo fundacional, exemplos.
• Processo de criação de um modelo fundacional.
• Dados de aprendizagem.
• Modelização: arquitetura do modelo, tamanho do modelo.
Alternativas de treino
• From scratch.
• Transfer learning.
• Prompting.
• Distillation.
• RLHF.
• Mixture of experts.
• LoRA.
• PEFT.
• Afinação (fine tuning).
Amostragem
• Estratégias.
• Test time compute.
• Saídas estruturadas.
Infraestruturas para os LLM
• Ollama.
• LM Studio.
• llama.cpp.
• vLLM.
• Unsloth.
• Hugging Face.
• Hub Space.
Otimização dos LLM
• Quantization.
• LoRA.
• Fully sharded data parallel – quantized LoRA.
Desafios e soluções na colocação em produção dos LLM e LCM
Exemplos de exercícios práticos
• Reimplementação do modelo open source Llama.
• Melhoria do modelo com quantization e LoRA.
• Implementação, inferência e monitorização.
Nota: O conteúdo deste programa pode ser objeto de adaptação em função dos níveis, pré-requisitos e necessidades dos participantes.
Facilitador que combina know-how com experiência empresarial e competências pedagógicas, para dar resposta a necessidades operacionais e potenciar a aprendizagem.
Objetivos da formação
- Definir os requisitos funcionais e não funcionais do seu modelo, bem como os testes.
- Comparar os diferentes modelos open source do mercado segundo as principais métricas.
- Explorar as diferentes alternativas para treinar o seu modelo: from scratch, transfer learning, prompting, distillation, RLHF, mixture of experts, LoRA e PEFT.
- Especificar e estimar as alternativas arquiteturais locais capazes de alojar o seu modelo.
- Implementar e monitorizar o seu modelo em produção, e otimizar as inferências.
Duração da formação
Programa da formação
• Introdução.
• Avanços recentes na produção de modelos de IA.
• Planeamento de aplicações de IA: as grandes etapas.
• IA closed source vs IA open source: comparação das vantagens e desvantagens.
• Engenharia de custos.
• Modelos open source.
• Requisitos de hardware para cada tipo de modelo (memória, CPU/GPU/multi-GPU/cluster/cloud privado, rede).
• Engenharia de Inteligências Artificiais: dos LLM aos modelos fundacionais e ecossistemas de IA.
• Engenharia de datasets.
• As três camadas da stack de IA.
Exemplos de exercícios práticos
• A partir de um estudo de caso: recolha de necessidades, estudo de viabilidade, estimativa do orçamento e dos recursos, seleção de uma solução, implementação da aplicação de IA, testes.
Os modelos fundacionais
• Polivalentes (Mistral/Mixtral, Llama, Falcon).
• Leves (Phi-3, Gemma, TinyLlama).
• Especializados (CodeLlama, Meditron).
• Tratamento.
• Enriquecimento.
• Aumento.
• Síntese dos dados.
• O que é um modelo fundacional, exemplos.
• Processo de criação de um modelo fundacional.
• Dados de aprendizagem.
• Modelização: arquitetura do modelo, tamanho do modelo.
Alternativas de treino
• From scratch.
• Transfer learning.
• Prompting.
• Distillation.
• RLHF.
• Mixture of experts.
• LoRA.
• PEFT.
• Afinação (fine tuning).
Amostragem
• Estratégias.
• Test time compute.
• Saídas estruturadas.
Infraestruturas para os LLM
• Ollama.
• LM Studio.
• llama.cpp.
• vLLM.
• Unsloth.
• Hugging Face.
• Hub Space.
Otimização dos LLM
• Quantization.
• LoRA.
• Fully sharded data parallel – quantized LoRA.
Desafios e soluções na colocação em produção dos LLM e LCM
Exemplos de exercícios práticos
• Reimplementação do modelo open source Llama.
• Melhoria do modelo com quantization e LoRA.
• Implementação, inferência e monitorização.
Nota: O conteúdo deste programa pode ser objeto de adaptação em função dos níveis, pré-requisitos e necessidades dos participantes.
Formador
Facilitador que combina know-how com experiência empresarial e competências pedagógicas, para dar resposta a necessidades operacionais e potenciar a aprendizagem.
Clique na imagem para expandir
Os nossos espaços de formação oferecem todas as condições para continuar o seu desenvolvimento pessoal e profissional em absoluta segurança
Não se esqueça de subscrever o blog RhBizz e de nos seguir no LindekIn, Facebook, Instagram e Youtube.
