Bootcamp Online
Deep Learning com TensorFlow

▸ O que é Machine Learning: aprendizagem supervisionada, não supervisionada e por reforço
▸ Pipeline de ML: recolha de dados, feature engineering, treino, avaliação e iteração
▸ Regressão Linear simples e múltipla: hipótese, função de custo (MSE) e gradient descent
▸ Implementação de regressão linear passo a passo com NumPy
▸ Classificação: regressão logística, função sigmoid e decision boundary
▸ Métricas de avaliação: accuracy, precision, recall, F1-score, AUC-ROC e matriz de confusão
▸ Overfitting vs underfitting: bias-variance tradeoff e validação cruzada (k-fold)
▸ Introdução ao Scikit-learn: pipelines de treino e avaliação

▸ O percetrão: modelo biológico vs modelo computacional
▸ Funções de ativação: Sigmoid, Tanh, ReLU, Leaky ReLU, Softmax — quando usar cada uma
▸ Arquitetura de uma rede neural: camadas de entrada, ocultas e de saída
▸ Forward propagation: do input à previsão, passo a passo
▸ Funções de custo: MSE para regressão, Binary Cross-Entropy e Categorical Cross-Entropy
▸ Backpropagation: a regra da cadeia aplicada ao treino de redes neurais
▸ Gradient descent e as suas variantes: batch, mini-batch e stochastic (SGD)
▸ Introdução ao TensorFlow 2.x: tensores, eager execution, tf.GradientTape
▸ Primeira rede neural com Keras: Sequential API, Dense layers, compile e fit

▸ Problemas de redes profundas: vanishing e exploding gradients
▸ Inicialização de pesos: Xavier/Glorot e He — como evitar gradientes instáveis
▸ Otimizadores avançados: SGD com momentum, RMSprop, Adam, AdaGrad — comparação
visual e prática
▸ Learning rate scheduling: step decay, exponential decay, cosine annealing e
ReduceLROnPlateau
▸ Regularização L1 e L2 (weight decay): intuição geométrica e impacto nos pesos
▸ Dropout: conceito, taxa ideal e como aplicar em Keras
▸ Batch Normalization: normalizar ativações para estabilizar e acelerar o treino
▸ Early Stopping e callbacks no Keras: ModelCheckpoint, EarlyStopping, TensorBoard
▸ Data augmentation: transformações geométricas e de cor para aumentar o dataset
▸ TensorBoard: monitorização de loss, accuracy, histogramas de pesos e grafos do modelo

▸  Intuição das convoluções: filtros como detetores de features (bordas, texturas, formas)
▸ Camadas fundamentais: Conv2D, MaxPooling, AveragePooling, GlobalAveragePooling e Flatten
▸ Hiperparâmetros: kernel size, stride, padding (same vs valid) e número de filtros
▸ Arquiteturas clássicas: LeNet-5, AlexNet, VGG-16 — evolução histórica e decisões de design
▸ ResNet e skip connections: como resolver o degradation problem em redes muito profundas
▸ Transfer Learning: reutilizar modelos pré-treinados (ImageNet) para novos problemas
▸ Fine-tuning: estratégias de descongelamento progressivo de camadas
▸ tf.data API: pipelines eficientes com prefetch, cache, shuffle e batch

▸ Dados sequenciais: texto, séries temporais e sinais — porque é que a ordem importa
▸ RNN básica: unfolding, hidden state e o problema da memória de curto prazo
▸ LSTM (Long Short-Term Memory): cell state, gates (forget, input, output) e fluxo de informação
▸ GRU (Gated Recurrent Unit): simplificação do LSTM — arquitetura e quando usar cada um
▸ Bidirectional RNNs e stacked layers: capturar contexto nos dois sentidos
▸ Pré-processamento de texto: tokenização, padding, vocabulário e sequências de inteiros
▸ Word Embeddings: Word2Vec, GloVe e tf.keras.layers.Embedding
▸ Previsão de séries temporais: janelas deslizantes, normalização e walk-forward validation

▸ Limitações das RNNs: processamento sequencial e dificuldade com dependências longas
▸ Mecanismo de Atenção: intuição (query, key, value), score functions e self-attention
▸ Arquitetura Transformer: encoder-decoder, multi-head attention e positional encoding
▸ Visão geral de BERT, GPT e LLMs: como os Transformers mudaram o NLP e a IA
▸ Autoencoders: arquitetura encoder-decoder para compressão e reconstrução de dados
▸ Variational Autoencoders (VAEs): espaço latente contínuo e geração de novos dados
▸ GANs (Generative Adversarial Networks): o jogo entre generator e discriminator
▸ DCGAN: geração de imagens com convoluções — arquitetura e técnicas de estabilização

▸ Do notebook à produção: desafios reais de deployment (latência, escala, monitorização)
▸ Salvamento de modelos: SavedModel format, HDF5, TF Checkpoints e versionamento
▸ TensorFlow Serving: servir modelos via REST API e gRPC
▸ TensorFlow Lite: otimização para dispositivos móveis e edge computing
▸ TensorFlow.js: execução de modelos no browser — casos de uso e limitações
▸ Otimização de modelos: quantização (post-training e quantization-aware) e pruning
▸ Conceitos de MLOps: versionamento de dados e modelos, CI/CD para ML, monitorização de
drift
▸ Introdução ao TFX (TensorFlow Extended): componentes de um pipeline ML em produção
▸ Docker básico: containerizar um modelo para deployment reprodutível

▸ Definição do problema e seleção do dataset (orientação individualizada pelo formador)
▸ Análise exploratória dos dados (EDA) e pré-processamento
▸ Seleção e justificação da arquitetura: CNN, RNN, Transformer ou combinação
▸ Treino com regularização, otimização e monitorização via TensorBoard

▸ Avaliação com métricas adequadas ao problema e análise de erros (confusion matrix, exemplos
mal classificados)
▸ Exportação do modelo para deployment (SavedModel ou TFLite)
▸ Apresentação final: pitch técnico de 10 minutos por aluno/grupo
▸ Feedback bidirecional, discussão de melhorias e próximos passos