Aulas

Essa disciplina tem uma carga horária teórica de 4 horas semanais, para que os alunos sejam expostos aos conceitos que serão utilizados ao longo do projeto prático daquela semana.

• A1: Introdução
  Logística da disciplina e visão geral de aprendizagem de máquina com redes neurais.
  [slides] [vídeo]
  
• A2: Aprendizado de Máquina
  Formulação matemática de problemas de aprendizado de máquina.
  [slides] [vídeo]
  

  Leituras Sugeridas:

  • Deep Learning, Cap. 5: Machine Learning Basics, Pags. 96-105
  • Artificial Intelligence: A Modern Approach, Cap 19: Learning from Examples, Pags. 651-657
• A3: Regressão Logística
  Regressão Logística como uma rede neural para problemas linearmente separáveis.
  [slides] [vídeo]
  

  Leituras Sugeridas:

  • Speech and Language Processing, Cap. 5: Logistic Regression, Pags. 1-15
• A4: Gradiente Descendente
  Otimização de pesos de redes neurais com gradiente descendente.
  [slides] [vídeo]
  

  Leituras Sugeridas:

  • Deep Learning, Cap. 4: Numerical Computation, Pags. 80-84
  • Artificial Intelligence: A Modern Approach, Cap. 19: Learning from Examples, Pags. 676-679
• A5: Regressão Logística em Numpy
  Aula prática sobre implementação de regressão logística com Numpy.
  [código] [vídeo]
  

  Leituras Sugeridas:

  • NumPy: the absolute basics for beginners
• A6: Multilayer Perceptron (MLP)
  Redes neurais com múltiplas camadas para problemas linearmente não-separáveis
  [slides] [vídeo 1] [vídeo 2]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 2: Forward and Backpropagation, Pags. 9-21
  • Deep Learning, Cap. 6: Deep Feedforward Networks, Pags. 164-199
• A7: Backpropagation
  Otimização de pesos de redes neurais profundas com gradiente descendente.
  [slides] [vídeo]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 2: Forward and Backpropagation, Pags. 21-33
  • Deep Learning, Cap. 6: Deep Feedforward Networks, Pags. 200-209
• A8: MLP em Numpy
  Aula prática sobre implementação de redes neurais profundas com Numpy.
• A9: Regularização
  Melhorando o desempenho de redes neurais com regularização.
  [slides] [vídeo]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 4: Regularization, Pags. 56-64
  • Deep Learning, Cap. 7: Regularization for Deep Learning, Pags. 224-238
• A10: Otimização
  Algoritmos de otimização avançados: Mini-batch, Momentum, AdaGrad, RMSProp, Adam.
  [slides] [código] [vídeo 1] [vídeo 2]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 3: Optimization for Training Models, Pags. 35-47
  • Deep Learning, Cap. 8: Optimization, Pags. 290-296, 302-305
• A11: Ajuste de Hiperparâmetros
  Melhorando o desempenho de redes neurais com ajusde de hiperparâmetros.
• A12: MLP em Pytorch
  Aula prática sobre implementação de redes neurais profundas com Pytorch.
  [código] [vídeo]
  

  Leituras Sugeridas:

  • Introduction to Pytorch
• A13: Redes Neurais Convolucionais (CNNs)
  CNNs para problemas de aprendizado com imagens.
  [slides] [vídeo 1] [vídeo 2]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 5: Convolutional Neural Networks, Pags. 69-80
  • Deep Learning, Cap. 9: Convolutional Networks, Pags. 326-352
• A14: Estudo de Casos de CNNs
  Resnet, Inception Network, MobileNet e Efficient Net.
• A15: CNNs em Pytorch
  Aula prática sobre implementação de CNNs com Pytorch.
  [código] [vídeo]
  

  Leituras Sugeridas:

  • LeNet in Pytorch
• A16: Redes Neurais Recorrentes (RNNs)
  RNNs para problemas de aprendizado com sequências.
  [slides] [vídeo 1] [vídeo 2]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 6: Sequence Models, Pags. 91-102
  • Deep Learning, Cap. 10: Recurrent and Recursive Nets, Pags. 367-380
  • The Unreasonable Effectiveness of Recurrent Neural Networks
• A17: GRU e LSTM
  Arquiteturas recorrentes avançadas para processamento de sequências longas.
  [vídeo]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 6: Sequence Models, Pags. 102-115
  • Understanding LSTM Networks
• A18: Representação de Palavras
  Utilizando RNNs para representação de palavras (word embeddings) e processamento de textos.
  [vídeo]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 6: Sequence Models, Pags. 121-122
  • Artificial Intelligence: A Modern Approach, Cap 24: Deep Learning For Natural Language Processing, Pags. 856-860
• A19: RNNs em Pytorch
  Aula prática sobre implementação de RNNs com Pytorch.
  [código] [vídeo]
  

  Leituras Sugeridas:

  • NLP from Scratch: Generating Names with a Character-Level RNN
  • NLP from Scratch: Classifying Names with a Character-Level RNN
• A20: Mecanismos de Atenção
  Melhorando o desemepenho de modelos sequence-to-sequence com mecanismos de atenção.
  [slides] [código] [vídeo 1] [vídeo 2]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 6: Sequence Models, Pags. 117-120
  • Artificial Intelligence: A Modern Approach, Cap 24: Deep Learning For Natural Language Processing, Pags. 848-868
• A21: Transformers
  Transformers para problemas de aprendizado com sequências.
  [slides] [vídeo]
  

  Leituras Sugeridas:

  • The Science of Deep Learning, Cap. 8: Transformers, Pags. 142-150
  • Artificial Intelligence: A Modern Approach, Cap 24: Deep Learning For Natural Language Processing, Pags. 868-871
  • Illustrated Guide to Transformers- Step by Step Explanation
• A22: Estudo de Casos de Transformers
  BERT e GPT.
  [slides]
  

  Leituras Sugeridas:

• A23: Transformers em Pytorch
  Aula prática sobre implementação de Transformers com Pytorch.
  [código] [vídeo]
  

  Leituras Sugeridas:

  • Language Modeling with Transformer and Torchtext
• A24: Transferência de Aprendizado (Ver Aula 22)
  Ajuste fino de redes neurais pré-treinadas.
• A25: Generative Adversarial Networks
  GANs como modelos generativos e suas aplicações.
• A26: Variational Autoencoders
  VAEs como modelos generativos e suas aplicações.
• A27: Diffusion Models
  Diffusion Models como modelos generativos e suas aplicações.
• A30: Apresentações dos Projetos Finais
  Apresentação dos projetos finais desenvolidos pelos alunos.
• A31: Conclusão
  Revisão dos tópicos vistos na disiciplina e recomendações de atividades futuras.
  [slides] [vídeo]