Deep Learning

Вопросы к коллоквиуму

  1. Функции активации. Зачем нужны нелинейности. Минусы сигмоиды.
  2. Backpropagation. Вычислительные графы. Дополнительная память при обучении. Вывод формул для градиента по параметрам и входу на примере линейного слоя.
  3. Регуляризация. Capacity модели. Dropout и Batchnorm.
  4. Оптимизация. Стохастический градиентный спуск. Adam, RMSProp, методы с моментом.
  5. Сверточные сети. Представление изображений. Операция свертки. Residual connections. Receptive Field. Количество обучаемых параметров сверточного слоя.
  6. Автоэнкодеры. Морфинг. Генерация картинок. Вариационные автоэнкодеры.
  7. Рекуррентные сети. GRU, LSTM. Затухающий / взрывающийся градиент и способы с ним бороться.
  8. Attention. Модель трансформера. Задача перевода.
  9. Постановка задачи Metric Learning, понятие эмбеддинга. Метрики качества в Metric Learning: Recall@K, F1, MAP@R. Contrastive-based лоссы: Contrastive Loss, Triplet Loss. Понятие proxy. Стратегии семплирования в Metric Learning, Hard Negative Mining. Classification-based лоссы. Сферические эмбеддинги, Normalised Softmax. Margin. SphereFace, CosFace, ArcFace. Face Recognition: верификация и идентификация.
  10. Понятие Saliency map. Алгоритм построения attribution с помощью Integrated Gradients. Принцип работы алгоритма Guided backprop. Принцип работы Gradient weighted class activation maps.