Deep Learning

Вопросы к коллоквиуму

1. Функции активации. Зачем нужны нелинейности. Минусы сигмоиды.
2. Backpropagation. Вычислительные графы. Дополнительная память при обучении. Вывод формул для градиента по параметрам и входу на примере линейного слоя.
3. Регуляризация. Capacity модели. Dropout и Batchnorm.
4. Оптимизация. Стохастический градиентный спуск. Adam, RMSProp, методы с моментом.
5. Сверточные сети. Представление изображений. Операция свертки. Residual connections. Receptive Field. Количество обучаемых параметров сверточного слоя.
6. Автоэнкодеры. Морфинг. Генерация картинок. Вариационные автоэнкодеры.
7. Рекуррентные сети. GRU, LSTM. Затухающий / взрывающийся градиент и способы с ним бороться.
8. Attention. Модель трансформера. Задача перевода.
9. Постановка задачи Metric Learning, понятие эмбеддинга. Метрики качества в Metric Learning: Recall@K, F1, MAP@R. Contrastive-based лоссы: Contrastive Loss, Triplet Loss. Понятие proxy. Стратегии семплирования в Metric Learning, Hard Negative Mining. Classification-based лоссы. Сферические эмбеддинги, Normalised Softmax. Margin. SphereFace, CosFace, ArcFace. Face Recognition: верификация и идентификация.
10. Понятие Saliency map. Алгоритм построения attribution с помощью Integrated Gradients. Принцип работы алгоритма Guided backprop. Принцип работы Gradient weighted class activation maps.