• Что такое языковое моделирование. Обзор архитектуры трансформер
• Обзор моделей-энкодеров: BERT, RoBERTa, ALBERT
• Дообучение BERT для анализа тональности на практическом примере
• Обзор моделей-декодеров: GPТ, GPT-2, GPT-3
• Обучение с подкреплением на основе отзывов людей: InstructGPT
• Дообучение ruGPT-3 для генерации текста в определенном стиле на практическом примере
• Тренды развития больших языковых моделей: мультиязычность, мультимодальность
• Ответы на вопросы слушателей
Полная программа лекции на странице для регистрации