Видеокурс «Нейронные сети для обработки текстов в гуманитарных науках» от команды MSU.AI разработан специально по запросу представителей гуманитарных дисциплин, которые хотят научиться решать NLP-задачи и применять инструментарий нейросетей к языковым данным.

Направление NLP объединяет в себе лингвистику, компьютерные науки и искусственный интеллект. Наша команда создала образовательный видеокурс, который поможет в освоении алгоритмов машинного обучения для автоматической обработки текстов, научит решать прикладные задачи, связанные с обработкой естественного языка и будет полезен широкому кругу представителей гуманитарных специальностей: от лингвистов до социологов.

Первые видеолекции будут посвящены базовым инструментам и алгоритмам машинного обучения, общим принципам нейронных сетей, а затем, в ходе изучения видеокурса, вы познакомитесь с представлением текстовой информации, обработкой текстов с помощью рекуррентных сетей и сетей-трансформеров.

Формат коротких видеоуроков позволит изучить темы в любое удобное время. Видеозаписи и учебные материалы находятся в свободном доступе для всех желающих.

Необходимые навыки для освоения курса:

• Базовое умение программировать на языке Python
• Базовые знания математического анализа
• Базовые знания линейной алгебры
• Базовые знания математической статистики

Два пути. Задача курса. AI, ML, ANN, DL. Области применения. Обзор курса. Задачи машинного обучения. Обучение с учителем (supervised learning). Обучение без учителя (unsupervised learning).

План исследования. Инструменты. Сбор данных. Предобработка текста. Векторизация текста. Разведочный анализ данных. Обучение модели. Обучение и применение. Оценка качества классификации.

Пример работы с данными и моделью. Предобработка данных. Разведочный анализ данных. Обучение и тестирование модели. Подбор гиперпараметров.

Необходимость методов классического машинного обучения. Линейная регрессия. Модель и ее параметры. Функция потерь.

Метод градиентного спуска. Точки минимума и максимума функции. Ландшафт функции потерь. Частная производная и градиент функции. Градиентный спуск и скорость обучения. Необходимость нормализации. Cтохастический градиентный спуск.

Логистическая регрессия. Переход к вероятности. Распознавание эмоций.

Деревья решений. Принцип работы дерева решений. Классификация. Регрессия. Свойства деревьев решений. Bias, Variance, Irreducible error.

Заставка. Усреднение предсказания классификаторов. Случайный лес. Boosting. Gradient boosting (градиентный бустинг). Модификации градиентного бустинга.

Ограничения линейных моделей. Проблема ХОR. Внутриклассовая вариативность. Многослойные нейронные сети. Веса и смещения. Нейронная сеть как универсальный аппроксиматор. Библиотека PyTorch. Обучение нейронной сети.

Функции активации. Требования к функциям активации. Логистическая функция. Гиперболический тангенс. ReLU. Leaky ReLU. GELU (Gaussian Error Linear Unit). Функции потерь (loss functions).

Метод обратного распространения ошибки. Вычислительный граф. Пошаговый разбор метода обратного распространения. Анимация работы метода обратного распространения ошибки. Автоматическое вычисление градиента в PyTorch.

Архитектура рекуррентных нейронных сетей. LSTM (Архитектуры рекуррентных нейронных сетей). GRU. Для каких задач применимы рекуррентные нейронные сети.

Задачи языкового моделирования. Практическая реализация генерации текста.

Задачи языкового моделирования. Практическая реализация генерации текста.

Архитектура трансформер. Создание модели. Декодировщик.

Архитектура трансформер. Пример на реальных данных.

Архитектура трансформер. Токенизация.

Модели на основе энкодера трансформера. ELMo. BERT.

Библиотека Transformers. Модели-энкодеры и их сравнение.

Тонкая настройка BERT.

Модели на основе декодера трансформера. Поколения GPT. Токенизиция и генерация текста.

Рекомендательные системы. Анализ тональности.

Дообучение инструкциях. Открытые модели декодеры.

Эффективная тонкая настройка. Prompt tuning. Prefix tuning. Адаптеры. LoRA.