Эффективные модели и оптимизация LLM

Занимается темой «эффективного ИИ» — как сделать крупные нейросетевые модели компактнее, быстрее и безопаснее при реальном применении.

Тезисы выступления:

• Краткий обзор железа, введение понятия вычислительной эффективности и факторов, от которых она зависит
• Методы квантизации — сжатия моделей за счёт уменьшения точности представления чисел
• Методы спарсификации — обнуления или удаления наименее значимых параметров модели
• Ускорение обучения и инференса с помощью менее точных форматов данных
• Обзор современных подходов к оптимизации LLM на разных уровнях: от низкоуровневых инженерных приёмов до алгоритмических решений
• Автоматический поиск архитектур (NAS) — способы нахождения эффективных моделей без ручной настройки

Очная лекция

30 мест

20 мая

с 16:00 до 18:00

Gaussian Splatting

Занимается R&D задачами в проектах, связанных с метавёрсами, 3D-аватарами и компьютерной графикой/зрением в целом

Тезисы выступления:

• Поговорим про типовые задачи 3D Computer Vision & Graphics
• Рассмотрим Gaussian Splatting как один из методов их решения
• Проанализируем сильные и слабые стороны 3D GS
• Углубимся в те приложения, в которых 3D GS проявили себя (SLAM, Volumetric video, 3D-аватары)

Использование больших языковых моделей с RAG

Занимается автоматизацией процесса управления мультимедийными пространствами с помощью больших языковых моделей

Самир Ахмед

Тезисы выступления:

• Поговорим про LLM, зачем они нужны, с чем едят
• Обсудим промптинг, продвинутый промптинг и почему это важно
• Продемонстрируем работу языковой модели YandexGPT с туристическими и архивными документами
• Ответы на вопросы слушателей

консультант по ML в Yandex Cloud
преподаватель-исследователь в Московском авиационном институте

Llama and it's fine-tunning

Занимается обработкой естественного языка (NLP)

Карина Романова

Тезисы выступления:

• Обзор LLaMA
• Синтетический сбор инструктивных данных
• Что такое low-rank adaptation ускорение
• 100500 дообучений LLaMA: Alpaca, Vicuña, Koala, GPT4all, WizardLM, StackLLaMA
• Ответы на вопросы слушателей

NLP researcher "Innotech"

ВНИМАНИЕ! Блокнот предназначен только для демонстрации. Обучение модели производилось на двух видеокартах. Ресурсов Google Colab для его запуска недостаточно

Использование больших языковых моделей
для обработки и генерации текста

Ведет научные исследования по обработке естественного языка с использованием больших языковых моделей в Московском Университете

Ксения Студеникина

Тезисы выступления:

• Что такое языковое моделирование. Обзор архитектуры трансформер
• Обзор моделей-энкодеров: BERT, RoBERTa, ALBERT
• Дообучение BERT для анализа тональности на практическом примере
• Обзор моделей-декодеров: GPТ, GPT-2, GPT-3
• Обучение с подкреплением на основе отзывов людей: InstructGPT
• Дообучение ruGPT-3 для генерации текста в определенном стиле на практическом примере
• Тренды развития больших языковых моделей: мультиязычность, мультимодальность
• Ответы на вопросы слушателей

Программист «НИВЦ МГУ»

Полная программа лекции

Методы оптимизации процесса разметки для обучения нейронных сетей

Руководит отделом краудсорсинга, отвечает за инструменты по разметке данных. Преподает краудсорсинг в ШАДе и ВШЭ

Роман Куцев

Тезисы выступления:

• Сколько данных нужно для обучения нейронной сети
• Что выгоднее: улучшать архитектуру нейронной сети или увеличивать датасет
• Зачем использовать Active Learning
• Как предразметка позволяет удешевить создание датасета
• В чем главный плюс концепции Human in the Loop
• Тренды в разметке данных
• Применение разметки для обучения нейронных сетей в науке

CTO TrainingData.Solutions