Приглашённый эксперт из Института искусственного интеллекта AIRI провела несколько открытых занятий на ФБКИ ИГУ в рамках программы магистратуры "Большие данные и интеллектуальные системы". Зоя Воловикова – выпускница факультета бизнес-коммуникаций и информатики 2020 года, ныне аспирант МФТИ и сотрудник AIRI.
Эксперт познакомила магистрантов, студентов, а также научных сотрудников институтов СО РАН с такой динамично развивающейся областью искусственного интеллекта, как обучение с подкреплением (reinforcement learning, RL).
На первой лекции слушатели изучили основные концепции обучения с подкреплением,, где агент взаимодействует со средой, получает вознаграждения за свои действия и обучается оптимальной стратегии поведения; рассмотрели классические методы, такие, как итерация по стратегии и итерация по полезности, а также обсудили преимущества и ограничения RL, примеры его применения в робототехнике, играх и управлении сложными системами.
Вторую лекцию "Мультимодальное обучение с подкреплением и задача следования инструкциям" Зоя Александровна посвятила современным методам (CLIP и FiLM), позволяющим объединять информацию из разных источников (текст, изображение, видео и др.) и применяющимся в компьютерном зрении, например, для поиска объектов по текстовым запросам, аннотирования изображений и ответов на вопросы по визуальным данным. Вместе с экспертом участники рассмотрели, как мультимодальные модели могут быть использованы в обучении с подкреплением, особенно в задаче следования языковым инструкциям, и обсудили, как агент может интерпретировать текстовые команды, совмещать их с визуальными данными и принимать осмысленные решения в сложной среде.
На семинаре были рассмотрены ключевые инструменты для логирования и анализа экспериментов, в частности Weights & Biases (wandb), которые помогают отслеживать результаты, анализировать гиперпараметры моделей и настраивать графики для более глубокой интерпретации данных.
Мероприятия проведены в рамках проекта по разработке модулей новой магистратуры "Большие данные и интеллектуальные системы" в номинации "Институциональный опыт" конкурса "Профессиональное развитие" благотворительного фонда В. Потанина. Руководитель проекта – Иван Сергеевич Петрушин, доцент кафедры естественнонаучных дисциплин ФБКИ ИГУ.
