•  
    •  
  • website icon
    •  
При поддержке некоммерческого фонда развития науки и образования «Интеллект»
Искусственный интеллект и наука МГУ имени М. В. Ломоносова

Нейроколлекция

Представляем коллекцию брошек, созданных в коллаборации белковых художников (людей) и искусственного интеллекта! В рамках этого сотрудничества художники используют генеративные нейронные сети, которые создают новые объекты и образы на основе наблюдений за окружающим миром.
Нейроколлекция
Представляем коллекцию брошек, созданных в коллаборации белковых художников (людей) и искусственного интеллекта! В рамках этого сотрудничества художники используют генеративные нейронные сети, которые создают новые объекты и образы на основе наблюдений за окружающим миром.

С чего всё началось
Некоторое время назад у нас появилась идея инновационного проекта, некоего арт-эксперимента в рамках направления Art & Science. Данный проект, который мы реализовали совместно с брендом украшений MONOLAMA, получил название «Код и предубеждение», а сама коллаборация была определена словом нейроавангард.


Концепт
Все люди мыслят по-разному. Разные когнитивные способности, логические цепочки, опыт, приоритеты. Все влияет на формирование человеческой идентичности, которая и лежит в основе как социологии, так и философии. Но если все человечество субъективно, от чего тогда отталкиваться при наладке морального компаса?

Мы изучаем, как технологии могут помочь в понимании «вечных» (бытие, сознание, вечность) и актуальных сегодня (объективация, гендер) вещей.

С помощью технологий мы вскрываем человеческие bias*, стереотипы и предубеждения. Пытаемся саморефлексировать через призму человеческого познания системой нулей и единиц.

* bias — inclination or prejudice for or against one person or group, especially in a way considered to be unfair.

Как проходил процесс создания украшений?

Сначала мы задавали нейронной сети VQGAN+CLIP текстовое описание (например, "самоосознание", "психическое здоровье", "сексизм", "дружба"), на основе которого генерировалось изображение. Нейронная сеть обобщала залитые в сеть данные о предложенном понятии и создавала уникальное изображение. Таким образом, мы получали образ человеческого стереотипа.

Затем из получившихся изображений отбирали рисунки-прообразы для будущих украшений. Далее художница стилизовала и отрисовывала в графическом редакторе изображения таким образом, чтобы на основе этих эскизов было технологически возможно сделать украшение. После этого Женя, основательница бренда MONOLAMA, подбирала материалы, вносила завершающие изменения и, наконец, создавала украшения.
В этом видеоролике можно увидеть основные этапы создания украшений - от генерации изображений до итогового результата.
Изображение, сгенерированное нейросетью по запросу "психическое здоровье"
Отрисованный эскиз
Готовая брошь
Изображение, сгенерированное нейросетью по запросу "сексизм"
Отрисованный эскиз
Готовая брошь
Как работает VQGAN+CLIP?
Примерно в апреле 2021 года Katherine Crowson и Ryan Murdoch начали проводить эксперименты, сочетая модель CLIP (из OpenAI) с различными архитектурами GAN.

Кэтрин Кроусон, художник и математик, написала блокнот Google Colab, в котором объединила VQGAN + CLIP.

На самом деле VQGAN+CLIP это две нейросети объединенные в одну. На вход подается текстовое описание - на выходе получаем картинку.

VQGAN - это генеративная состязательная сеть на основе трансформера (Esser et al., 2021). Она используется для генерации изображения - на вход сети подается случайный шум , который трансформируется нейросетью в картинку. VQGAN сам по себе не умеет понимать человеческую речь (текст).

Чтобы процесс генерации как-то направить, можно использовать CLIP (Radford et. al, 2021). CLIP смотрит на то, какие картинки генерирует VQGAN и сравнивает эти картинки с заданным текстовым описанием.

В одном предложении: CLIP направляет VQGAN к изображению, которое наилучшим образом соответствует заданному тексту.