Научно-исследовательский университет «Высшая школа экономики» (НИУ ВШЭ) стал инициатором яркого прорыва в направлении генеративных потоковых сетей (GFlowNets). Команда молодых ученых и специалистов презентовала свои достижения на одной из ключевых конференций в сфере искусственного интеллекта – ICLR 2025, а также сделала результаты работы доступными для международного профессионального сообщества в репозитории Arxiv.org.
GFlowNets: Новые горизонты машинного поиска
GFlowNets — современные алгоритмы генеративного машинного обучения, которые шаг за шагом формируют сложные объекты, вследствие чего становятся незаменимыми при моделировании в сферах разработки новых лекарств, поиска белков сложного строения и оптимизации транспортной логистики. Принципиально важной особенностью этих алгоритмов является их способность строить структуры от простых к сложным, ориентируясь не на небольшие наборы данных, а на систему наград, сконструированную по строго математическому принципу.
При работе с GFlowNets ученым удается формулировать желаемые характеристики создаваемого объекта: сеть получает сигнал награды не за соответствие исходным данным, а за приближение к определенным свойствам конечного результата. Чем точнее итог, тем солиднее «поощрение». Такой механизм мотивирует алгоритм искать и разнообразные, и перспективные структуры, концентрируясь на пользе для решения задачи.
Конструктор сложных объектов: аналогия с Lego
Процесс создания оптимального объекта при помощи GFlowNets напоминает увлекательную сборку конструктора. Пользователь постепенно присоединяет к модели отдельные элементы, руководствуясь заранее определенными критериями ценности каждого блока. Если, к примеру, в задаче более значимыми признаются объекты, близкие по свойствам к растениям, алгоритм в ходе множества прогонов чаще будет создавать их, а не любые другие варианты, что выгодно выделяет GFlowNets среди иных методов машинного обучения. Вместо поиска только одного идеального объекта сеть исследует широкое разнообразие архитектур, формируя тем самым богатый набор решений.
Дуэт прямой и обратной моделей: новое качество взаимодействия
Эффективность алгоритма достигается посредством параллельной работы двух вероятностных моделей – прямой и обратной. Первая, подобно архитектору, определяет последовательность шагов построения, прогнозирует следующие состояния и выбирает направления для дальнейших действий. Вторая же модель напоминает экспертного аналитика, который по результату может восстановить ход событий, выяснить, как была достигнута конкретная конфигурация.
Сбалансировать координацию между этими моделями – сложная задача, требующая значительных вычислительных ресурсов. Ранее в практике нейросетевого поиска обратную модель ограничивали в маневрах: она не могла корректироваться по мере прогресса прямой модели, что сужало гибкость и замедляло обучение.
Прорыв от команды Грицаева и Морозова: Trajectory Likelihood Maximization
Исследователи НИУ ВШЭ – Тимофей Грицаев, стажер-исследователь Международной лаборатории стохастических алгоритмов и анализа многомерных данных, и Никита Морозов, младший научный сотрудник Центра глубинного обучения и байесовских методов, реализовали амбициозную задачу: они предложили новаторский метод улучшения обратной модели, названный Trajectory Likelihood Maximization (TLM).
Суть нового метода заключается в том, что теперь обратная модель способна динамически учитывать действия прямой. Такой подход больше напоминает диалог, где обе стороны могут меняться исходя из информации, полученной друг от друга. При этом обратная модель становится гибким помощником, расширяя возможности генеративной структуры и позволяя находить неожиданные, но перспективные решения.
В комментарии Тимофей Грицаев отметил: «Мы сделали поиск эффективных решений более открытым и гибким, как переговоры между равноправными участниками, способными корректировать свою стратегию. Это особенно важно в задачах, где неизвестность высока, а правильное решение может лежать за пределами стандартных траекторий».
Оптимизация и ускорение поиска: ощутимые преимущества
После внедрения метода TLM наградные функции, определяющие успешность работы модели, действительно стали сложнее с точки зрения математики. Тем не менее, результаты превзошли ожидания: вся система стала работать заметно быстрее и эффективнее, даже несмотря на рост вычислительных требований.
Никита Морозов подчеркнул: «Наш метод заметно расширил диапазон поиска и повысил качество найденных решений. GFlowNets теперь ближе к стратегиям обучения с подкреплением, благодаря чему сеть способна учитывать предшествующий опыт и адаптироваться под новые вызовы».
Открывающиеся перспективы для применения GFlowNets
Авторы исследования убеждены: их работа существенно расширит арсенал специалистов, использующих генеративные потоковые сети. Данные алгоритмы уходят далеко за пределы задач по поиску новых соединений для фармакологии. GFlowNets также востребованы при разработке новых материалов с определенными физико-химическими характеристиками, а еще позволяют точнее и быстрее дорабатывать большие языковые модели, широко применяемые в сфере искусственного интеллекта.
Благодаря способности быстро и эффективно «просеивать» огромное множество вариантов и выявлять оптимальные, GFlowNets снижают нагрузку на вычислительные мощности и сокращают время поиска. Это открывает дорогу к более быстрым открытиям в науке о материалах, фармацевтике и когнитивных технологиях.
Разработки НИУ ВШЭ, представленные Тимофеем Грицаевым и Никитой Морозовым на ICLR 2025 и размещённые на Arxiv.org, внушают оптимизм всему сообществу исследователей. Они наглядно показывают: прогресс в машинном обучении не только ускоряет технологические процессы, но и расширяет горизонты для поиска и реализации идей, способных изменить современные индустрии.
Источник: naked-science.ru
