Публикация Киселева М.В. , к.т.н., доцента кафедры Актуарной и Финансовой математики, руководителя научной лаборатории «Нейроморфные вычисления» в самом престижном научном журнале NATURE
В прошлом году наша лаборатория нейроморфных вычислений провела совместное исследование с коллегами из МГУ, Сколтеха и Росатома, позволившее более чем в 100 раз сократить время принятия решения нейронной сетью при решении задач обучения с подкреплением.
Обучение с подкреплением – это обучение на практике, когда, например, робот, решая какую-то задачу, делает некие действия, а потом эти действия оцениваются – правильно или неправильно он что-то сделал. В общем-то на этом принципе обучается и ребенок – дотянулся до конфеты, съел – хорошо, приятно, потрогал горячий чайник – плохо – больше так делать не будет. Мы хотим, чтобы роботы тоже были умными, делали выводы из своих действий. «Мозгом» робота является нейронная сеть, зачастую огромная – если роботу надо что-то сложное делать.
Большие нейронные сети могут удивительные вещи – мы все слышали о чудесах, творимых большими языковыми моделями, например, ChatGPT. Но в случае роботов есть одно «но». Робот, особенно работающий в какой-то опасной среде или имеющий дело с чем-то очень быстрым, должен принимать решения почти мгновенно. А большие нейросети – это, прежде всего, сложные и потому довольно долгие вычисления. Поэтому наша работа, ускоряющая эти вычисления на два порядка, открывает новые перспективы для применения нейросетей в роботах.
Механика этого ускорения не так уж сложна – она состоит в комбинации 2 идей. Первая состоит в том, что, на самом деле, обученную огромную нейросеть можно сильно упростить без заметной потери качества – часто 90% межнейронных связей в ней очень слабы или редко используются, и поэтому их можно просто удалить – соответственно уменьшив объем вычислений. Вторая идея – в каждом новом пересчете нейронной сети реально пересчитывать только те нейроны, входной сигнал которых сильно изменился с последнего пересчета. Выясняется, что в реальных задачах быстрые изменения охватывают лишь небольшую часть нейросети – остальную часть можно пересчитывать очень редко. Таким образом тоже получаем кардинальную экономию вычислений.
То, что работа оказалась очень перспективной отразилось ив публикации ее результатов в наиболее престижном научном журнале мира по точным наукам – Nature (в его секции научных докладов). Это открытая публикация – все интересующиеся могут прочесть ее по ссылке https://www.nature.com/articles/s41598-023-47245-y
Патент Российской Федерации на изобретение. Регномер 2842904 от 03.07.2025.
«Газовый датчик паров метанола и этанола».
Авторы Платонов П.С., Смирнов А.В., Петров Д.В., Казаков В.А., Иваницкий А.Ю.
Патент Российской Федерации на изобретение. Регномер 2012122906 от 04.06.2012.
«Способ получения металлсодержащего углеродного наноматериала».
Авторы Смирнов А.В., Васильев А.И., Кочаков В.Д., Бобыль А.В., Теруков Е.И.
