Обучение с подкреплением позволяет подводным роботам находить и отслеживать объекты под водой

Группа специалистов, возглавляемая Institut de Ciencies del Mar (ICM-CSIC) в Барселоне в сотрудничестве с Monterey Bay Aquarium Research Institute (MBARI) в Калифорнии, Universitat Politecnica de Catalunya (UPC) и Universitat de Girona, впервые доказала, что обучение с подкреплением позволяет автономным транспортным средствам и подводным роботам находить и отслеживать морские объекты и животных.

В настоящее время подводная робототехника становится одним из ключевых инструментов для углубления знаний об океане в условиях многочисленных трудностей его исследования: аппараты способны опускаться на глубину до 4000 метров. Кроме того, получаемые с их помощью данные in-situ помогают дополнить другие данные, например, полученные со спутников.

В частности, в новой работе показано, что обучение с подкреплением, широко используемое в области управления и робототехники, а также при разработке инструментов, связанных с обработкой естественного языка, таких как ChatGPT, позволяет подводным роботам научиться тому, какие действия необходимо выполнять в каждый момент времени для достижения определенной цели. Эти политики действий соответствуют, а в некоторых случаях даже улучшают традиционные методы, основанные на аналитической разработке.

"Такой тип обучения позволяет нам обучить нейронную сеть оптимизировать конкретную задачу, что было бы очень сложно сделать в противном случае. Например, нам удалось продемонстрировать, что можно оптимизировать траекторию движения аппарата для обнаружения и отслеживания объектов, движущихся под водой", - поясняет Иван Масмитья, ведущий автор исследования.

“Это позволит нам углубить изучение таких экологических явлений, как миграция или перемещение в малых и больших масштабах множества морских видов с помощью автономных роботов. Кроме того, эти достижения позволят осуществлять мониторинг других океанографических приборов в режиме реального времени с помощью сети роботов, где одни могут находиться на поверхности, отслеживая и передавая через спутник действия, выполняемые другими роботизированными платформами на морском дне", - отмечает исследователь ICM-CSIC Джоан Наварро, также принимавший участие в исследовании.

Для выполнения этой работы исследователи использовали дальномерные акустические методы, позволяющие оценить положение объекта по измерениям расстояния, сделанным в разных точках. Однако это обстоятельство делает точность определения местоположения объекта сильно зависящей от места проведения акустических измерений. Именно здесь становится важным применение ИИ, в частности, обучения с подкреплением, которое позволяет определить наилучшие точки и, соответственно, оптимальную траекторию движения робота.

Нейронные сети обучались, в частности, с помощью компьютерного кластера Barcelona Supercomputing Center (BSC-CNS), где расположен самый мощный суперкомпьютер в Испании и один из самых мощных в Европе. "Это позволило настраивать параметры различных алгоритмов гораздо быстрее, чем при использовании обычных компьютеров", - отмечает профессор Марио Мартин, сотрудник кафедры компьютерных наук UPC и один из авторов исследования.

После обучения алгоритмы были протестированы на различных автономных аппаратах, включая AUV Sparus II, разработанный компанией VICOROB, в серии экспериментальных миссий в порту Сан-Фелиу-де-Гиксолс, в заливе Байш-Эмпорда и в заливе Монтерей (Калифорния) в сотрудничестве с главным исследователем лаборатории биоинспирации в MBARI Какани Катией.

Статья была опубликована в журнале Science Robotics.