Долгопрудный. Улица Первомайская, дом, 3.

Аспирант МФТИ в Долгопрудном Сергей Линок вместе с коллегами из Центра когнитивного моделирования научил робота находить конкретный предмет в конкретном месте по речевой команде человека. Для этого была разработана технология на стыке компьютерного зрения и обработки естественного языка.

Сегодня научная статья о данной технологии и проморолик с участием робота отправлены на крупную международную конференцию по робототехнике, что доказывает новизну исследования.

«Я пришел на стажировку в Центр когнитивного моделирования МФТИ в январе 2021 года сразу после окончания МГТИ имени Баумана. На Физтехе прошел путь от стажёра до инженера и младшего научного сотрудника. Сейчас заканчиваю кандидатскую диссертацию. Тематика исследования мультимодальные карты для робототехнических агентов. Иначе говоря пространственное ориентирование роботов для поиска и сортировки объектов», — рассказал собеседник.

По словам аспиранта, мы можем попросить робота найти объект, используя другие объекты для описания его положения в пространстве. Например, найти конкретный стул, который находится возле стола. Для этого требуется  понимание роботом сути предметов и взаимосвязи между ними. Задачу решает целый ансамбль нейросетевых алгоритмов. 

«Робот не найдет, например, игрушечного солдатика, потому что машинное обучение проводилось на характерных для офиса предметах. Зато я и соавтор моего исследования хотим сделать пространственное ориентирование роботов пространственно-временным. Иными словами, если предметы поменять местами, то робот будет помнить прежнюю расстановку и учтёт изменения, — добавил Сергей. 

Сегодня алгоритмы прописаны конкретно для роботехнической платформы с манипулятором, которая есть в распоряжении лаборатории Сергея. Но технологию можно адаптировать и для гуманоидных роботов. Молодой учёный хочет увидеть дальнейшую реализацию своих задумок в железе.

Автор текста, фото и видео: Михаил Раскин