Mapa affordancji skróciła czas ruchu robota o około 85 proc. w testach
Autorzy nowej metody połączyli mapę wskazującą robotowi, gdzie i jak oddziaływać na przedmiot, z generowaniem ruchu przez flow matching. W opisanych testach wariant jednokrokowy działał podobnie dokładnie jak 16-krokowy DDIM, lecz wnioskował o około 85 proc. szybciej.
Najpierw miejsce i sposób działania
W opisywanej architekturze model wizyjny tworzy zależną od instrukcji mapę affordancji, a następnie polityka sterowania wykorzystuje ją do wyznaczenia trajektorii robota. Affordancja nie oznacza tu ogólnego „rozumienia” przedmiotu, lecz wskazówkę, które miejsce albo jaki sposób interakcji pasuje do danego zadania.
Autorzy podają przykład szczoteczki: to samo narzędzie może wymagać odróżnienia uchwytu od końcówki, zależnie od polecenia. Model wizyjny został przy tym zamrożony, a badacze dostrajali prompty, by lepiej przewidywać takie użyteczne dla instrukcji wskazania.
Flow matching prowadzi ruch do celu
Druga część systemu odpowiada za sam ruch. Flow matching uczy politykę wizyjno-ruchową przekształcania losowych punktów pośrednich w docelową trajektorię działania robota. Dzięki temu mapa nie pozostaje tylko zaznaczeniem fragmentu obrazu, lecz staje się informacją używaną przy planowaniu manipulacji.
Metodę oceniono na przygotowanym przez zespół rzeczywistym zbiorze 10 zadań codziennych oraz na benchmarkach. Według autorów jednokrokowy flow matching osiągał porównywalną dokładność do 16-krokowego DDIM, przy czasie wnioskowania krótszym o około 85 proc. To porównanie dotyczy konkretnie opisanych testów, nie wszystkich robotów i zastosowań.
Źródła
