Nvidia razem z Carnegie Mellon University oraz UC Berkeley pokazała dziś ENPIRE, czyli projekt o pełnej nazwie Embodied aNd Physical-world-aware agentIc Robot policy self-ImprovemEnt. To badawczy system, który łączy autonomiczny trening robotów z automatyczną oceną zadań manipulacyjnych. Najciekawsze jest jednak co innego: według Nvidii całość działa już na prawdziwym stanowisku roboczym, nie tylko w symulowanym środowisku.
Z informacji podanych przez Nvidię, Carnegie Mellon University i UC Berkeley wynika, że:
• udało się zbudować zamkniętą pętlę samouczenia. Robot sam przygotowuje sobie przestrzeń roboczą, uruchamia politykę sterowania, sprawdza wynik, resetuje stanowisko, a potem modyfikuje kod i parametry przed następną próbą; • osiągnięto skuteczność dochodzącą do 99% na flocie ośmiu maszyn przy zadaniach takich jak ustawianie klocka Push-T, sortowanie pinów, zaciskanie opasek kablowych i precyzyjne chwytanie; • skrócono czas dojścia do 100% skuteczności w zadaniu osadzania pinów względem podobnego podejścia, w którym trening był nadzorowany przez człowieka; • cały proces przeniesiono do realnego świata, razem z prawdziwym tarciem, niedokładnościami sprzętu i warunkami pracy, które są dalekie od laboratoryjnego ideału; • ocenę powodzenia zadania udało się zautomatyzować dzięki własnym funkcjom oceny i nagrody, budowanym na bazie zaledwie kilku minut przykładowych nagrań pokazujących sukces i porażkę; • przy osadzaniu pinu połączono kilka sygnałów naraz, między innymi dopasowanie obrazu, wysokość chwytaka i szacowaną siłę nacisku; • w zadaniu zaciskania opasek kablowych dorzucono dwa kąty widzenia z kamer, a opóźnienie reakcji udało się zejść poniżej 150 milisekund; • ograniczono potrzebę ręcznego oceniania każdej próby przez operatora; • pracę podzielono na dwa etapy: najpierw ustawienie granic bezpieczeństwa, procedur automatycznego resetu i kryteriów sukcesu przy ograniczonym udziale człowieka, a dopiero później w pełni samodzielne działanie; • system potrafi sam czytać publikacje, stawiać hipotezy, edytować kod treningowy i dobierać metody, takie jak klonowanie zachowań albo uczenie ze wzmocnieniem, zależnie od wyników uzyskiwanych na prawdziwym stanowisku; • uruchomiono osiem stanowisk z dwuramiennymi robotami YAM. Każde miało własny osprzęt, komputer i osobnego agenta programistycznego; • dodano równoległe testowanie różnych pomysłów oraz wymianę skutecznych zmian w kodzie i recepturach treningowych przez Git. Dzięki temu poprawka wypracowana na jednym stanowisku może bardzo szybko trafić do całej floty; • po przejściu z jednego agenta do ośmiu wyraźnie przyspieszono tempo postępów, co było widać choćby w zadaniu Push-T; • projekt rozwija wcześniejsze prace Nvidii nad systemem Eureka i wpisuje się w szerszy kierunek firmy związany z Project GR00T, Jetson Thor oraz platformą Isaac.
W najprostszym ujęciu ENPIRE przypomina Eurekę, ale z jedną zasadniczą różnicą. Tamten system działał wyłącznie w symulacji, a tutaj wszystko przeniesiono prosto do świata fizycznego. Robot nie tylko „uczy się” w modelu, lecz naprawdę eksperymentuje na realnym stanowisku roboczym.
Badacze właśnie to uznają za najmocniejszy punkt całego projektu. Wyjście poza symulację, z całym bałaganem świata rzeczywistego, wygląda tu na rzecz naprawdę istotną.
Na razie ENPIRE pozostaje wyłącznie projektem badawczym Nvidii, Carnegie Mellon University i UC Berkeley. Według zespołu docelowo system ma zostać udostępniony jako open source. Trzeba jednak pamiętać, że skorzystanie z niego w podobnej skali wymaga fizycznego stanowiska roboczego, własnego osprzętu, komputera i agenta programistycznego dla każdej stacji. Dokładnie tak zbudowano osiem stanowisk z robotami YAM użytych w testach.
Jeśli czekasz na kod, pozostaje jeszcze trochę cierpliwości i oczekiwanie na publikację. Reszta użytkowników, przynajmniej na ten moment, też musi po prostu poczekać.
