Tworzenie zestawu danych syntetycznego psa w GTA-V dla modeli 3D

Zespół naukowców z Uniwersytetu w Surrey opracował rewolucyjną metodę przekształcania zdjęć psów w szczegółowe modele 3D.

Przekształcanie zdjęć psów w modele 3D

Naukowcy starali się wytrenować system sztucznej inteligencji w zakresie interpretacji i przekształcania obrazów 2D psów w ich pozy 3D.

Materiał szkoleniowy? Nie prawdziwe psy, ale raczej wygenerowane komputerowo obrazy z wirtualnego świata GTA V.

Szkolenie modelek z psami CGI

Moira Shooter, studentka studiów podyplomowych zaangażowana w badanie, podzieliła się: „Nasz model został wytrenowany na psach w CGI, ale mogliśmy go wykorzystać do stworzenia trójwymiarowych modeli szkieletu na podstawie zdjęć psów, prawdziwych zwierząt. Może to pozwolić biologom dostrzec ranną przyrodę lub pomóc artystom w tworzeniu bardziej realistycznych zwierząt w metawszechświecie”.

Tradycyjne metody nauczania sztucznej inteligencji o strukturach 3D polegają na wykorzystaniu prawdziwych zdjęć wraz z danymi dotyczącymi rzeczywistego położenia obiektów 3D, często uzyskanymi za pomocą technologii przechwytywania ruchu.

Stworzenie bazy danych wirtualnych ruchów psów

Jednakże, jeśli chodzi o zastosowanie tych technik u psów, jest po prostu zbyt wiele ruchów do wykonania.

Aby zbudować zbiór danych o psach, badacze zmodyfikowali kod GTA V, zastępując ludzkie postacie awatarami psów w procesie znanym jako „modding”.

Pozwoliło im to na nakręcenie 118 filmów przedstawiających wirtualne psy wykonujące różne czynności – siedzenie, chodzenie, szczekanie i bieganie – w różnych warunkach środowiskowych.

Korzystanie z modelu AI DINOv2 Meta

W kolejnych krokach wykorzystano model AI DINOv2 firmy Meta ze względu na jego duże możliwości uogólniania, a następnie udoskonalono go za pomocą DigiDogs, aby dokładnie przewidywać pozy 3D na podstawie pojedynczych obrazów RGB.

Badacze wykazali, że wykorzystanie zbioru danych DigiDogs do szkolenia pozwoliło uzyskać dokładniejsze i bardziej realistyczne pozy psów 3D w porównaniu z psami wyszkolonymi na rzeczywistych zbiorach danych, dzięki różnorodności uchwyconych wyglądów i zachowań psów.

Wyniki i możliwe zastosowania

Modele wytrenowane na syntetycznym zestawie danych DigiDogs wykazały większą dokładność w porównaniu z modelami wytrenowanymi wyłącznie na rzeczywistym zbiorze danych RGBD-Dogs.

Wyniki przekroczyły istniejące metody, zapewniając szczegółowe wyniki 3D i ustanawiając nowy punkt odniesienia pod względem realizmu i dokładności szacowania pozycji psa 3D na podstawie obrazów 2D, potwierdzony dogłębnymi ocenami jakościowymi i ilościowymi.

Chociaż badanie to stanowiło duży krok naprzód w modelowaniu zwierząt 3D, zespół przyznaje, że nadal pozostaje wiele do zrobienia, szczególnie nad udoskonaleniem sposobu, w jaki model przewiduje aspekt głębi obrazów (współrzędna z).

Shooter opisał potencjalny wpływ ich pracy, mówiąc: „Pozy 3D zawierają o wiele więcej informacji niż zdjęcia 2D. Od ekologii po animację – to sprytne rozwiązanie ma tak wiele możliwych zastosowań.”

Artykuł zdobył nagrodę dla najlepszego artykułu na zimowej konferencji IEEE/CVF na temat zastosowań widzenia komputerowego, ale oferuje także wiele zastosowań, od ochrony dzikiej przyrody po renderowanie cyfrowych obiektów 3D w zastosowaniach rzeczywistości wirtualnej.

Źródło: dailyai.com