TLOU 2 - Motion Matching i animacje na zupełnie nowym poziomie.

Witam ponownie. Tym razem chciałbym przedstawić wam bloga na temat technologii wykorzystanej do uzyskania wspaniałych animacji, które zobaczyliśmy na nowym zwiastunie TLOU 2 – jest nią Motion Matching (w skrócie będę pisać MT). 

Na wstępie zaznaczę, że tym razem nie będzie to moja analiza, a materiały dotyczące zagadnienia znalezione w czeluściach internetu - przetłumaczone przeze mnie na potrzeby tego bloga (miejcie litość względem ewentualnych błędów :)). 

Dla tych którzy jeszcze nie widzieli (są tacy?) i dla tych co chcą sobie przypomnieć jak to wygląda, poniżej najnowszy gameplay:

Zapewne wiele osób zastnawia się czy w.w. fragment gry jest prawdziwym gameplayem, czy tylko wyreżyserowaną w duzym studiu Mo-Cap sceną. Dobrze Was rozumiem – sam również zastanawiałem się czy taka płynna/bez cięć (albo raczej seamless z angielskiego) animacja jest w ogóle możliwa.
Jak to ja, postanowiłem zgłębić ten temat, natrafiając przy okazji na wiele niesamowitych artykułów i filmików.
Jakość animacji w trailerze jest czymś czego nie widzieliśmy od lat. Osobiśćie nawet nigdy nie przypuszczałem że coś takiego zobaczymy jeszcze w tej generacji. Jeszcze raz podkreślę, że Naughty Dog jest po prostu lata przed większością konkurencji w tym aspekcie.
Zacznę może od zaprezentowania wspaniałej analizy całego trailera przez Senior Tech Animatora, Dan Lowe: Senior Tech Animator w Motive Studios, wecześniej Visceral Games (Star Wars), Ubisoft Montreal (Far Cry 3 / Watchdogs / Far Cry Primal).

Filmik jest bardzo długi, więc poniżej znajdziecie przetłumaczone przeze mnie najważniejsze rzeczy (pod spoilerem):

Od razu zaznaczę że autor robiąc analizę nie miał informacji które pojawiły się później. Chociażby o zastosowaniu MT.

Dan Lowe, który przeprowadził analizę wideo klatka po klatce spekuluje, że "Motion Matching" jest jedną z podstawowych technik zasilających The Last of Us część 2 [to zostało później potwierdzone przez Naughty Dog].

[spoiler]

• Mówi, że to demo w święty Gral dla zespołów animacyjnych. Naughty Dog sprawił, że animacja wydawała się kompletnie płynna, jakby była jednym długim ruchem zamiast oddzielnych animacji. Uważa, że jest to połączenie przechwytywania ruchu, fizyki i wielu animacji, aby uzyskać systemową lub scenariuszową jakość. 

• Naughty Dog używa nowego systemu animacji zwanego dopasowywaniem ruchu (Motion Matching), który jest najnowszym podejściem do mieszania animacji, które wymaga użycia ruchu z bazy animacji zamiast konkretnych skryptów - ND potwierdziło że to prawda

• Dopasowanie ruchu polega na dopasowaniu pozycji, które są najbliżej siebie, dzięki czemu można płynnie łączyć między dwiema pozycjami animacji.

• Jeśli walka jest w pełni systemowa, jest bardzo imponująca. Fakt, że w każdym momencie pojawiają się animacje twarzy, efekty kamery i przerywane reakcje na uderzenia, sprawiają, że jest to bardzo wiarygodne.

• Wrogowie mają mnóstwo reakcji na trafienie, a nawet reagują z różnych pozycji, na przykład na kolanach i mogą uderzyć w ściany. Może to być ragdoll, ale wydaje się zbyt piękne, aby tak być.

• Gdy trafi się wrogów, nawet ich stopy pozostają we właściwym miejscu w oparciu o ich poprzedni stan animacji. Wymagałoby to mnóstwa animacji reakcji na uderzenia, aby zapewnić pokrycie dla każdego scenariusza. Mówi, że to dlatego ludzie mówią, że scena jest wyreżyserowana, ale wierzy, że Naughty Dog osiągnął ten sukces.

• Jednym ze sposobów, w jaki można osiągnąć reakcje na trafienie, jest to, czy gra wie z wyprzedzeniem, że wykonasz atak. To musi być trudne do osiągnięcia. Gra ostrożnie dopasowuje pozę wroga tak, aby zbliżyła się do uderzonej pozy, aby ułatwić mieszanie (blending animacji). Postacie mogą nawet blokować twoje ataki, co czyni je jeszcze bardziej imponującymi.

• Wrogowie doskonale wtapiają się w swój stan animacji „rozglądania się”. Widać to zwłaszcza po pozycji stawianych przez nich kroków. Wrogowie nie mają jednolitej prędkości. Zamiast tego wrogowie wydają się animowani, podejmując rzeczywiste kroki w świecie gry. Wygląda na systemową animację.

• Wrogowie mogą przyglądać się różnym punktom otoczenia, aby się po nim proszuać poruszać, lub może być to oskrypotwane. Jeśli wroga sztuczna inteligencja jest oskryptowana, musi być możliwość jej przerwania (skryptu) dowolnym momencie.

• Skryptowanie każdego spotkania w tej grze musiałoby być bardzo pracochłonne.

• Przejście od początkowej sekwencji animacji dźgania (scena po pocałunku) do gry jest bezbłędne. Normalnie widać by było przejście (popping), gdy inicjalizuje się fizyka.

• Kiedy Ellie odkłada w kieszeni swój nóż, teleportuje się do tylnej kieszeni, wskazując na rzeczywistą rozgrywkę.

• System „miekkiego” chowania się za przeszkodzami jest podobny do tego, który robił Naughty Dog w przeszłości. Automatycznie przechodzi za osłonę i na zewnątrz.

• Roślinność nie symuluje jej (Ellie) interakcji z każdą gałęzią, ale istnieje wystarczająca aproksymacja, aby wyglądała przekonująco.

• Ellie jest w stanie zmieniać wysokość pozycji (kucanie, leżenie). Wygląda to na kontrolowane przez gracza.

• Patroszenie wygląda na oskryptowana (to chyba oczywiste)

• Na wszystkim jest dużo symulacji materiału, w tym rękawy i kurtka Ellie. To nie tylko daje życie bohaterom, ale pomaga pokryć animacje.

• Wrogowie wydają się bardzo świadomi swojego otoczenia. Wrogowie nie robią typowej lokomocji. Wrogowie przechodzą w miejsca, w których się rozglądają.

• Sposób, w jaki bohaterowie zwracają się do siebie po imieniu, robi wrażenie i sprawia, że sprawiają wrażenie żywych

• Kiedy Ellie odwraca się, by uciec i zostaje postrzelona, chwyta się za ramię, odchodzi do tyłu i nie od razu odwraca się tak, jak robiłaby to prawdziwa osoba..

• Ellie obraca młotek w powietrzu w stronę pazurów, aby uderzyć w głowy wrogów.

• Kiedy Ellie przeskakuje przez ścianę, maczeta przechodzi przez murek, wskazując, że jest to gra.

• Wierzy, że gdy Ellie wchodzi pod ciężarówkę i zostaje wyciągnięta, cała AI Wroga jest oskryptowana, ponieważ wydaje się, że jest to cut-scena.

• Kiedy Ellie strzela do kobiety, kiedy jest pod ciężarówką, wygląda na to, że ta kobieta jest animowana i nie używa ragdolla. - według nowej wiedzy, możliwe że ND nagrało wiele różnych animacji śmierci, stąd taka jakość, ale to już zweryfikuje własny gameplay.

• Kiedy Ellie podnosi butelkę i rzuca nią, jest to systemowe. Kiedy Ellie sięga po butelkę, zostaje ona przyciągnięta do dłoni. Kiedy gra się z normalną prędkością, wygląda zupełnie naturalnie.

• Kiedy Ellie bierze zakładnika, a on zostaje postrzelony, Ellie spogląda na zakładnika, zanim go odrzuci

• Istnieje solidny system uników. Wygląda na to, że Naughty Dog zbudował wokół siebie masę animacji, co widać było po tym, jak Ellie unikała i wpadała na samochód.

• Normalnie nie chcesz tworzyć wąskich szczelin z powodu ograniczeń związanych z kapsułami fizyki (chyba chodzi o problem z fizyką w takich miescach np. po postrzale), więc to imponujące, że Ellie może poruszać się przez wąskie szczeliny, co czyni świat realnym.

• Jeśli nie jest to oskryptowane (gameplay), sposób, w jaki wrogowie ustawiają się przed wejściem do sklepu (gdzie kryje się Ellie), robi duże wrażenie. Jeszcze bardziej imponujące jest to, jak patrolują i oczyszczają przestrzeń. Sprawdzają nawet kąty przechodząc idealnie między animacjami.

• W większości gier strza zanika, gdy zostaniesz postrzelany. Kiedy Ellie zostaje postrzelona, w rzeczywistości wyciąga strzałę. Animacja twarzy jest niesamowita, gdy Ellie wyciąga strzałę. Myśli, że kiedy Ellie zostanie postrzelona, strzała może zostać przyciągnięta do pewnych punktów, tak aby Ellie mogła ją złapać i wyciągnąć.

• Kiedy Ellie wyciąga strzałkę z martwego faceta, jest prawdopodobnie animowana w porównaniu do systemowej (animacji).

• Sposób w jaki Ellie wkłada plecak ze skulonej pozycji jest imponujący i nie chciałby tego animować.

• Kiedy Ellie strzela do sklepu, litery spadają. Strzała mogła zostać wystrzelona w dowolne miejsce, więc byłoby interesujące zobaczyć, czy rzeczywiście wpływa ona na środowisko (ogólnie strzelanie).

• Sposób, w jaki wróg się przewraca po wybuchu; może istnieć pełny system reakcji na eksplozję. Musisz myśleć o obecnym stanie wroga, jego kierunku, kierunku eksplozji i jak daleko sięga eksplozja. Jest wiele zmiennych, które musisz wziąć pod uwagę, przechwytując całą animację.

• Wróg rzucający Ellie na kontuar może być zrobiony systemowo za pomocą dopasowania ruchu. Patrzysz na środowisko i wykonujesz kilka interakcji środowiskowych podobnych do tego, co Naughty Dog zrobił z Joelem w pierwszej grze.

• Kiedy koleś z młotem rzuca się na Ellie, jego młot natrafia półkę, więc potrzebowałby sposobu na przerwanie animacji lub wiele animacji dla różnych scenariuszy.

• Sekwencja siekania głowy na końcu jest oskryptowana.[/spoiler]

ND również skomentowało tę analizę:

Trochę więcej o samej technice Motion Matching

Kristjan Zadziuk jest bardzo ważną postacią w zakresie Motion Matching, ponieważ zaprezentował przełom w GDC 2016 dzięki panelowi "Motion Matching i The Road to Next-Gen Animation". W tym czasie nadal pracował w Ubisoft. Teraz teoria stojąca za Motion Matching istnieje już od dłuższego czasu, ale była to jedna z pierwszych publicznych demonstracji wprowadzenia jej w oprogramowanie (Michael Buttner podobno również mówił o tym na Nucl.ai w 2015 r.).
Warto zauważyć, że Simon Clavet, "mistrz fizyki gry Assassin's Creed III", był pierwszą osobą, która rozpoczęła wstępne eksploracje technologii po ukończeniu tej gry i przeprowadziła własne prezentacje.

https://twitter.com/KrisZadziuk/status/1007671506334310400

Tutaj prezentacja Kurstjana Zadziuka na GDC:

">

Tutaj opis prezentacji w moim tłumaczeniu:

Ta prezentacja wprowadza Motion Matching, innowacyjne nowe podejście do tworzenia wysokiej jakości, płynnego i złożonego ruchu postaci. Zespół przyjął deklaratywną filozofię animacji, w której zamiast umieszczać małe animacje w dużej strukturze, umieszczają małe strukturalne znaczniki na długich animacjach. Ten ręczny znacznik jest niezbędny w przypadku informacji logicznych, które nie mogą zostać wywnioskowane automatycznie, takich jak typy ataków i postawy obronne. W przypadku nawigacji nie trzeba ręcznie organizować animacji przejścia, takich jak uruchamianie, zatrzymywanie i skręty. Po prostu przechwytują 5 lub 10 minut biegającej osoby i importują ją bezpośrednio do silnika.

W środowisku wykonawczym nieustannie odnajdują klatkę (frame) w bazie danych mocap, która jednocześnie dopasowuje bieżącą pozę i pożądany plan na przyszłość, a także przenosi się z niewielkim czasem mieszania/przejścia (blending animacji) do tego innego miejsca w danych. Powstały ruch jest prawie nie do odróżnienia od surowej sekwencji mocap, a jednocześnie jest wystarczająco czuły, by zapewnić wygodną kontrolę.

W skrócie - robi się dużą bazę animacji, po prostu nagrywając sekwencje Mo-Cap. Dane sekwencje oznacza się np: unik taki, cios taki - później algorytm łączy te animacje dobierając najbardziej podobne, aby przejścia między nimi były możliwe niezauważalne. W ten sposób można zrobić np. 20 uników Mo-Cap - uniki z lewej, z prawej, pod różnym kątem, od różnych broni - później algorytm sam dobiera animację w zależności co się dzieje w grze.

I jeszcze inna z For Honor:

W wywiadzie dla IGN, goście z ND udzielili wywiadu na temat Motion Matching (wrzucam moje tłumaczenia – częściowo skrócone, bo ciężko było niektóre rzeczy przerzucić na nasz język)

Zarówno Newman, jak i Margenau podkreślili także nowy system, który pozwala ruchowi postaci wydawać się bardziej realistycznym niż kiedykolwiek: dopasowywanie ruchu (MT)

"To te szalone science fiction, w których bierzesz setki animacji, takich jak chodzenie do przodu i skręcanie czy cokolwiek innego, i wkładasz je do tego ogromnego kubełka, a następnie na podstawie tego, co gracz próbuje zrobić lub co NPC próbuje zrobić, wyciąga z tego kubełka, czasem dwie lub trzy różne animacje, i łączy je razem, aby zrobić to całkowicie bezproblemową rzecz "- wyjaśnił Newman. - zauważcie że MT tyczy się również NPC!!! Widać to oczywiśćie na filmiku, ale dobrze jest przeczytać takie zapewnienie :)

"Technika dopasowywania ruchu jest wykorzystywana przez inne studia, ale my ją wykorzystaliśmy i dodaliśmy to z czego znane jest Naughty Dog (czyt. szybka reakcja), ponieważ reakcja zawsze jest dla nas ogromna" - dodał Margenau. "Więc wzięliśmy to (MT) i stworzyliśmy hybrydową cechę szybkiego reagowania i szybkości czegoś takiego jak gra Uncharted, która jest znana ze swojej responywności i bardzo realistycznej animacji"

"Wcześniej wszystkie przejścia musiały być wykonywane ręcznie, więc jeśli zwolniłeś lub skręciłeś za róg, czy coś, ktoś musiał ręcznie to zakodować (zrobić animację)" „ok, ja skręcam w ten zakręt. "Ale teraz ten system w zasadzie radzi sobie z tym wszystkim, "Powiedział Newman.

"Szczerze mówiąc, kiedy włączyliśmy to, wszyscy po prostu westchneliśmy", kontynuował. "Myślę, że teraz, ponieważ całe demo wygląda tak jak next gen, jest wręcz trudno uwierzyć w taki poziom jakości (nie wiem jak to inaczej przetłumaczyć). Pomyśl, jeśli spojrzysz na to, jak porusza się Ellie i jak NPC w tej grze poruszają się w porównaniu z Last of Us 1, to jest szalone. "

Źródło: http://www.ign.com/articles/2018/06/15/e3-2018-how-the-last-of-us-part-2-redesigned-combat-for-playing-as-ellie

https://twitter.com/GameAnim/status/927597070709436416

Ubisoft's For Honor (2017) był pierwszą grą, która użyła MT, także EA UFC 3 (2018), a teraz widzimy, jak Naughty Dog używa tej techniki, po kompletnym przepisaniu animacji z Uncharted 4 z 2016 roku.

Tutaj potwierdzenie Hubera z Easy Allies że widział jak demo TLOU 2 jest ogrywane na żywo (jakoś od 37min):

Żeby było ciekawiej, dorzucę jeszcze parę przyszłościowych technik animacji które mocno mnie zainteresowały, są oparte na uczeniu maszynowym:

Możliwe że bloga będę jeszcze uzupełniać, ale na razie wrzucam go jakim jest bo kończę pisać a szkoda żeby się tekst kurzył :)

Dajcie znać w plusach i komentarzach czy tekst się podoba i czy ewentualnie jesteście zainteresowani bym w przyszłości przybliżył Wam inne ciekawe rzeczy związane z naszym ulubionym hobby!