Olivera Pavićevića je zaista teško opisati: 3D programer, 3D modeler, predavač na univerzitetu, bass gitarista u gothic bendu Stardom, Vj (Visual Jockey), profesionalni fotograf… da li da pomenemo da je sam napravio svoju bas gitaru? Dakle, ako bi trebalo da definisemo reči “multimedijalni umetnik” dovoljno je samo reći- Oliver Pavićević.
- Za početak, predstavite se našim čitaocima.
Rođen sam u Beogradu, gde sam živeo sve do 1998. da bih se zatim preselio u Milano i studirao Dizajn novih medija na akademiji Nuova Accademia di Belle Arti. Tu sam se specijalizirao za multimedijalnu režiju. Programiranje sam naucio sam, eksperimentišući sa programom za virtuelnu realnost Virtools. Zatim sam radio kao asistent i predavač na mom fakultetu. Danas se bavim ponajviše interaktivnim dizajnom za potrebe event designa i scenografije.
- Predajete na Univerzitetu u Milanu?
Trenutno predajem na Univerzitetu Cattolica u Milanu, na Fakultetu Sociologije i držim kurs posvećen virtuelnoj realnosti (zajedno sa profesorom Simone Tosoni). Radi se o kursu koji se ne koncentriše previše na tehnološke ili umetničke aspekte VR-a, već prvenstveno na sociološke aspekte ove nove tehnologije. Ovo je jedan od prvih kurseva ovog tipa u Italiji.
- Prelazite na Unity 3D platformu, počinjete da istražujete virtuelnu realnost, i završavate VR Panorma 360 Renderer koji je jedan od prodavanijih plaginova na Unity asset store. Koliko je bilo teško isprogramirati plagin ovog formata?
Plugin sam isprogramirao za svoje lične potrebe. Radeći jako puno sa Oculus-om, problem mi je predstavljao fakat da Oculus zahteva PC, Joysticke, kamere.. gomilu stvari koje je potrebno vucarati i montirati na razne prezentacije. Bilo mi je potrebno nešto sa čime ću lako i brzo prebaciti bilo koji VR Projekat u 360 stereo video bez potrebe da koristim nekakve stitching softwere koji su jako spori i često ne daju zadovoljavajuće rezultate. Zavrnuo sam rukave i u slobodno vreme za nekih dve-tri nedelje, napravio prvu funkcionalnu verziju koja mi je bila dovoljna da brzo i efikasno prezentujem radove na Gear VR.
U tom trenutku ni Youtube ni Facebook još uvek nisu imali opciju loadovanja 360 videa. Pošto sam WIP projekat postavio na neke forume – interesovanje je bilo veliko i stigla mi je gomila zahteva da stavim na prodaju taj plugin. Ono što je bio problem da plugin, koji je pravljen za lične potrebe, pretvorim u plugin koji ce biti lak za korištenje, funkcionisati stabilno i pouzdano na svim platformama. Uložio sam dosta vremena u dodatnu optimizaciju, kompatibilnost i razradu user interface-a, a svakim danom pokusavam da dodam nove funkcije tako da se čitav plugin pretvorio u offline rendering sistem čak i za standardne videe. Zahvaljujuci rendering engineu Unity 5 – koji poseduje odlican GI, uz pomoć dobre graficke karte, SSD diskove, u ovom trenutku je moguće renderovati fotorealisticne 4K (standardne, ne 360) animacije u rekordnom vremenu – koje se ozbiljno priblizava realtime-u. Jedan od dobrih primera primene ove tehnike je bio povodom promocije Novog Fiat 500 za koju sam radim kompletne animacije- projekcije na ekranima od 270 stepeni. Radi se o Cave sistemu za koji je trebalo uraditi gomilu animacija na višestrukim ekranima u jako kratkom roku od 10 dana. Nešto sto je bilo nemoguće odraditi sa klasičnim offline sistemima bez velikih render farmi. Rezultat je bio tako dobar da je event dobio prestižnu italijansku nagradu Best Event Award 2015. Trenutno radim na novoj verziji VR Panorame koja će nositi oznaku RT, i koja će biti sposobna da renderuje 360 stereo u realtime direktno na ekran u Full HD rezoluciji. Sluziće onima koji poseduju capture/streaming kartice – i uz dobru internet vezu će moći da šalje stream preko net-a na više uređaja poput Gear VR ili Google Cardboard.
- Pomenuti plagin ste iskoristili za snimanje spotova. Koje su prednosti ovakvog načina rada?
Radi se o sistemu koji je malo proširen: kamera za koju sam napravio rig montirajući na nju Oculus Rift – da bih mogao da radim tracking kamere u realtime za relativno brzo vreme. Razvio sam ovaj sistem da bih mogao da radim compositing u realnom vremenu – i da bih imao preview završne scene u trenutku snimanja. Obično snimam actore na greenscreenu, i u Unity-u sam razvio svoj realtime chroma key koji mi dozvoljava da ubacim aktore direktno u environment kompletno rađen u 3D u. Pristup je mnogo intuitivniji, jer je moguće raditi pokrete kamere iz ruke, direktno dok muzičari sviraju ili dok glumci glume. Uz to, tehnika je odlična jer olakšava osvetljavanje u trenutku kada je potrebno što vernije uklopiti realne likove u virtuelnu scenu.
- VR (Virtual Reality) ili AR (Augmented Reality)?
Mixed Reality.
Šalu na stranu, mislim da će oko VR-a nastati više medijuma, koji se prepliću jedan sa drugim – i gde je potrebno analizirati pažljivo razlike da bi mogli bilo šta da definišemo naučno ili lingvstički. Uzmimo za primer 360 stereo cinema- koji po definiciji nije ni VR niti je AR. A nije ni kinematografija. Ali je već opšteprihvaćeno zvati taj medijum VR. A to je pogrešno – Virtual Reality je simulacija koja je kreidibilna, zahteva mogućnost interakcije sa virtuelnim svetom. U 360 stereo filmovima ta interakcija ne postoji, ali postoji faktor imersivnosti. Sa druge strane, u FPS igricama postoji interakcija, i one su mnogo blize VR-u nego sto je 360 cinema, ali posto se igraju na 2D ekranu, ne postoji taj realni ‘kontakt’ sa tom stvarnošću. Sa te strane gledišta, 360 cinema je bliža kinematografiji, ali nije kinematografija, jer mi nikako ne mozemo da koristimo kinematografski izraz koji je baziran na substrakciji, a ne adiciji. Kad koristim termin substrakcija, mislim na to da je u filmu sve bazirano na oduzimanju informacija: u filmu sa montažom kompesujemo vreme, sa optikom možemo da zumiramo, da skrenemo paznju ka nekom detalju, da brzo promenimo tačku gledišta (point of view), da zablurujemo pozadinu. Sve su to tehnike koje ne možemo da koristimo u 360 cinema, koji je zapravo mnogo blizi pozorištu i koji će zahtevati povratak na neke stare tehnike – drukčiji način glume, drukčiji način montaže, snimanja, osvetljavanja, efekata. Pričam najvise o 360 cinema, jer je to trenutno najpristupačniji VR medijum, i mislim da će to biti prvi korak za mase prema pravom VR-u – i od njega zavisi jako puno komercijalna buducnost VR-a.
- Razvijate svoj hologram, recite nam nesto više o tom projektu.
Zapravo, ne radi se o pravom hologramu, već o mixed reality hologramu. Radi se o tehnici koju koristim i za snimanje video spotova, samo što u ovom slučaju ubacujem virtuelne objekte u realnu scenu i pomoću Kinecta pravim interakciju. Ideja je da se ovakva tehnika koristi u kombinaciji sa infografikama za potrebe prezentacije na velikim eventima, gde su se do sada koristile powerpoint prezentacije, i gde umesto da spiker pritiska dugme i pokrece PP, u budućnosti može da pomera slajdove i manipuliše 3D objekte u prostoru. Takođe, razrađujem korišćenje ove tehnike za potrebe muzičkih performansa – gde bi muzičar mogao da ‘svira’ i animira virtuelne 3D forme.
Čitava ideja je zapravo proba onoga sto će nam u budućnosti doneti Hololens i slične tehnologije.
- Istraživali ste prezentere u vidu karaktera unutar virtuelne realnosti. Koja je njihova prednost?
Ideja o virtuelnim voditeljima je jako stara, jedan od dobrih primera je Max Headroom iz istoimene serije. Radio sam neke ozbiljnije eksperimente na tom planu oko 2003-2004. pokušavajući da na osnovu analize govora generišem lifelike karakterne animacije. U to vreme recimo nije postojao Kinect, koji bi verovatno danas koristio za tako nešto, ali je to zapravo bolje. Mislim da sama ideja da imamo virtuelnog karaktera koji vodi emisiju, čita vesti, verovatno danas nije u modi niti je tehnoloski atraktivna, ali da će slični sistemi imati veću primenu u virtuelnim svetovima gde imamo potrebu za Lifelike avatarima. Mada, samo istraživanje na tom polju mi je i danas jako zanimljivo jer ujedinjuje animaciju sa psihologijom i sociologijom. U procesu sam eksperimentisanja nekih ponašanja AI na osnovu analize ljudskog ponašanja. Jedan od dobrih primera je, kako bi se jedan AI avatar ponašao u virtuelnom svetu u odnosu na naš samo na osnovu body language-a. Tu VR donosi neke novosti, jer je mnogo lakše čitati pokrete korisnika uz pomoc Kinecta, ili eye trackinga (za to koristim tehnologiju eyetrackinga Tobii EyeX). Recimo, u nasim socijalnim odnosima i konvencijama postoje rituali koji bivaju definisani kao prihvaćeni ili ne – i na osnovu ponašanja mozemo stvoriti realistična ponasanja (behaviours) i animacije. Jedan avatar koji nas ne poznaje, kada oseti nasu prisutnost, će možda pogledati prema nama, ali u trenutku kada mi uzvratimo pogled (uz pomoc eyetrackinga imamo preciznu informaciju gde korisnik gleda) – promeniće svoje ponašanje i pogledati negde drugde. Koliko će ta igra trajati sve dok se ne uspostavi eye contact i nekakva komunikacija? Kako će nasi pogledi i pokreti da utiču na dalje ponašanje karaktera? Recimo, ako ispred nas imamo žensku osobu, i ako je ne gledamo u oči, nego recimo u grudi, kakva će biti njena reakcija? Kakva će biti reakcija ako se približimo previše? Sve su to faktori na kojima se može raditi i istraživati dajući karakter jednoj virtuelnoj osobi – čak i bez potrebe za verbalnom komunikacijom.
- Sta je Motion sickness u VR i kako ga izbeći?
Mislim da je to, na svu sreću, postalo pitanje prošlosti. Današnji HMD imaju malu latencu, i odličan refresh rate uz pozicioni tracking – ovi faktori zajedno pomažu jako u eliminaciji MS-a. Mada neke osobe su vise podležne motion sickness-u od drugih. Moje mišljenje je da se treba pristupiti VR-u u manjim dozama više puta – tako da naš mozak dobije priliku da se navikne i rekalibriše. Ono što je najbitnije je ne koristiti HMD sa demoima na konfiguracijama koje nisu optimizovane i nemaju dobre performanse.
- Sve nas je zatekla vest da Microsoft povlaci Kinect, medjutim Vi jos uvek koristite njegove mogucnosti. Zašto?
Kinect nije povučen, već je Microsoft samo dao opciju da je moguće kupiti Xbox bez Kinecta. To je donekle i logičan potez – i ja ne mislim da je vreme Kinecta (ili sličnih sistema) prošlo – naprotiv, po meni vreme Kinecta još uvek nije stiglo. Kinect jos uvek pati od nekih dečjih bolesti, ali se radi o tehnologiji koja će sa vremenom postati sve ozbiljnija – i koja ce najsigurnije biti mnogo manje korišćena za gaming, već biti primenjena (i nezamenljiva) u drugim sferama kao što su obezbeđenje, 3D scanning, AR, produkcija i compositing za potrebe 3D ili 360 filma. A ono što je najbitnije, ova tehnologija će naći svoje mesto pogotovo u mobile industriji. Microsoft ju je ugradio u HoloLens, META u njihov AR HMD, a Google je izbacio Project Tango koji je u stvari tablet sa 3d senzorom poput Kinecta.
- Bili ste VJ na MTV EMA 2015, kakvo je to bilo iskustvo?
Jako interesantno, pogotovo zato što je klijent dao potpuno poverenje, i podržao moju ideju da koristimo sistem koji do tada nije bio korišćen. Radi se o softwareu za video mapping (baziran na Unity 5) koji sam isprogramirao posebno za tu priliku i koji je služio da se sve 3D animacije renderuju u realtime, na višestrukim LED ekranima uz pomoć jedne relativno normalne workstation bazirane na Titan Z kartici i seriji android device-a koji su služili kao command surface. Deo animacija je bio vođen AI-em, koji analizira zvuk, i menja boje, svetla, montira kameru, dok je uz pomoć tableta ili telefona bilo moguće pokrenuti globalne animacije ili uticati na AI algoritam. Naizgled kompleksan sistem, koji je bio jako jednostavan za korišćenje – pogotovo što je kontrola bila mobilna – i bilo je moguće kontrolisati sve preko WIFI iz bilo kog ugla sale. Naravno, kada se rade ovako veliki događaji, odluka da se koristi sasvim nova tehnika je rizična, ali bez rizika, napredak nije moguć.
- 2007. godine završili ste online virtuelni muzej, recite nam nešto više o tom projektu?
To je bio jedan od pionirskih pokušaja Web 3D-a, projekat sajta-portala koji sam napravio sa kolegama, Claudio Dalla Bernardina i Andrea Lavezzoli uz pomoć platforme Virtools. Sve je počelo sa time da smo hteli da napravimo virtuelni muzej koji bi kao krajnji cilj imao slike (paintart) i skulpture. Za tu priliku sam napravio sistem koji je bio sposoban da skenira površinu recimo ulja na platnu, i da napravi materijal uz pomoć shadera, koji bi realno opisao površinu slike, i gd bi se videli detalji poput poteza četkica i mikrostrukture (normal maps, glosiness, specular) – oni detalji koji se ne mogu nikako videti na fotografiji. Ali da bi se ostvario takav projekat, bilo je potrebno imati pristupa istorijski važnim slikama i prvi potez je bio krenuti od jednostavnog projekta – projekta izložbe fotografija. Uspeli smo da izguramo nekih 6 izložbi sa važnim svetskim i italijanskim fotografima, ali je na kraju sve zamrlo, jer uprkos interesovanju, nismo uspeli da nađemo potrebne fondove. Danas bi verovatno priča bila drugacija, jer je sve postalo mnogo lakše sa pojavom crowd founding-a.
- Bavite se fotografijom; koji su Vam najveći uspesi u tom domenu?
Fotografija je za mene vise sporedna aktivnost, ljubav koju gajim još od detinjstva. Ali, nikad je nisam smatrao profesijom u pravom smislu reči. Sa vremena na vreme fotografišem po klubovima u Milanu, i imao sam prilike da odradim par shooting-a za Vogue. Na žalost, poslednjih godinu dana nalazim jako malo vremena za fotografiju.
