Kalgario universiteto, įmonės „Adobe Research“ ir Kolorado Boulderio universiteto mokslininkai sukūrė išplėstosios realybės sąsają, kurią galima naudoti interaktyvioms eskizams, grafikams ir vizualizacijoms kurti. Jų darbas laimėjo Vartotojų sąsajos ir technologijų simpoziumo (ACM Symposium on User Interface Software and Technology, UIST’20) apdovanojimus už geriausią mokslinį straipsnį ir geriausią demonstraciją.
„Mūsų projektas prasidėjo nuo paprastos minties, kaip būtų galima sukurti programinę įrangą, kuri leistų vartotojams vizualizuoti realaus pasaulio reiškinius, tiesiog nupiešiant jų eskizą išplėstosios realybės kompiuterinėje programoje“, – portalui „TechXplore“ sakė vienas šį darbą atlikusių tyrėjų Ryo Suzuki. „Motyvacija atsirado iš pastebėjimų, susijusių su fizikos dėstymu klasėje, kur mokytojo demonstruojami eksperimentai dažnai yra neatsiejama fizikos mokymosi dalis“.
Fizinių reiškinių paaiškinimas moksleiviams gali būti gana sudėtingas. Taip yra todėl, kad norint geriau paaiškinti šiuos reiškinius, reikia ir pavaizduoti, kaip jie vyksta, užuot tik dėsčius jais susijusią teoriją. Taigi interaktyvios priemonės, leidžiančios fizikos mokytojams dinamiškai ir patraukliai paaiškinti sąvokas ar parodyti, kaip veikia formulės, galėtų būti labai vertingos, nes jos galėtų pagerinti moksleivių supratimą apie pamokose nagrinėjamas temas.
Sukurta platforma, pavadinta „RealitySketch“ leidžia vartotojams kurti interaktyvią grafiką, kurią galima projektuoti ant lentos, sienos ar kitų realaus pasaulio objektų.
Iliustr: Ryo Suzuki ir kt.
„Anksčiau tokių vizualizacijų kūrimas buvo daug laiko reikalaujantis procesas, reikalaujantis sudėtingo vaizdo įrašų redagavimo“, – paaiškino Suzuki. „Mums kilo klausimas: o kas būtų, jei vartotojai galėtų tiesiogiai nupiešti objekto eskizą ir tuomet realiu laiku galėtų dinamiškai jį animuoti.“
„RealitySketch“ yra paremta „Apple ARKit“, mobiliąja išplėstosios realybės platforma, leidžiančia įterpti dinamiškus eskizus į realią aplinką. Iš pradžių vartotojai sukuria paprastus eskizus, piešdami ant jutiklinio ekrano pirštais ar skaitmeniniu rašikliu. Elementai, kuriuos jie nupiešia, yra uždedami ant videokameros fiksuojamo realaus pasaulio vaizdo.
Unikalius „RealitySketch “bruožas yra tai, kad ji leidžia nupieštus objektus animuoti realiu laiku.
Nors šiandien rinkoje yra nemažai įterptąja realybe pagrįstų programų, dauguma iki šiol sukurtų sprendimų yra orientuoti į statinės grafikos įterpimą į realųjį pasaulį. Tokie yra „Pronto“, „SybiosisSketch“ ir „PintAR“, taip pat komercinės platformos, tokios kaip „Google“ kuriama „Just a Line“ ar „DoodleLens“.
Užuot leidęs vartotojams kurti tik statinius eskizus, „RealitySketch“ leidžia įterpti dinamišką ir interaktyvią grafiką, kuri gali susieta su tikrais objektais vartotojo aplinkoje ir reaguoti į jų judesius.
„RealitySketch“ integruoja objektų sekimą ir įterptąja realybe pagrįstą vizualizaciją. Kompiuterio kamera stebi fizinius objektus. Kai vartotojas bakstelėja daiktą (pvz., švytuoklės svorį) planšetinio kompiuterio ekrane, sistema pradeda sekti šį objektą pagal jo spalvą. Visi eskizuoti elementai yra susiejami su šiuo sekamu objektu, todėl kai fiziniai objektai juda (pvz., kai vartotojas paima, pajudina daiktą), eskizo elementai taip pat animuojasi pagal tą judesį.
Dabar, kai dėl COVID-19 pandemijos tiek daug mokinių lankosi pamokose internete, šių tyrėjų sukurta programa gali pasirodyti ypač vertinga.
„RealitySketch“ galėtų padaryti nuotolinį mokymą patrauklesnį, pavyzdžiui, leisti mokytojams įrašyti dinamiškų fizikos eksperimentų vaizdo įrašus ir pasidalinti jais su savo mokiniais, kad jie galėtų geriau suprasti pamokose dėstytas sąvokas ir reiškinius.
„RealitySketch“ taip pat turi ir platesnių taikymo sričių potencialą – tai gali būti sporto treniruotės, įvairūs apmokymai.
Pavyzdžiui, treneriai galėtų realiuoju laiku parodyti krepšininkams kamuolio trajektorijas, ar demonstruoti treniruočių judesius.
Ryo Suzuki et al. RealitySketch, Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology (2020). DOI: 10.1145/3379337.3415892