Sebuah tim yang meneiliti AI di Facebook telah menerbitkan sebuah jurnal pada beberapa waktu yang menggambarkan teknik untuk mengekstraksi karakter yang dapat dimainkan dari video.
Metode ini dilaporkan dijalankan oleh dua jaringan AI. Satu, Pose2Pose yang berfungsi untuk memanipulasi pose yang diberikan berdasarkan aliran input sinyal kontrol seperti dari joystick atau gamepad. Yang lain, Pose2Frame, kemudian menghasilkan bingkai output resolusi tinggi yang diberikan gambar latar belakang (yang juga bisa dinamis, rupanya).
Seperti yang disebutkan dalam kesimpulan dalam jurnal tersebut, teknik berbasis AI ini berpotensi bisa membuat berbagai jenis game yang ‘realistis dan dipersonalisasi’.
Dalam karya ini, kami mengembangkan metode baru untuk mengekstraksi karakter dari urutan video yang tidak terkontrol dan kemudian menghidupkannya kembali, pada latar belakang apa pun, sesuai dengan sinyal kontrol 2D. Metode kami mampu membuat urutan panjang dari pose yang dikontrol secara kasar dengan cara autoregresif. Pose-pose ini kemudian diubah menjadi urutan video oleh jaringan kedua, dengan cara yang memungkinkan penanganan dan penggantian latar belakang dengan hati-hati, yang sangat penting untuk banyak aplikasi. Pekerjaan kami membuka jalan bagi jenis permainan baru yang realistis dan dipersonalisasi, yang dapat dibuat dengan santai dari video sehari-hari. Selain itu, karakter yang dapat dikontrol yang diekstraksi dari video seperti YouTube dapat menemukan tempat mereka di dunia virtual dan augmented reality.
Jika kalian tertarik unntuk membaca jurnal mereka, kalian bisa membukanya disini atau mengakses official web Universitas Cornell, sebuah universitas riset swasta yang berbasis di Ithaca, New York. Penghargaan untuk penelitian ini diberikan kepada Oran Gafni, Lior Wolf, dan Yaniv Taigman. Kalian bisa melihat bagaimana ‘Vid2Game’ berjalan.
Jangan lupa untuk membaca artikel menarik lainya tentang game dan tech dari rizki