Authoring dalam Augmented Reality

 

Pendahuluan

dalam mata kuliah Augmented Reality, kita akan membahas topik yang menjadi jembatan antara perancangan dan implementasi, yaitu authoring. Setelah mempelajari berbagai aspek teknis seperti display, tracking, kalibrasi, registrasi, visual coherence, dan interaksi pada pertemuan-pertemuan sebelumnya, kini saatnya kita memahami bagaimana semua komponen tersebut disatukan menjadi sebuah aplikasi AR yang utuh dan berfungsi.

Authoring dalam konteks augmented reality adalah proses penciptaan dan penyusunan konten AR, mulai dari menentukan struktur aplikasi, memilih teknologi yang sesuai, mengintegrasikan berbagai aset digital, hingga menghasilkan pengalaman AR yang siap digunakan oleh pengguna akhir. Proses ini melibatkan berbagai disiplin ilmu dan keterampilan, mulai dari desain visual, pemrograman, hingga pemahaman tentang konteks penggunaan.

Pada pertemuan ini, kita akan membahas secara mendalam tentang requirement authoring AR, elemen-elemen authoring, solusi authoring standalone, pendekatan plug-in, serta pemanfaatan teknologi web dalam authoring AR. Pemahaman tentang authoring akan membekali mahasiswa dengan pengetahuan tentang bagaimana sebuah aplikasi AR benar-benar dibangun dari awal hingga siap digunakan.

1. Requirements of AR Authoring
Memahami Kebutuhan Authoring AR

Authoring AR bukanlah kegiatan yang seragam untuk semua proyek. Setiap aplikasi AR memiliki kebutuhan yang berbeda tergantung pada konteks penggunaannya, target audiens, perangkat yang digunakan, dan tujuan yang ingin dicapai. Oleh karena itu, langkah pertama dalam proses authoring adalah memahami secara jelas apa yang dibutuhkan oleh proyek tersebut.

Penelitian tentang proses authoring AR telah mengidentifikasi bahwa authoring dimulai dengan pemahaman tentang aplikasi AR yang akan dibuat dan konteks penggunaannya . Tidak ada pemahaman bersama antara penulis (author) dan pelanggan tentang teknologi AR dan konteks skenario pelanggan seringkali menjadi tantangan awal. Penulis perlu memahami konteks agar skenario AR yang tepat dapat dikembangkan .
 

Faktor-Faktor yang Perlu Dipertimbangkan

Sebelum memilih alat authoring AR, kebutuhan proyek harus jelas. Proses desain pengalaman AR sebaiknya menghasilkan storyboard, dan dari storyboard tersebut, beberapa faktor berikut dapat didefinisikan :

Pengaturan Pengguna: Di mana aplikasi AR akan digunakan? Apakah di dalam ruangan (indoor) atau di luar ruangan (outdoor)? Tingkat kebisingan lingkungan juga perlu dipertimbangkan karena dapat mempengaruhi interaksi berbasis suara . Sebagai contoh, jika aplikasi digunakan di pabrik yang bising, speech recognition mungkin tidak berfungsi dengan baik .

Kebutuhan Manajemen Pengguna: Apakah sistem memerlukan manajemen pengguna untuk menyediakan personalisasi pengalaman atau pelacakan? Apakah diperlukan komunikasi langsung dengan ahli jarak jauh selama pengalaman berlangsung?

Jenis Tracking yang Dibutuhkan: Apakah aplikasi akan menggunakan marker-based tracking, 3D object tracking, atau SLAM (Simultaneous Localization and Mapping)? Pemilihan metode tracking harus disesuaikan dengan konteks aplikasi .

Kebutuhan Perangkat: Perangkat apa yang akan digunakan? Smartphone, tablet, smart glasses, atau HMD lainnya? Pilihan perangkat ini sangat mempengaruhi karakteristik input dan output .

Modalitas Interaksi: Apakah interaksi akan dilakukan hands-free, melalui sentuhan, suara, atau arah pandang? Pilihan modalitas interaksi bergantung pada perangkat yang digunakan dan konteks penggunaan .

Persyaratan Data: Data apa yang akan digunakan dalam aplikasi AR? Apakah ada file tambahan seperti video, PDF, atau model 3D yang perlu disediakan sedini mungkin? Persiapan dan implementasi data seringkali menjadi aspek yang paling memakan waktu dalam authoring AR .
 

Kebutuhan Arsitektur Perangkat Lunak

Selain kebutuhan fungsional, authoring AR juga memerlukan pertimbangan tentang arsitektur perangkat lunak. Aplikasi AR harus memenuhi persyaratan teknis seperti kinerja real-time, stabilitas, dan skalabilitas. Beberapa arsitektur yang umum digunakan dalam authoring AR meliputi:

Distributed Object Systems: Sistem yang memungkinkan berbagai komponen aplikasi berkomunikasi satu sama lain melalui jaringan. Ini penting untuk aplikasi AR kolaboratif di mana beberapa pengguna berinteraksi dalam lingkungan yang sama.

Dataflow: Pendekatan di mana data mengalir melalui serangkaian komponen pemrosesan. Ini memungkinkan fleksibilitas dalam mengintegrasikan berbagai modul seperti tracking, rendering, dan interaksi.

Scene Graphs: Struktur data hierarkis yang mengorganisasi objek-objek dalam adegan 3D. Scene graphs memungkinkan pengelolaan transformasi spasial dan hubungan antar objek secara efisien.

2. Elements of Authoring (Elemen-Elemen Authoring)
Komponen Dasar Authoring AR

Berdasarkan penelitian tentang proses authoring AR, terdapat beberapa elemen dasar yang membentuk fondasi dari setiap aplikasi AR. Elemen-elemen ini bertindak sebagai modul untuk menciptakan konten AR dan tidak harus semuanya diterapkan pada setiap skenario AR :

Info Screen (Layar Informasi): Elemen ini berisi konten 2D seperti teks, gambar, atau video yang ditampilkan tanpa memperluas lingkungan nyata. Layar informasi dapat dibandingkan dengan manual PDF konvensional. Dalam praktiknya, layar informasi digunakan di awal untuk menggambarkan tujuan dan maksud aplikasi AR kepada pengguna .

Single Instructions (Instruksi Tunggal): Dalam elemen ini, konten 2D dan 3D ditempatkan di dalam dan untuk lingkungan nyata. Konten ditempatkan di lingkungan nyata sehingga pengguna dapat melihat konten pada waktu dan posisi yang tepat. Sesuai dengan namanya, hanya satu langkah proses yang dibuat dalam elemen ini. Langkah proses berikutnya harus dibuat dengan instruksi tunggal lainnya .

Annotations (Anotasi): Elemen ini memungkinkan konten 3D dan 2D dalam skenario AR dianimasikan. Dengan bantuan animasi ini, langkah-langkah proses individual dapat divisualisasikan. Contoh sederhana adalah sekrup yang berputar berlawanan arah jarum jam untuk mengilustrasikan bahwa sekrup tersebut harus dilepas .

User Input (Input Pengguna): Elemen ini mendefinisikan antarmuka pengguna dan menentukan bagaimana pengguna dapat berinteraksi dengan sistem dan data apa yang dapat ditambahkan ke proses. Hal ini bergantung pada perangkat yang digunakan karena perangkat yang berbeda menggunakan konsep interaksi yang berbeda .
 

Struktur dan Alur Aplikasi

Selain elemen-elemen konten, authoring AR juga memerlukan pemahaman tentang struktur dan alur aplikasi. Sebuah aplikasi AR biasanya memiliki alur yang membawa pengguna melalui serangkaian langkah atau scene. Dalam pendekatan authoring yang lebih abstrak, alur ini dapat dimodelkan menggunakan state machine, di mana setiap state mewakili sebuah scene atau langkah, dan transisi antar state dipicu oleh interaksi pengguna .
 

Desain dan Implementasi

Secara tradisional, pembuatan aplikasi AR membutuhkan upaya besar dalam dua aspek utama: desain dan implementasi. Pengguna perlu: 1) merancang struktur keseluruhan aplikasi AR dengan menentukan teknik yang diperlukan dan bagaimana teknik tersebut diintegrasikan untuk mencapai fungsionalitas yang diinginkan; 2) mengimplementasikan desain ke dalam aplikasi AR yang fungsional melalui pemrograman. Proses ini dapat menjadi tantangan bagi pengguna dengan pengalaman terbatas dalam desain atau pemrograman AR .

3. Stand-Alone Authoring Solutions (Solusi Authoring Mandiri)
Definisi dan Karakteristik

Solusi authoring mandiri (stand-alone) adalah alat atau platform yang menyediakan lingkungan terintegrasi untuk membuat aplikasi AR tanpa memerlukan perangkat lunak atau alat tambahan yang signifikan. Solusi ini dirancang untuk menjadi "satu atap" bagi proses authoring, mulai dari pembuatan konten hingga deployment.
 

Contoh Stand-Alone Authoring Solutions

Unity dengan Vuforia SDK: Kombinasi Unity dan Vuforia adalah salah satu pendekatan authoring AR yang paling populer. Vuforia menyediakan SDK yang terintegrasi dengan Unity, memungkinkan pengembang untuk membuat aplikasi AR dengan menggabungkan fitur-fitur Vuforia (seperti image target tracking, model target tracking, dan area target) ke dalam proyek Unity . Proses setup meliputi instalasi Unity dengan dukungan Vuforia, pembuatan akun pengembang Vuforia, dan konfigurasi lisensi .

Platform Authoring Lainnya: Selain Unity-Vuforia, terdapat berbagai platform authoring AR lainnya. Beberapa platform menawarkan pendekatan visual programming atau block-based yang lebih mudah digunakan oleh non-programmer, sementara yang lain menyediakan API yang lebih fleksibel untuk pengembang berpengalaman. Pilihan alat authoring sangat bergantung pada kebutuhan proyek, keterampilan pengembang, dan sumber daya yang tersedia .
 

Kelebihan dan Keterbatasan

Kelebihan utama solusi authoring mandiri adalah integrasi yang erat antara berbagai komponen authoring—pembuatan konten, logika aplikasi, dan deployment—dalam satu lingkungan yang terpadu. Ini dapat meningkatkan efisiensi dan mengurangi kompleksitas.

Namun, solusi mandiri juga memiliki keterbatasan. Mereka seringkali bersifat "monolitik," artinya perubahan atau penyesuaian di luar apa yang disediakan oleh platform bisa menjadi sulit atau tidak mungkin dilakukan. Selain itu, solusi mandiri mungkin tidak mendukung alur kerja kolaboratif yang melibatkan banyak anggota tim dengan peran yang berbeda .
 

APRIL: Pendekatan Authoring Berbasis Bahasa Skrip

Salah satu solusi authoring yang menarik adalah APRIL (Augmented Presentation and Interaction Language), yang dikembangkan di Vienna University of Technology. APRIL menggunakan bahasa skrip deklaratif sebagai komponen pengintegrasi untuk authoring. Pendekatan ini mengabstraksi aspek teknis tingkat rendah dari sistem dan mengekspos konsep tingkat tinggi kepada penulis dalam format terbuka, yang dapat dibuat menggunakan kombinasi input teks manual, antarmuka pengguna grafis, atau generator otomatis .

APRIL mendukung alur kerja yang berfokus pada pemisahan perhatian, memungkinkan pencampuran dan pencocokan berbagai alat komersial dan proprietary yang digunakan secara bersamaan oleh beberapa individu yang mengerjakan aspek proyek yang berbeda. Sebagai media yang kompleks dan eksperimental, AR biasanya membutuhkan banyak pembuatan prototipe, dan oleh karena itu alat harus mendukung pekerjaan interaktif dan inkremental .

4. Plug-In Approaches (Pendekatan Plug-In)
Definisi dan Konsep

Pendekatan plug-in dalam authoring AR adalah strategi di mana fungsionalitas AR ditambahkan ke platform atau alat yang sudah ada melalui plug-in atau ekstensi. Pendekatan ini memanfaatkan ekosistem dan kapabilitas platform yang sudah mapan, seperti game engine atau lingkungan pengembangan lainnya.
 

Contoh Plug-In Approaches

Vuforia sebagai Plug-in Unity: Vuforia Engine tersedia sebagai SDK yang terintegrasi dengan Unity. Pendekatan ini memungkinkan pengembang untuk memanfaatkan semua fitur Unity—termasuk rendering, fisika, dan animasi—sambil menambahkan kemampuan AR melalui Vuforia. Pengembang dapat menambahkan AR Camera, Image Targets, dan komponen AR lainnya ke dalam proyek Unity yang sudah ada .

AR Foundation Unity: Unity juga menyediakan AR Foundation, sebuah framework yang memungkinkan pengembang untuk membangun aplikasi AR yang dapat dijalankan di berbagai perangkat mobile (iOS dan Android) dengan basis kode yang sama. AR Foundation mengabstraksi perbedaan antara platform ARKit (Apple) dan ARCore (Google) .
 

Kelebihan Pendekatan Plug-In

Pendekatan plug-in menawarkan fleksibilitas yang besar karena pengembang dapat memilih platform yang paling sesuai dengan kebutuhan mereka dan menambahkan fungsionalitas AR sesuai kebutuhan. Ini juga memungkinkan penggunaan alat dan alur kerja yang sudah dikenal, mengurangi kurva pembelajaran.
 

Keterbatasan dan Tantangan

Pendekatan plug-in juga memiliki tantangan. Ketergantungan pada platform yang sudah ada berarti bahwa perubahan pada platform dapat mempengaruhi fungsionalitas plug-in. Selain itu, tidak semua fitur AR mungkin didukung secara native oleh platform, sehingga memerlukan solusi kustom. Juga, mengintegrasikan beberapa plug-in dari vendor yang berbeda dapat menimbulkan konflik atau masalah kompatibilitas.

5. Web Technology (Teknologi Web)
Augmented Reality di Web

Teknologi web telah membuka kemungkinan baru untuk authoring AR. Dengan perkembangan WebXR dan WebAR, pengguna sekarang dapat mengakses pengalaman AR langsung melalui browser web, tanpa perlu mengunduh aplikasi native. Pendekatan ini sangat mengurangi hambatan adopsi karena pengguna hanya perlu mengklik tautan untuk mengakses pengalaman AR.
 

Kelebihan Teknologi Web untuk Authoring

Aksesibilitas: Aplikasi AR berbasis web dapat diakses dari berbagai perangkat dengan browser modern, tanpa perlu instalasi. Ini sangat berguna untuk aplikasi yang membutuhkan distribusi luas dan cepat.

Pembaruan Mudah: Konten AR berbasis web dapat diperbarui secara terpusat di server, sehingga semua pengguna selalu mengakses versi terbaru tanpa perlu mengunduh pembaruan.

Alat Authoring Berbasis Web: Beberapa platform authoring AR menggunakan teknologi web untuk menyediakan antarmuka authoring yang dapat diakses dari browser. Ini memungkinkan kolaborasi tim secara real-time dan mengurangi kebutuhan untuk menginstal perangkat lunak berat di komputer lokal.
 

Keterbatasan Teknologi Web

Meskipun menjanjikan, teknologi web untuk AR masih memiliki keterbatasan dibandingkan dengan aplikasi native. Kinerja mungkin lebih rendah karena keterbatasan API web, dan akses ke sensor perangkat (seperti kamera dan IMU) mungkin tidak selengkap di aplikasi native. Namun, dengan perkembangan teknologi web yang pesat, kesenjangan ini semakin mengecil.
 

6. Authoring Berbasis Agen AI
 

Inovasi Terkini dalam Authoring AR

Perkembangan terbaru dalam authoring AR adalah pemanfaatan Large Language Model (LLM) dan agen otonom untuk mengotomatisasi proses pembuatan aplikasi AR. agentAR adalah salah satu contoh sistem authoring AR yang menggunakan agen otonom berbasis LLM untuk mendukung pembuatan aplikasi AR end-to-end dan in-situ dari input bahasa alami .
 

Bagaimana Agen AI Bekerja dalam Authoring

Sistem seperti agentAR dibangun di atas struktur aplikasi dan perpustakaan alat yang diturunkan dari penelitian AR mutakhir. Agen otonom dengan LLM sebagai pengontrol pusat, yang dilengkapi dengan alat khusus seperti API eksternal atau basis pengetahuan, secara otonom menyelesaikan tugas kompleks melalui perencanaan mandiri dan eksekusi. Tahap perencanaan dan eksekusi dari agen ini secara alami sejajar dengan aspek desain dan implementasi dari pembuatan AR .
 

Dampak pada Proses Authoring

Pendekatan berbasis agen AI secara signifikan mengurangi upaya pengguna dalam membuat aplikasi AR. Penelitian menunjukkan bahwa agen ini secara signifikan mengungguli agen baseline dalam pembuatan aplikasi AR dan memungkinkan pengguna dengan pengalaman AR terbatas untuk membuat berbagai aplikasi AR dengan upaya minimal .
 

Simpulan
Pada pertemuan ini, kita telah mempelajari authoring dalam augmented reality sebagai proses penciptaan dan penyusunan konten AR. Kita mulai dengan memahami persyaratan authoring AR, yang mencakup berbagai faktor seperti pengaturan pengguna, kebutuhan manajemen pengguna, jenis tracking, perangkat, modalitas interaksi, dan persyaratan data.

Selanjutnya, kita membahas elemen-elemen authoring yang mencakup komponen dasar seperti info screen, single instructions, annotations, dan user input. Elemen-elemen ini bertindak sebagai modul untuk menciptakan konten AR dan dapat dikombinasikan sesuai dengan kebutuhan skenario.

Kita juga mempelajari berbagai pendekatan authoring, mulai dari solusi standalone seperti Unity-Vuforia dan APRIL, pendekatan plug-in yang menambahkan fungsionalitas AR ke platform yang sudah ada, hingga pemanfaatan teknologi web untuk aksesibilitas yang lebih luas. Terakhir, kita melihat inovasi terkini berupa authoring berbasis agen AI yang menjanjikan pengurangan signifikan dalam upaya pembuatan aplikasi AR.

Pemahaman tentang authoring melengkapi pengetahuan kita tentang augmented reality secara keseluruhan. Dengan memahami bagaimana aplikasi AR dibangun dari awal hingga siap digunakan, mahasiswa akan memiliki gambaran yang utuh tentang siklus hidup pengembangan AR dan dapat berkontribusi secara efektif dalam proyek AR di masa depan.