Pendahuluan
kita akan membahas topik yang menjadi fondasi penting dalam pengembangan aplikasi augmented reality, yaitu modeling dan annotation. Setelah mempelajari berbagai aspek interaksi pada pertemuan sebelumnya, kini saatnya kita memahami bagaimana konten 3D dan informasi tambahan diciptakan, diposisikan, dan dikelola dalam lingkungan AR.
Modeling dalam AR merujuk pada proses penciptaan representasi geometris dari objek atau lingkungan, baik melalui spesifikasi manual maupun rekonstruksi semi-otomatis. Sementara itu, annotation adalah proses menambahkan informasi kontekstual—seperti teks, gambar, audio, atau video—yang terikat pada objek atau lokasi tertentu di dunia nyata. Kedua aspek ini saling melengkapi: modeling menyediakan struktur spasial, sementara annotation mengisi struktur tersebut dengan makna dan informasi.
Pada pertemuan ini, kita akan membahas secara mendalam tentang spesifikasi geometri, spesifikasi tampilan (appearance), rekonstruksi semi-otomatis, free-form modeling, serta berbagai metode dan pendekatan dalam annotation. Pemahaman tentang modeling dan annotation akan membekali mahasiswa dengan kemampuan untuk menciptakan konten AR yang kaya, informatif, dan terintegrasi secara spasial dengan lingkungan nyata.
1. Specifying Geometry (Spesifikasi Geometri)
Pengertian dan Tantangan Dasar
Masalah fundamental dalam modeling adalah spesifikasi primitif geometris. Dalam konteks AR, kita berfokus pada geometri poligonal sederhana: titik, bidang, dan volume. Meskipun entitas geometris yang dihasilkan mirip dengan struktur data dalam CAD desktop, teknik inputnya berbeda karena memerlukan gerakan fisik di lingkungan nyata .
Tantangan utama dalam spesifikasi geometri di AR adalah bahwa pengguna harus dapat menentukan lokasi spasial dalam ruang 3D tanpa antarmuka tradisional seperti mouse dan keyboard. Sebaliknya, mereka menggunakan gerakan tubuh, perangkat yang dilacak, atau kombinasi keduanya.
Spesifikasi Titik (Points)
Setiap input spasial oleh operator manusia selalu dapat dikategorikan berdasarkan apakah ruang kerja yang relevan berada dalam jangkauan lengan atau apakah pengguna beroperasi pada jarak jauh, berpotensi di luar ruangan, di area di mana jarak yang jauh harus ditempuh .
Dalam Jangkauan Lengan: Pendekatan paling mudah dan alami adalah membiarkan pengguna menunjuk langsung ke lokasi yang diinginkan—misalnya, dengan menggunakan sarung tangan atau stylus yang dilacak. Ini memberikan umpan balik haptic langsung dan presisi yang baik .
Pada Jarak Jauh: Interaksi jarak jauh paling umum dilakukan dengan varian raycasting. Pengguna memancarkan sinar (ray) ke lingkungan, yang berasal dari bagian tubuh, baik kepala (arah pandang/gaze) atau tangan. Arah sinar ditentukan oleh orientasi bagian tubuh saja atau sebagai vektor antara dua bagian tubuh (dari kepala ke tangan atau dari tangan ke tangan) .
Sebuah titik dapat ditentukan dengan menentukan sinar kedua yang berpotongan dengan sinar pertama. Titik tersebut kemudian dihitung sebagai pusat jarak minimum antara kedua sinar ini, karena perpotongan tepat dari dua sinar biasanya tidak dapat dicapai dalam operasi tangan bebas. Sebagai alternatif dari perpotongan, jarak dapat ditentukan secara eksplisit—misalnya, dengan menggerakkan titik sepanjang sinar menggunakan teknik "fishing reel" dengan roda mouse atau instrumen serupa .
Metode lain untuk menentukan dimensi ketiga sebuah titik adalah memberikan pengguna perspektif alternatif. Misalnya, pengguna dapat memilih posisi 2D dalam citra udara yang diambil berdasarkan koordinat GPS pengguna saat itu. Metode ini lebih nyaman untuk penggunaan di luar ruangan, ketika berpindah ke lokasi yang cukup jauh untuk memancarkan sinar kedua akan menjadi merepotkan .
Fitur yang berguna untuk setiap jenis spesifikasi titik adalah penyediaan snapping otomatis ke titik, garis, atau poligon yang sudah ada, ketika lokasi baru cukup dekat .
Spesifikasi Bidang (Planes)
Meskipun titik individu berguna dalam AR sebagai jangkar untuk anotasi, sebagian besar aplikasi geometris akan melibatkan struktur planar. Bidang dapat didefinisikan dengan berbagai cara :
Tiga Titik: Metode yang paling jelas untuk mendefinisikan bidang sembarang adalah dengan memilih tiga titik. Titik-titik ini dapat, tetapi tidak harus, terletak pada permukaan fisik. Sebagai contoh, hanya dua titik yang mungkin terletak pada permukaan, sementara titik ketiga mendefinisikan sudut bidang baru relatif terhadap permukaan tersebut .
Dua Titik (Bidang Ortogonal): Jika bidang baru ortogonal terhadap bidang yang sudah ada, titik ketiga tidak diperlukan. Dengan kata lain, dua titik sudah cukup untuk mendefinisikan sebuah bidang yang tegak lurus terhadap permukaan .
Bantuan Sensor Gravitasi: Jika sensor gravitasi tersedia, bidang vertikal dapat didefinisikan oleh arah pandang pengguna, dan bidang horizontal dapat didefinisikan dengan menentukan satu titik untuk ketinggian. Selain itu, sebuah bidang dapat didefinisikan sejajar dengan permukaan atau bidang yang sudah ada dengan menentukan offset. Ini termasuk bidang yang sejajar dengan bidang pandang .
Beberapa cara mendefinisikan bidang meliputi: bidang yang sejajar dengan vektor antara kepala pengguna dan arah gravitasi, bidang yang ortogonal terhadap vektor antara kepala dan tangan dan sejajar dengan gravitasi, dan bidang yang berisi tangan pengguna dan ortogonal terhadap gravitasi .
Spesifikasi Volume (Volumes)
Biasanya spesifikasi titik dan bidang hanyalah langkah perantara dalam prosedur pemodelan geometris, dengan pengguna pada akhirnya tertarik pada volume. Cara paling langsung untuk mencapai volume tersebut adalah dengan menghubungkan titik-titik dengan tepi untuk membentuk poligon, dan kemudian menggabungkan poligon untuk membentuk volume. Namun, tergantung pada kompleksitas objek yang mendasarinya, pendekatan ini mungkin rumit dan rawan kesalahan .
Untuk alasan ini, operasi yang menghasilkan objek volumetrik dalam satu langkah dan memastikannya kedap air dan valid secara topologis lebih disukai. Pendekatan sederhana adalah menentukan kotak dengan menunjukkan persegi panjang dasar dan tinggi. Secara umum, ekstrusi adalah pendekatan populer untuk membuat volume yang tepat. Dengan bentuk dasar planar (misalnya, poligon atau lingkaran) dan indikasi tinggi sepanjang normal, bentuk ekstrusi (prisma, piramida, silinder, atau kerucut) dapat dibuat. Beberapa sistem juga mendukung ekstrusi rotasional atau pencerminan .
Pemodelan bentuk volume yang lebih kompleks sering dilakukan dengan constructive solid geometry—yaitu, kombinasi union volumetrik, intersection, dan difference. Operasi ini dapat bekerja pada volume yang sudah ada (misalnya, ekstrusi) atau pada set bidang. Setiap bidang mendefinisikan setengah-ruang (half-space), yang mencakup semua titik di sisi vektor normal positif. Menginterseksi setengah-ruang membentuk volume dengan space-carving: Setiap bidang menghilangkan sebagian ruang, sehingga volume yang diinginkan tersisa. Menentukan bidang vertikal dan horizontal dan menginterseksi setengah-ruangnya adalah metode yang berguna untuk memodelkan bangunan dan objek buatan manusia besar lainnya .
2. Specifying Appearance (Spesifikasi Tampilan)
Akuisisi Tekstur dari Video Langsung
Salah satu keunggulan distinct dari pemodelan AR dibandingkan jenis pemodelan geometris lainnya adalah bahwa streaming video langsung yang digunakan dalam AR adalah sumber informasi penampilan yang kaya. Dengan asumsi geometri poligon diketahui dan poligon tidak terlalu miring dari bidang gambar, tekstur poligon dapat langsung diambil dari gambar. Kerusakan tekstur dari okklusi atau refleksi spekuler dapat diperbaiki dengan memungkinkan pengguna secara selektif mengganti bagian tekstur dengan piksel dari gambar kamera baru .
Modifikasi Penampilan dengan Cahaya Terproyeksi
Selain akuisisi penampilan, desainer tertarik pada modifikasi penampilan. Dengan asumsi objek phantom tersedia, dynamic shader lamps memungkinkan pengguna melukis dengan cahaya yang diproyeksikan pada objek nyata. Awalnya, objek memiliki tekstur kosong dan transparan. Setiap kali pengguna menerapkan "cat," ujung kuas ditransformasikan ke dalam koordinat tekstur lokal dari objek phantom. Tekstur yang terkait diisi dengan percikan warna pada koordinat yang ditentukan. Proyeksi tekstur berwarna tidak bergantung pada sudut pandang pengguna saat ini, karena informasi yang diproyeksikan dibatasi untuk terletak pada permukaan fisik .
Teknik AR airbrush memperluas ide ini dengan mengganti kuas dengan semprotan partikel. Semakin jauh pengguna memegang pistol cat dari permukaan, semakin luas area yang dicat. Dengan menggunakan stensil di tangan non-dominan, pengguna dapat membatasi deposit partikel cat pada permukaan. Sama seperti dengan airbrush nyata, seniman terlatih dapat menggerakkan pistol cat dan stensil secara bersamaan untuk menciptakan gradien warna yang halus .
3. Semi-Automatic Reconstruction (Rekonstruksi Semi-Otomatis)
Kebutuhan akan Rekonstruksi Semi-Otomatis
Kemajuan terkini dalam rekonstruksi online sekarang memungkinkan akuisisi model geometris saat pengguna sedang menjelajahi lingkungan. Bahkan rekonstruksi padat (dense reconstruction) dimungkinkan dengan prosesor cepat atau sensor kedalaman. Namun, model yang diperoleh dengan rekonstruksi otomatis tidak segera cocok untuk aplikasi AR. Di satu sisi, model-model ini sering kali mencakup detail yang tidak perlu, membutuhkan banyak penyimpanan dan daya pemrosesan untuk rendering dan fisika. Di sisi lain, mereka tidak memiliki struktur atau makna semantik, sehingga sulit untuk melakukan operasi semantik sederhana seperti pemilihan satu objek individu .
Untuk mengatasi kekurangan ini, diperlukan rekonstruksi semi-otomatis, di mana metode rekonstruksi online (biasanya berdasarkan SLAM/Simultaneous Localization and Mapping) menyediakan data untuk operasi pemodelan yang terletak di situ (situated modeling) .
Pendekatan Berbasis SLAM
Pendekatan paling sederhana menggunakan SLAM untuk memperkirakan bidang dominan dalam adegan. Bidang-bidang tersebut dapat digunakan untuk registrasi objek virtual. Beberapa sistem memungkinkan pengguna menguraikan permukaan poligonal langsung dalam keyframe dari peta SLAM, menciptakan model yang terintegrasi dengan lingkungan. Dukungan untuk rekonstruksi semi-otomatis terus berkembang, memungkinkan pengguna untuk membangun model yang bermakna secara semantik dengan upaya yang jauh lebih sedikit daripada pemodelan manual penuh .
4. Free-Form Modeling (Pemodelan Bentuk Bebas)
Definisi dan Pendekatan
Pemodelan bentuk bebas (free-form modeling) adalah pendekatan untuk menciptakan bentuk organik atau non-planar yang tidak dapat direpresentasikan secara memadai oleh poligon datar sederhana. Bentuk-bentuk ini mencakup permukaan melengkung, kontur organik, dan struktur yang lebih kompleks. Dalam konteks AR, free-form modeling memungkinkan pengguna untuk membuat dan memanipulasi bentuk yang lebih ekspresif dan alami.
Teknik dan Alat
Pendekatan free-form modeling dalam AR sering melibatkan gestur tangan atau penggunaan alat yang dilacak untuk "memahat" atau "menggambar" di udara. Gerakan pengguna diterjemahkan menjadi permukaan NURBS atau mesh halus yang dapat dilihat dan dimanipulasi secara real-time. Pendekatan ini sangat berguna untuk aplikasi desain produk, seni, dan arsitektur di mana bentuk organik diperlukan.
Meskipun belum sepenuhnya matang untuk semua kasus penggunaan, free-form modeling dalam AR terus berkembang seiring dengan kemajuan dalam pelacakan tangan dan antarmuka pengguna yang lebih intuitif.
5. Annotation (Anotasi)
Definisi dan Pentingnya Anotasi
Anotasi adalah praktik menambahkan informasi kontekstual ke objek atau lokasi di dunia nyata melalui konten virtual. Anotasi sangat penting dalam AR karena memungkinkan pengguna untuk berbagi pengetahuan, memberikan panduan, dan memperkaya pengalaman dengan informasi yang tidak terlihat secara fisik .
Anotasi dalam AR dapat mengambil berbagai bentuk: teks, gambar, audio, video, model 3D, atau kombinasi dari semuanya. Dalam konteks industri, anotasi digunakan untuk dokumentasi teknis, panduan perawatan, dan pelacakan proses . Di bidang pendidikan, anotasi membantu menjelaskan konsep yang kompleks . Di sektor pariwisata, anotasi menyediakan informasi tentang landmark dan tempat bersejarah .
Metode Presentasi Anotasi
Cara anotasi dipresentasikan kepada pengguna sangat mempengaruhi efektivitas dan pengalaman pengguna. Penelitian terbaru membandingkan empat metode presentasi anotasi :
Opacity-Based (Berbasis Opasitas): Metode ini memodifikasi transparansi anotasi berdasarkan input pandangan (gaze). Ketika pengguna melihat sebuah anotasi, bayangan transparan dari anotasi menjadi lebih buram, membuatnya jelas dan terbaca. Sebaliknya, ketika pandangan dihilangkan, anotasi memudar untuk mempertahankan pandangan yang tidak berantakan terhadap lingkungan. Pendekatan ini dirancang untuk mengurangi kelebihan visual sambil memastikan pengguna tetap sadar akan keberadaan anotasi di lokasi spasial tertentu .
Scale-Based (Berbasis Skala): Metode ini memperbesar anotasi sebagai respons terhadap interaksi pandangan. Ketika sebuah anotasi diarahkan dengan pandangan pengguna, ia mengembang untuk memberikan visibilitas dan keterbacaan yang lebih baik. Begitu pandangan bergeser, anotasi menyusut kembali ke ukuran aslinya. Metode ini sangat berguna ketika ukuran anotasi yang dapat dibaca menyebabkan tumpang tindih satu sama lain. Dengan menampilkan anotasi yang ringkas yang hanya membesar bila diperlukan, metode ini mengoptimalkan ruang untuk mengurangi gangguan .
Marker-Based (Berbasis Penanda): Metode ini merangkum anotasi di dalam penanda visual (dalam penelitian ini, bola/sphere) untuk menarik perhatian ke lokasi anotasi sementara informasi tidak ditampilkan. Bentuk representasi ini memisahkan anotasi dari elemen latar belakang, sambil memungkinkan petunjuk visual kecil yang menghindari kekacauan visual dan anotasi yang tumpang tindih .
Nothing-Based (Tanpa Penanda): Dalam metode presentasi ini, anotasi tidak terlihat dan hanya muncul ketika pengguna melihat lokasi atau objek tertentu di mana anotasi tersebut berada. Metode ini sepenuhnya menghindari kekacauan visual dengan menghilangkan setiap petunjuk visual tentang anotasi, yang mungkin mengorbankan hilangnya beberapa anotasi saat dibutuhkan .
Interaksi dalam Anotasi
Interaksi dengan anotasi juga merupakan aspek penting dalam desain sistem anotasi. Dua modalitas interaksi utama yang sering dibandingkan adalah :
Eye-Gaze Hovering (Arah Pandang): Pengguna mengaktifkan anotasi hanya dengan melihatnya untuk durasi tertentu (dwell time). Penelitian menunjukkan bahwa metode ini menghasilkan waktu penyelesaian tugas yang lebih singkat dan beban kognitif yang lebih rendah dibandingkan dengan metode tangan, namun dapat menyebabkan aktivasi yang tidak disengaja .
Hand-Ray Hovering (Sinar Tangan): Pengguna mengaktifkan anotasi dengan mengarahkan sinar dari tangan ke anotasi. Metode ini memberikan kontrol yang lebih disengaja tetapi dapat menyebabkan kelelahan lengan yang lebih besar .
Aplikasi dan Contoh Implementasi
Anotasi Industri: Dalam konteks industri, anotasi AR digunakan untuk mendokumentasikan informasi tentang mesin, mencatat pengamatan tentang status peralatan, atau tugas yang tertunda. Ini adalah mekanisme penting untuk pelacakan proses, koordinasi antar shift kerja, dan dokumentasi insiden . Penelitian terbaru mengembangkan aplikasi AR mobile yang mengenali objek industri dan menampilkan model 3D yang sejajar, memungkinkan pengguna untuk membuat, mengedit, dan berkonsultasi anotasi kontekstual yang disimpan secara persisten di cloud .
Anotasi Kolaboratif Asinkron: Anotasi juga mendukung kolaborasi asinkron, di mana satu pengguna membuat anotasi dan pengguna lain dapat melihatnya di lain waktu. Dalam sistem ini, perspektif pembuat anotasi—termasuk pose kepala dan titik fiksasi—direkam dan disimpan. Pemirsa dapat melihat anotasi dari setiap sudut secara asinkron, menciptakan pengalaman yang kaya akan konteks .
Anotasi Personalisasi: Sistem anotasi berbasis AR juga dapat menyediakan pesan yang dipersonalisasi berdasarkan informasi kontekstual seperti identitas, lokasi, dan waktu pengguna. Marker ditempelkan pada objek nyata untuk melacak lokasi pengguna, dan pesan yang diterima dapat berupa post-it virtual atau model 3D yang ditampilkan di atas pandangan dunia nyata .
Simpulan
kita telah mempelajari modeling dan annotation dalam augmented reality. Modeling mencakup spesifikasi geometri titik, bidang, dan volume melalui teknik interaksi yang disesuaikan dengan lingkungan AR; spesifikasi tampilan melalui akuisisi tekstur dari video langsung dan modifikasi penampilan dengan cahaya terproyeksi; rekonstruksi semi-otomatis berbasis SLAM yang menggabungkan otomatisasi dengan kontrol pengguna; serta free-form modeling untuk bentuk organik.
Annotation telah kita pelajari sebagai praktik menambahkan informasi kontekstual ke lingkungan nyata. Berbagai metode presentasi—berbasis opasitas, skala, penanda, dan tanpa penanda—menawarkan trade-off berbeda antara visibilitas dan kekacauan visual. Modalitas interaksi seperti arah pandang dan sinar tangan mempengaruhi efisiensi dan pengalaman pengguna. Aplikasi anotasi mencakup berbagai domain, dari industri dan pendidikan hingga kolaborasi asinkron dan personalisasi.
Pemahaman tentang modeling dan annotation melengkapi pengetahuan kita tentang pengembangan AR secara keseluruhan, menghubungkan aspek teknis dengan kebutuhan pengguna akan informasi yang kontekstual dan bermakna.
Tidak ada komentar:
Posting Komentar