Interaksi dalam Augmented Reality

 

Pendahuluan

Mata kuliah Augmented Reality, kita akan membahas topik yang sangat penting dalam menciptakan pengalaman AR yang imersif dan bermakna, yaitu interaksi. Setelah mempelajari berbagai komponen teknis seperti display, tracking, kalibrasi, registrasi, dan visual coherence pada pertemuan-pertemuan sebelumnya, kini kita akan fokus pada bagaimana pengguna benar-benar berinteraksi dengan konten AR.

Interaksi adalah jantung dari setiap pengalaman augmented reality. Tanpa interaksi yang baik, AR hanyalah tontonan pasif—sebuah lapisan informasi yang ditampilkan di atas dunia nyata tanpa memberikan pengguna kemampuan untuk terlibat, mengontrol, atau memanipulasi konten tersebut. Sebaliknya, dengan interaksi yang dirancang dengan baik, AR menjadi alat yang powerful untuk bekerja, belajar, bermain, dan berkomunikasi.

Pada pertemuan ini, kita akan mempelajari berbagai modalitas interaksi dalam AR, baik dari sisi output maupun input, serta berbagai pendekatan interaksi yang inovatif seperti antarmuka tangible, antarmuka pengguna virtual di permukaan nyata, augmented paper, multi-view interfaces, haptic interaction, multimodal interaction, dan conversational agents.

1. Output Modalities (Modalitas Output) dalam AR

Output modalities merujuk pada cara sistem AR menyampaikan informasi kepada pengguna. Dalam AR, output tidak terbatas pada tampilan visual di layar, tetapi dapat melibatkan berbagai saluran sensorik yang dimiliki manusia. Pemahaman tentang modalitas output sangat penting karena setiap modalitas memiliki kekuatan dan kelemahan yang berbeda, dan pemilihan modalitas yang tepat akan sangat mempengaruhi efektivitas komunikasi.
 

Output Visual

Output visual adalah modalitas yang paling dominan dalam AR. Ini mencakup semua informasi yang disajikan secara grafis melalui layar atau head-mounted display: objek 3D, teks, ikon, animasi, warna, dan elemen visual lainnya. Kelebihan utama output visual adalah kemampuannya untuk menyampaikan informasi spasial dan kompleks secara simultan. Namun, keterbatasannya adalah bahwa mata manusia memiliki bidang pandang terbatas dan dapat mengalami kelelahan jika terlalu banyak informasi visual disajikan sekaligus.

Dalam konteks AR, output visual harus memperhatikan prinsip-prinsip desain antarmuka yang telah kita pelajari sebelumnya: hierarki visual, kontras, keterbacaan, dan konsistensi. Yang membedakan AR dari antarmuka konvensional adalah bahwa output visual harus terintegrasi secara mulus dengan lingkungan nyata, bukan berdiri sendiri di atas latar belakang kosong. Ini menuntut perhatian ekstra pada aspek seperti pencahayaan, bayangan, dan oklusi (penutupan) agar objek virtual terlihat seperti benar-benar ada di dunia nyata.
 

Output Auditor

Output auditori dalam AR menggunakan suara untuk menyampaikan informasi kepada pengguna. Ini dapat berupa suara narasi, efek suara, musik latar, atau peringatan suara. Kelebihan utama output auditori adalah bahwa telinga manusia memiliki kemampuan untuk mendeteksi suara dari segala arah, sehingga suara dapat digunakan untuk memberikan informasi spasial—misalnya, suara petunjuk yang datang dari arah objek yang dimaksud.

Dalam AR, output auditori sangat berguna sebagai pelengkap visual, terutama ketika perhatian visual pengguna sedang terfokus pada hal lain. Sebuah peringatan suara dapat menarik perhatian pengguna ke informasi penting tanpa harus mengalihkan pandangan dari tugas utama. Selain itu, suara dapat memberikan umpan balik yang memperkaya pengalaman, seperti suara klik ketika pengguna berhasil menekan tombol virtual.
 

Output Haptic (Peraba)

Output haptic atau taktil menggunakan indra peraba untuk menyampaikan informasi melalui getaran, tekanan, atau suhu. Dalam AR, output haptic seringkali dihasilkan oleh perangkat yang dikenakan atau dipegang pengguna, seperti smartphone yang bergetar, sarung tangan haptic, atau perangkat kontrol dengan umpan balik gaya.

Kelebihan utama output haptic adalah kemampuannya untuk memberikan umpan balik yang langsung dan intuitif. Ketika pengguna menyentuh objek virtual dan merasakan getaran, ia akan merasa bahwa objek tersebut "nyata" meskipun sebenarnya tidak ada. Penelitian menunjukkan bahwa penggunaan tangible objects dalam AR secara signifikan meningkatkan rasa kontrol, keterlibatan, dan pengalaman keseluruhan pengguna . Umpan balik haptic juga dapat digunakan untuk memberikan informasi yang tidak dapat disampaikan secara visual atau auditori, seperti tekstur permukaan atau kekerasan material.
Output Multimodal

Output multimodal adalah kombinasi dari dua atau lebih modalitas output secara bersamaan. Pendekatan ini memanfaatkan fakta bahwa manusia adalah makhluk multimodal—kita secara alami memproses informasi dari berbagai indra secara simultan. Dengan menggabungkan visual, audio, dan haptic, sistem AR dapat menciptakan pengalaman yang lebih kaya dan lebih immersif daripada menggunakan hanya satu modalitas saja.

Penelitian terbaru menunjukkan bahwa output multimodal sangat efektif dalam aplikasi seperti teleoperasi robot, di mana operator perlu memahami lingkungan jarak jauh secara mendalam. Sebuah sistem yang menggabungkan video streaming yang konsisten secara spasial, point cloud 3D, dan umpan balik haptic terbukti secara signifikan meningkatkan kinerja operator dalam hal waktu penyelesaian tugas, beban kerja, dan kehadiran spasial .

2. Input Modalities (Modalitas Input) dalam AR

Input modalities adalah cara pengguna memberikan perintah atau informasi kepada sistem AR. Berbeda dengan output yang berfokus pada penyampaian informasi dari sistem ke pengguna, input berfokus pada aliran sebaliknya: dari pengguna ke sistem. Pilihan modalitas input yang tepat sangat menentukan seberapa alami dan efisien interaksi pengguna dengan sistem AR.
 

Gesture Input (Input Gerak Isyarat)

Gesture input menggunakan gerakan tubuh, terutama tangan dan lengan, untuk mengontrol sistem AR. Ini adalah salah satu modalitas input yang paling umum dalam AR karena tidak memerlukan perangkat tambahan selain kamera yang sudah ada. Pengguna dapat menunjuk, melambaikan tangan, menggenggam, atau melakukan gerakan tertentu untuk memberi perintah.

Penelitian menunjukkan bahwa gestur dapat menjadi modalitas input yang sangat intuitif, terutama untuk tugas-tugas spasial. Namun, gestur juga memiliki keterbatasan. Gestur yang terlalu kompleks sulit diingat dan rentan terhadap kesalahan pengenalan. Selain itu, melakukan gerakan di udara dalam waktu lama dapat menyebabkan kelelahan lengan .
 

Speech Input (Input Suara/Ucapan)

Speech input atau input suara memungkinkan pengguna untuk berinteraksi dengan sistem AR menggunakan perintah lisan. Dengan kemajuan teknologi pengenalan suara berbasis kecerdasan buatan, modalitas ini menjadi semakin akurat dan dapat diandalkan, bahkan dalam kondisi dengan kebisingan latar belakang .

Input suara sangat berguna untuk situasi di mana tangan pengguna sibuk atau ketika pengguna berada dalam posisi yang tidak memungkinkan untuk melakukan gestur. Namun, input suara memiliki keterbatasan di lingkungan yang bising atau ketika pengguna tidak ingin mengganggu orang lain di sekitarnya.
 

Touch Input (Input Sentuhan)

Touch input menggunakan layar sentuh atau permukaan yang peka terhadap sentuhan sebagai sarana input. Ini adalah modalitas yang sangat umum di perangkat mobile AR seperti smartphone dan tablet. Pengguna dapat mengetuk, menggeser, mencubit, dan melakukan berbagai gerakan multi-sentuh untuk berinteraksi dengan konten AR.

Kelebihan utama touch input adalah presisi dan umpan balik taktil langsung. Namun, keterbatasannya adalah bahwa layar sentuh hanya menyediakan bidang interaksi 2D, yang dapat terasa kurang alami untuk manipulasi objek 3D dalam AR.
 

Gaze Input (Input Arah Pandang)

Gaze input menggunakan pelacakan mata (eye tracking) untuk menentukan di mana pengguna sedang melihat. Dengan mengetahui arah pandang, sistem dapat menentukan objek mana yang menjadi perhatian pengguna dan memberikan respons yang sesuai.

Modalitas ini sangat intuitif karena mata manusia secara alami bergerak ke objek yang menarik perhatian. Namun, gaze input menghadirkan tantangan teknis terkait akurasi pelacakan dan masalah seperti efek Midas Touch, di mana sistem merespons setiap pandangan seolah-olah itu adalah perintah.
 

Hybrid Input

Hybrid input menggabungkan dua atau lebih modalitas input secara bersamaan. Pendekatan ini memungkinkan pengguna untuk memilih modalitas yang paling sesuai untuk setiap situasi, atau menggabungkan modalitas untuk interaksi yang lebih ekspresif.

Sebagai contoh, pengguna dapat menggunakan gestur untuk memilih objek dan suara untuk memberikan perintah tentang apa yang harus dilakukan dengan objek tersebut. Atau, pengguna dapat menggunakan sentuhan pada layar untuk kontrol presisi dan gestur di udara untuk kontrol makro. Penelitian tentang tangible AR interfaces menunjukkan bahwa kombinasi input multimodal dapat menghilangkan kesulitan yang umumnya ditemui dalam interaksi AR, seperti menggunakan alat bantu AR yang rumit .

3. Tangible Interfaces
 

Definisi dan Konsep Dasar

Tangible interfaces atau antarmuka tangible adalah pendekatan interaksi yang menggunakan objek fisik nyata untuk memanipulasi informasi digital. Dalam konteks AR, tangible interfaces memungkinkan pengguna untuk berinteraksi dengan konten virtual melalui objek fisik yang dapat disentuh, dipindahkan, dan dimanipulasi.

Konsep ini didasarkan pada ide bahwa manusia secara alami lebih mahir dalam berinteraksi dengan dunia fisik daripada dengan antarmuka abstrak. Dengan memberi bentuk fisik pada informasi digital, tangible interfaces mengurangi beban kognitif dan membuat interaksi terasa lebih alami dan intuitif .
 

Bagaimana Tangible AR Bekerja

Dalam tangible AR, setiap objek virtual terdaftar (registered) ke objek fisik, dan pengguna berinteraksi dengan objek virtual dengan memanipulasi objek fisik yang sesuai. Misalnya, sebuah kubus fisik dapat digunakan untuk mengontrol model 3D virtual yang ditampilkan di atasnya. Ketika pengguna memutar kubus, model virtual berputar mengikutinya .

Kunci dari tangible AR adalah kemampuannya untuk mendukung interaksi yang mulus antara dunia nyata dan virtual. Antarmuka yang baik harus meminimalkan "seams"—diskontinuitas atau hambatan dalam interaksi yang memaksa pengguna untuk berpindah di antara ruang atau mode operasi yang berbeda .
 

Kelebihan Tangible Interfaces

Tangible interfaces menawarkan beberapa kelebihan signifikan dibandingkan modalitas interaksi lainnya. Pertama, mereka menyediakan umpan balik haptic yang kaya. Ketika pengguna memegang dan memanipulasi objek fisik, mereka menerima umpan balik sentuhan yang membantu mereka memahami bentuk, berat, dan posisi objek, yang semuanya hilang dalam interaksi berbasis gestur di udara .

Kedua, tangible interfaces memanfaatkan keterampilan motorik dan spasial alami manusia. Kita telah belajar memanipulasi objek fisik sepanjang hidup kita, sehingga interaksi tangible tidak memerlukan kurva pembelajaran yang panjang. Studi menunjukkan bahwa penggunaan tangible objects dalam AR meningkatkan rasa kontrol, keterlibatan, dan pengalaman keseluruhan .

Ketiga, tangible interfaces memungkinkan interaksi yang lebih presisi. Dibandingkan dengan gestur di udara yang sulit dikontrol dengan presisi tinggi, memanipulasi objek fisik memberikan kontrol yang lebih halus dan akurat.
 

Contoh Implementasi

Salah satu contoh implementasi tangible interface dalam AR adalah penggunaan RFID atau NFC tags pada objek fisik. Teknologi ini memiliki kelebihan karena tidak memerlukan garis pandang yang jelas (line-of-sight), dapat mengidentifikasi beberapa tag secara simultan, dan tidak merusak integritas objek asli. Dengan menggabungkan kelebihan antarmuka tidak terlihat (invisible) dan visual, interaksi dengan konten digital menjadi lebih intuitif .

Contoh lain adalah proyek TangibleNet, yang menggunakan magnet dua sisi sebagai alat interaksi dengan visualisasi jaringan yang diproyeksikan pada papan tulis. Evaluasi menunjukkan bahwa pendekatan ini mendukung interaksi yang intuitif dan meningkatkan otonomi presenter .

4. Virtual User Interfaces on Real Surfaces

Pengertian dan Konsep

Virtual User Interfaces on Real Surfaces atau antarmuka virtual pada permukaan nyata adalah pendekatan interaksi di mana antarmuka pengguna virtual diproyeksikan atau ditampilkan di atas permukaan fisik nyata, seperti meja, dinding, atau lengan pengguna. Ini berbeda dengan antarmuka yang melayang di udara (mid-air interfaces) yang tidak memiliki permukaan fisik sebagai referensi.
 

Kelebihan Interaksi pada Permukaan Nyata

Interaksi pada permukaan nyata menawarkan beberapa kelebihan dibandingkan antarmuka di udara. Pertama, permukaan fisik menyediakan umpan balik haptic yang membantu pengguna mengetahui posisi jari atau alat mereka. Kedua, permukaan fisik memberikan stabilitas yang mengurangi kelelahan lengan yang umum terjadi pada antarmuka di udara .

Ketiga, permukaan fisik dapat menawarkan ruang kerja yang lebih besar, terutama jika menggunakan meja atau dinding. Keempat, interaksi pada permukaan nyata seringkali terasa lebih alami karena kita terbiasa berinteraksi dengan benda-benda di atas permukaan.
 

Transisi Antarmuka Antar Permukaan

Penelitian terbaru mengeksplorasi bagaimana antarmuka AR dapat bertransisi secara mulus antara berbagai jenis permukaan: mid-air, on-body (di tubuh seperti lengan), dan physical surfaces (seperti meja) . Pendekatan ini memungkinkan pengguna untuk memindahkan antarmuka ke permukaan yang paling sesuai untuk tugas atau situasi tertentu.

Hasil penelitian menunjukkan bahwa pengguna memiliki preferensi yang kuat untuk memindahkan antarmuka dari mid-air ke permukaan fisik ketika permukaan tersebut tersedia. Di antara tiga mekanisme transisi yang diteliti—manual, semi-otomatis, dan otomatis—mekanisme semi-otomatis adalah yang paling disukai karena menawarkan keseimbangan antara otomatisasi dan kontrol pengguna .

5. Augmented Paper
 

Definisi dan Konsep
Augmented paper atau kertas yang diperkaya AR adalah konsep di mana kertas atau dokumen cetak tradisional ditingkatkan dengan konten digital menggunakan teknologi AR. Ini adalah salah satu bentuk paling awal dan paling mudah diakses dari AR, karena kertas sudah menjadi bagian dari kehidupan sehari-hari kita.

Dalam augmented paper, pengguna melihat dokumen cetak melalui perangkat AR (seperti smartphone atau headset) dan melihat informasi tambahan yang muncul di atas kertas. Informasi tambahan ini dapat berupa animasi, video, model 3D, tautan ke sumber daya online, atau informasi kontekstual lainnya.
 

Kelebihan dan Penerapan

Augmented paper menawarkan kelebihan karena menggabungkan yang terbaik dari kedua dunia: ketahanan dan aksesibilitas kertas dengan kekayaan dan interaktivitas media digital. Kertas tidak memerlukan baterai, tidak pernah kehabisan daya, dan dapat dibaca di bawah sinar matahari langsung—kelebihan yang masih sulit ditandingi oleh layar digital.

Aplikasi augmented paper sangat luas. Dalam pendidikan, buku teks yang diperkaya AR dapat menampilkan animasi yang menjelaskan konsep ilmiah yang kompleks. Dalam bidang teknik, manual perbaikan yang diperkaya AR dapat menampilkan panduan langkah demi langkah dalam bentuk 3D di atas diagram cetak. Dalam pemasaran, brosur yang diperkaya AR dapat menampilkan video produk atau pengalaman mencoba produk secara virtual.

6. Multi-View Interfaces
Definisi dan Konsep

Multi-view interfaces atau antarmuka multi-pandangan adalah pendekatan interaksi di mana beberapa pengguna dapat melihat dan berinteraksi dengan konten AR yang sama dari sudut pandang yang berbeda. Ini sangat relevan untuk aplikasi kolaboratif di mana beberapa orang perlu bekerja bersama dalam lingkungan AR.

Dalam antarmuka multi-pandangan, setiap pengguna melihat konten AR yang terdaftar secara spasial dengan lingkungan nyata, tetapi dari perspektif mereka masing-masing. Artinya, jika dua orang melihat objek virtual yang sama dari sisi yang berbeda, mereka akan melihat sisi objek yang sesuai dengan posisi mereka, sama seperti objek nyata.
 

Tantangan Implementasi

Implementasi multi-view interfaces menghadirkan beberapa tantangan. Pertama, sistem harus melacak posisi dan orientasi kepala setiap pengguna secara akurat agar setiap pengguna melihat gambar yang benar dari perspektif mereka. Kedua, sistem harus menyinkronkan konten di antara semua pengguna sehingga setiap orang melihat versi yang konsisten dari lingkungan AR.

Ketiga, sistem harus menangani masalah interaksi: bagaimana beberapa pengguna dapat secara bersamaan berinteraksi dengan objek yang sama tanpa saling mengganggu. Ini membutuhkan mekanisme kontrol giliran (floor control) yang canggih, seperti yang telah kita pelajari dalam materi groupware.

7. Haptic Interaction

Definisi dan Konsep

Haptic interaction atau interaksi haptik adalah pendekatan interaksi yang melibatkan indra peraba untuk memberikan umpan balik atau menerima input dari pengguna. Dalam AR, interaksi haptik dapat mengambil berbagai bentuk, dari getaran sederhana pada smartphone hingga umpan balik gaya yang kompleks pada perangkat kontrol khusus.

Interaksi haptik sangat penting karena indra peraba adalah salah satu cara utama manusia memahami dunia. Dengan menambahkan dimensi haptik ke AR, sistem dapat menciptakan pengalaman yang lebih imersif dan memberikan informasi yang tidak dapat disampaikan secara visual atau auditori.
 

Jenis-Jenis Umpan Balik Haptic

Umpan balik haptik dapat dikategorikan menjadi beberapa jenis berdasarkan apa yang dirasakan pengguna. Umpan balik taktil (tactile feedback) melibatkan sensasi pada kulit, seperti getaran atau tekanan. Ini adalah jenis yang paling umum dan dapat dihasilkan oleh motor getar di smartphone atau perangkat wearable.

Umpan balik gaya (force feedback) melibatkan sensasi yang dihasilkan oleh interaksi dengan objek, seperti resistensi atau berat. Ini biasanya membutuhkan perangkat khusus seperti lengan robot atau perangkat kontrol dengan motor yang dapat memberikan resistensi.

Umpan balik termal (thermal feedback) melibatkan sensasi suhu, seperti panas atau dingin. Ini masih jarang digunakan dalam AR tetapi memiliki potensi untuk aplikasi tertentu, seperti simulasi medis atau pelatihan.
 

Manfaat Interaksi Haptik dalam AR

Penelitian menunjukkan bahwa interaksi haptik memberikan manfaat yang signifikan dalam AR. Sebuah studi tentang tangible embodied interactions dalam permainan AR menemukan bahwa penggunaan objek tangible (yang memberikan umpan balik haptik) secara signifikan meningkatkan rasa kontrol, keterlibatan, dan pengalaman keseluruhan pengguna dibandingkan dengan interaksi berbasis gestur di udara .

Dalam aplikasi teleoperasi robot, integrasi umpan balik haptik dengan visual AR terbukti meningkatkan kinerja operator dalam hal waktu penyelesaian tugas, beban kerja, dan kehadiran spasial . Pengguna melaporkan merasa lebih tenggelam dalam lingkungan jarak jauh dan menganggap teleoperasi lebih intuitif dan menyenangkan.

8. Multimodal Interaction
Definisi dan Konsep

Multimodal interaction atau interaksi multimodal adalah pendekatan yang menggabungkan dua atau lebih modalitas input dan/atau output dalam satu antarmuka. Pendekatan ini mencerminkan cara manusia secara alami berinteraksi dengan dunia—kita melihat, mendengar, menyentuh, dan berbicara secara bersamaan.

Dalam AR, interaksi multimodal sangat relevan karena AR secara inheren adalah teknologi multimodal: ia menggabungkan dunia nyata (yang kita lihat, dengar, dan sentuh) dengan konten virtual. Dengan memperluas multimodalitas ke interaksi, AR dapat menjadi lebih alami dan intuitif.
 

Kombinasi Modalitas yang Efektif

Salah satu kombinasi modalitas yang paling efektif dalam AR adalah gestur dan suara. Pengguna dapat menggunakan gestur untuk menunjuk atau memilih objek, dan suara untuk memberikan perintah tentang apa yang harus dilakukan dengan objek tersebut. Kombinasi ini memungkinkan interaksi yang kaya tanpa memerlukan menu atau antarmuka yang rumit.

Kombinasi lain yang efektif adalah sentuhan pada layar dan gestur di udara. Pengguna dapat menggunakan sentuhan untuk kontrol presisi (misalnya, menggambar atau memilih) dan gestur di udara untuk kontrol makro (misalnya, memutar atau memperbesar).
 

Kelebihan Interaksi Multimodal

Interaksi multimodal menawarkan beberapa kelebihan. Pertama, ia memberikan redundansi: jika satu modalitas gagal (misalnya, pengenalan suara terganggu oleh kebisingan), modalitas lain masih dapat berfungsi. Kedua, ia memungkinkan pengguna untuk memilih modalitas yang paling sesuai dengan situasi dan preferensi mereka.

Ketiga, interaksi multimodal dapat mengurangi beban kognitif dengan mendistribusikan tugas antar modalitas. Misalnya, alih-alih harus mengingat dan melakukan serangkaian gestur yang kompleks, pengguna dapat menggunakan suara untuk perintah yang kompleks dan gestur untuk tindakan yang sederhana.

Keempat, interaksi multimodal dapat menciptakan pengalaman yang lebih immersif dan alami. Penelitian tentang multimodal AI agents dalam AR menunjukkan bahwa agen yang dapat melihat dan mendengar tindakan pengguna dapat memberikan intervensi proaktif yang membantu pengguna memperbaiki kesalahan atau memberikan dorongan positif .

9. Conversational Agents
Definisi dan Konsep

Conversational agents atau agen percakapan adalah antarmuka yang memungkinkan pengguna untuk berinteraksi dengan sistem menggunakan bahasa alami, baik melalui suara (voice assistants) atau teks (chatbots). Dalam AR, conversational agents dapat muncul sebagai karakter virtual yang "hidup" di lingkungan pengguna, memberikan bantuan, informasi, atau panduan.
 

Penerapan dalam AR

Dalam AR, conversational agents dapat mengambil berbagai bentuk. Mereka dapat menjadi asisten virtual yang membantu pengguna menyelesaikan tugas, seperti panduan langkah demi langkah untuk merakit furnitur atau memperbaiki peralatan. Mereka dapat menjadi karakter naratif yang memandu pengguna melalui pengalaman edukasi atau wisata. Mereka juga dapat menjadi teman virtual yang menemani pengguna dalam permainan atau aplikasi sosial.

Penelitian terbaru mengeksplorasi sistem AR yang menampilkan agen percakapan dengan ilusi kehadiran fisik di ruangan yang sama dengan pengguna. Sistem ini menggunakan optical see-through display untuk menciptakan ilusi bahwa agen tersebut benar-benar berada di ruangan, seperti manusia nyata .
 

Kelebihan dan Tantangan

Kelebihan utama conversational agents adalah kemudahan penggunaan. Berbicara adalah cara komunikasi yang paling alami bagi manusia, sehingga antarmuka percakapan tidak memerlukan kurva pembelajaran yang panjang. Selain itu, agen percakapan dapat memberikan interaksi yang lebih personal dan empatik dibandingkan dengan antarmuka yang kaku.

Namun, conversational agents juga menghadapi tantangan. Pemahaman bahasa alami masih belum sempurna, terutama untuk percakapan yang kompleks atau dalam bahasa dengan banyak variasi dialek. Selain itu, desain visual agen harus hati-hati agar tidak terlalu "uncanny" (terlihat aneh) dan tetap dapat dipercaya oleh pengguna.

Simpulan

Pada pertemuan kesepuluh ini, kita telah mempelajari berbagai aspek interaksi dalam augmented reality. Kita mulai dengan output modalities, yang mencakup cara sistem AR menyampaikan informasi kepada pengguna melalui visual, audio, haptic, dan kombinasi multimodal. Kemudian kita membahas input modalities, termasuk gestur, suara, sentuhan, arah pandang, dan hybrid input.

Selanjutnya, kita mendalami berbagai pendekatan interaksi yang inovatif: tangible interfaces yang menggunakan objek fisik untuk memanipulasi konten virtual, virtual user interfaces on real surfaces yang memanfaatkan permukaan fisik sebagai ruang interaksi, augmented paper yang menggabungkan kertas tradisional dengan konten digital, multi-view interfaces yang mendukung kolaborasi antar beberapa pengguna, haptic interaction yang melibatkan indra peraba, multimodal interaction yang menggabungkan berbagai modalitas, dan conversational agents yang menggunakan bahasa alami untuk berinteraksi.

Semua pendekatan ini menunjukkan bahwa interaksi dalam AR tidak terbatas pada satu cara saja. Sebaliknya, desainer AR memiliki beragam alat untuk menciptakan pengalaman yang kaya, intuitif, dan immersif. Pemilihan pendekatan yang tepat tergantung pada konteks aplikasi, karakteristik pengguna, dan tujuan yang ingin dicapai. Dengan memahami berbagai modalitas dan pendekatan interaksi ini, mahasiswa akan dapat merancang aplikasi AR yang tidak hanya berfungsi secara teknis, tetapi juga menyenangkan dan bermakna bagi penggunanya.