Asesmen Kebersihan Tangan Multi-Modal: Mengintegrasikan Pencitraan Termal dan YOLO untuk Mendeteksi Cuci Tangan Standar WHO di Fasilitas Layanan Kesehatan

Abstract

Mencuci tangan sesuai standar WHO terbukti efektif menurunkan risiko infeksi nosokomial,namun penerapannya belum konsisten di fasilitas layanan kesehatan. Penelitian ini mengembangkan sistem deteksi cuci tangan medis berbasis Internet of Things (IoT) dan computer vision menggunakan pendekatan multi-modal, yakni pencitraan termal dan RGB yang digabungkan menggunakan metode You Only Look Once (YOLO). Prototipe sistem dibangun untuk merekam dan menganotasi aktivitas cuci tangan standar WHO selama 20 detik, kemudian dilatih menggunakan model YOLO dengancitra hasil fusion. Evaluasi dilakukan dengan metrik mAP,precision, recall, f1-score, dan IoU. Hasil awal menunjukkan bahwa pendekatan multi-modal meningkatkan akurasi pendeteksian dibandingkan model tunggal.