IMAGE CAPTIONING MENGGUNAKAN METODE RESNET50 DAN LONG SHORT TERM MEMORY

Abstract

Kesalahpahaman manusia dalam mencari makna arti dari sebuah gambar menimbulkan kebingungan. Hanya karena struktur kalimat atau penggunaan kata bermakna makna lebih dari satu yang biasa disebut ambiguitas. Ambiguitas terjadi apabila arti dari kata, frasa, atau kalimat tidak pasti, maknanya lebih dari satu. Karena adanya keterkatian dengan kecerdasan buatan dalam membantu klasifikasi gambar untuk menghindari ambiguitas, penggunaan Image Captioning dimanfaatkan pada penelitian ini. Image Captioning menghasilkan deskripsi berbahasa alami. Mengambil makna dari sebuah gambar dibutuhkan tingkat pemahaman yang lebih tinggi dari klasfikasi dan detesi gambar. Permasalahan yang muncul dapat diselesaikan dengan penggabungan antara kecerdasan buatan dan jaringan syaraf tiruan. Kedua metode yang digunakan dalam penelitian ini adalah Resnet50 dan Long Short Term Memory. Resnet50 berfungsi untuk klasifikasi gambar dan LSTM jaringan syaraf tiruan untuk generate caption. Penelitian ini menggunakan BLEU scoring satu gram untuk memberi nilai pada caption yang telah dibuat. Score BLEU tertinggi adalah 79,7455% dan akurasi tertinggi yang didapat adalah 85,74% pada 100 epoch.