Evaluasi Kinerja Model BiLSTM dan Additive Attention pada Pemodelan Semantic Textual Similarity Berbasis Pre-trained BERT

Authors

  • Chrisandy Wiranata Universitas Mikroskil
  • Muhammad Fahim Al-Mubarok Universitas Mikroskil
  • Sandy Agre Nicola Universitas Mikroskil
  • Ng Poi Wong Universitas Mikroskil
  • Sio Jurnalis Pipin Universitas Mikroskil

DOI:

https://doi.org/10.55601/jsm.v27i2.2092

Abstract

Pengukuran kesamaan semantik antarteks (Semantic Textual Similarity/STS) merupakan tantangan utama dalam Pemrosesan Bahasa Alami (NLP) akibat variasi leksikal dan struktur kalimat. Penelitian ini bertujuan untuk menganalisis dan mengevaluasi kinerja integrasi arsitektur Bidirectional Long Short-Term Memory (BiLSTM) dan mekanisme Additive Attention yang berbasis representasi fitur pre-trained BERT dengan pendekatan cross-encoder. Evaluasi model dilakukan menggunakan benchmark dataset Quora Question Pairs (QQP) pada tingkat kalimat. Hasil pengujian pada data uji menunjukkan bahwa model mencapai nilai loss sebesar 0,3237, akurasi 0,8545, AUC 0,9307, serta F1-score sebesar 0,8837 untuk kelas non-duplikat dan 0,8059 untuk kelas duplikat. Meskipun kombinasi BiLSTM dan Additive Attention terbukti efektif dalam menangkap konteks dua arah dan pembobotan fitur relevan pada pasangan teks pendek, pengujian berbasis kasus pada tingkat dokumen menghasilkan skor kemiripan yang relatif rendah. Hal ini menunjukkan adanya keterbatasan generalisasi model yang dipengaruhi oleh domain dan karakteristik dataset QQP yang didominasi oleh kalimat pendek berstruktur sederhana.

Downloads

Published

31-10-2026