Les réseaux de neurones pour la génération automatique de paraphrases

Abstract

La génération de paraphrases est un problème important dans le Traitement Automatique de la Langue(TAL), spécialement dans les systèmes de questions/réponses comme les systèmes d'évaluation automatique des réponses courtes (ASAG pour Automatic Short Answer Grading). Dans notre travail, nous abordons le problème de génération automatique de paraphrases pour la langue Arabe afin de les intégrer dans un système ASAG dédiée à cette langue. Nous avons proposé trois modèles basés sur le Deep Learning, le premier est un Modèle Bi-LSTM considéré comme modèle de base, le second est un encodeur/décodeur, le dernier modèle est un encodeur/décodeur avec mécanisme d'attention qu'on a nommé EDAM. Nos tests ont été conduits dans les deux langues l’arabe et l’anglais en utilisant deux datasets, l'un en arabe, l'autre en anglais. Le deuxième a été choisi pour confirmer nos résultats obtenus pour l’Arabe. Une évaluation quantitative des approches proposées démontre l'efficacité du 3ème modèle nommé EDAM (Encoder-Decoder with an Attention Mechanism) Une évaluation qualitative humaine sur un échantillon de paraphrases généré par notre approche, confirme que la qualité des paraphrases générées est très bonne sémantiquement et syntaxiquement. Notre générateur EDAM a été intégré au sein de plusieurs variantes d’un système ASAG. La précision de ces systèmes s'est nettement améliorée. Cependant, le problème de manque de ressources en langue arabe constitue encore un défi à soulever pour l’évaluation automatique et pour toute autre activité du TAL Arabe en général. Mots clés : Evaluation automatique des réponses courtes, Paraphrase, Apprentissage profond, Dataset.