Moteur de recherche audio basé sur des requêtes textuelles

Abstract

La récupération audio basée sur la langue est un type de système de récupération d'informations qui permet aux utilisateurs de rechercher du contenu audio à l'aide de requêtes en langage naturel. Cette tâche a reçu beaucoup d'attention ces dernières années, car cette technologie a de nombreuses applications, notamment dans les domaines du divertissement, de l'éducation et de la santé. Pour réaliser notre vision, nous avons effectué plusieurs tests en utilisant une méthode alternative pour valider nos résultats, nous avons utilisé l'ensemble de données de légende phonétique et converti ses phrases en vecteurs grâce à l'utilisation de sBert/Bert. De plus, nous avons extrait le spectrogramme log mel des fichiers audio correspondants. Pour approfondir davantage notre analyse, nous avons appliqué différentes architectures de réseau de neurones convolutifs (CNN) et de réseau de neurones récurrents (RNN) pour extraire des caractéristiques du diagramme de spectre log mel ou pour générer une prédiction spectrogramme log mel, nous avons calculé leur similarité avec le sous-titre à l'aide de points similarité du produit ou du cosinus, puis nous avons appliqué certaines matrices pour l'évaluation et comparé le résultat avec d'autres résultats Mots-clés: Récupération audio basée sur la langue, requêtes en langage naturel, spectrogramme log mel, Bert, sBert