Analyse des systèmes de questions-réponses et leur évaluation

Chapitre 1 : 

Les Systèmes de Questions-Réponses

Introduction

Le Question-Answering est un domaine de recherche qui a connu un intérêt remarquable durant ces dernières années, ce qui a permis une avancée majeure par les chercheurs de ce domaine. Ce chapitre résume l’étude bibliographique effectuée.

Il porte sur la qualité des systèmes existants en général et les multiples dimensions qui permettent de les caractériser, les évaluer et de les classifier afin de connâıtre l’état de l’art de ce domaine. Nous avons aussi présenté les ensembles de données les plus utilisés pour leur développement.

Les systèmes de Questions-Réponses

Les systèmes de réponse aux questions est une forme sophistiquée de Recherche d’Information caractérisée par des besoins d’information qui sont au moins partiellement exprimés sous forme d’énoncés ou de questions en langage naturel, et constituent l’une des formes les plus naturelles d’interaction entre l’homme et l’ordinateur. Leur défi consiste à fournir une réponse concise à une question en langage naturel, étant donné la grande quantité de documents textuels.

La réponse à une question est une tâche de Recherche d’Information limitée par l’expression de tout ou partie du besoin d’informations sous la forme d’un ensemble de questions ou d’énoncés en langage naturel¹. L’utilisateur est intéressé par une réponse concise, compréhensible et correcte par exemple : « Who is the inventor of the telephone? » la réponse sera : « Alexander Graham Bell ».

État de l’art des systèmes de Questions-Réponses

Dans le domaine des QAS, nous faisons souvent référence à leur classification selon leur domaine d’application, c-à-dire le domaine dans lequel ils opèrent et répondent aux questions. Comme le montre la taxonomie illustrée dans la Figure 1.1, il existe principalement deux classes qui sont : Closed-domain QAS et Open-domain QAS.

Dans notre étude bibliographique, nous avons constaté que les systèmes QA peuvent aussi être catégorisés selon les sources de connaissances sur lesquelles ils se basent pour extraire les informations afin de répondre aux questions. Nous avons également remarqué que les systèmes peuvent répondre à différentes formes de questions, ce qui nous a incité à aussi les catégoriser par type de questions. Dans ce qui suit, nous allons présenter une vue globale puis détaillée de différentes catégories de classification des systèmes QA.

Classification par domaine d’application

Open-domain QAS

Les QAS du domaine ouvert (START, QuALIM, DeepQA, FALCON, Lasso, DrQA, YodaQA, AskMSR) ne sont pas limités à un domaine spécifique et fournissent une réponse courte à une question, traitée en langage naturel. En outre, les questions peuvent être sur quasiment n’importe quel sujet². Ces systèmes recherchent généralement des réponses au sein d’une vaste collection de documents.

Il existe un grand nombre de questions qui peuvent être posées par des utilisateurs occasionnels dans les systèmes questions-réponses du domaine ouvert, et afin de répondre à ces questions, ce type de systèmes exploit l’ontologie générale et la connaissance du monde dans leurs méthodologies pour générer des réponses. En général, la qualité des réponses fournies par ces systèmes n’est pas aussi précise que les systèmes questions-réponses du domaine fermé.

Les QAS du domaine ouvert ne nécessitent pas de vocabulaire spécifique au domaine. Ils recherchent des réponses dans des grandes collections de documents³. En contrepartie, ils permettent aux utilisateurs la possibilité de poser des questions sans connâıtre les mots clés du domaine spécifique pour formuler des questions.

Ceci favorise l’utilisation des QAS du domaine ouvert par tous les utilisateurs de différents niveaux d’instruction et de différents domaines de spécialisation. De plus, Ces systèmes ne nécessitent pas le dictionnaire d’un domaine spécifique, ce qui veut dire que Wikipédia peut être utilisée comme une source d’information.

Closed domain QAS

Les systèmes QAS du domaine fermé (BASEBALL, LUNAR, MedQA, MYCIN, HONqa, EAGLi, askHERMES, KAAS, WEBCOOP) permettent de répondre aux questions relatives à un domaine particulier (médecine, cinématographie, aquariophilie, etc) en se basant sur les connaissances spécifiques aux domaines souvent formalisés dans des ontologies. Par ailleurs, des types limités de questions sont acceptés dans ces systèmes². Ce domaine nécessite une disposition linguistique pour comprendre le texte en langue naturelle afin d’apporter une réponse précise aux requêtes⁴.

FIGURE 1.1: La taxonomie de l’e´tat de l’art des QAS.

Malgré la précision que ces systèmes ont atteint puisqu’ils sont spécialisés dans des domaines précis, leur restriction les rend moins utiles au moment de vouloir avoir des réponses à des questions dans de divers spécialités. Les QAS du domaine fermé peuvent être combinés pour créer des QAS du domaine ouvert afin de fournir des réponses dans plusieurs domaines avec une meilleure précision⁴.

Classification par source de données

Les QAS peuvent être classés selon leur source de données. Tous les QAS ont besoin d’une source de connaissances (Knowledge source) dans laquelle ils fouinent à la recherche des passages. Pour répondre à ce besoin, quelques systèmes utilisent une base fermée, e.g., Wikipedia pour (START, QuALIM, Lasso, DrQA, BASEBALL, LUNAR, MedQA, MYCIN, HONqa, EAGLi, askHERMES, KAAS, WEBCOOP). D’autres systèmes utilisent le web (QuALIM, DeepQA, YodaQA, AskMSR). Tandis que d’autres répondent aux questions en mettant en relation les utilisateurs et interroger leur réseau social⁵. Cette méthode diffère des moteurs de recherche traditionnels afin de faire la collecte du contenu nécessaire pour répondre aux questions. Les systèmes se basant sur cette technique sont appelés « Social QAS » (Aardvark, Yahoo ! Answers, StackOverflow).

Classification par type de questions

Il existe plusieurs types de questions sur lesquelles les systèmes QA peuvent répondre. Nous citons 6 types dans cette Section : (i) Factuelles : Commencent généralement par un mot interrogé par Wh- (What, When, Where, Who) et requièrent comme réponse un fait exprimé dans le corps du texte (START, QuALIM, DeepQA, FALCON, Lasso, DrQA, YodaQA, AskMSR, BASEBALL, LUNAR, HONqa, askHERMES, KAAS, MYCIN). (ii) Causales : Nécessitent une explication d’un événement ou d’un artefact, comme Pourquoi (DrQA, askHERMES, WEBCOOP). (iii)

De confirmation : Requièrent un Oui ou un Non comme réponse à un événement exprimé dans la question (BASEBALL, askHERMES, WEBCOOP, START, DrQA). (iv) De liste : Requièrent comme réponse une liste d’entités ou de faits (START, DrQA, LUNAR, askHERMES). (v) De définition : Nécessitent de trouver la définition du terme dans la question et commencent normalement par « Qu’est-ce que » (LUNAR, MedQA, HONqa, EAGLi, askHERMES, WEBCOOP, START, DrQA). (vi) De procédure : Requièrent comme réponse une liste d’instructions pour l’accomplissement de la tâche mentionnée dans la question (DrQA, HONqa, askHERMES).

Source : https://en.wikipedia.org/wiki/Aardvark(searchengine)

Source : https://answers.yahoo.com/

Nous remarquons que les systèmes du domaine fermé se basant sur une source de données sociales permettent de fournir un moyen pour répondre à plusieurs types de questions (Aardvark, Yahoo ! Answers). Nous remarquons aussi qu’aucun des systèmes de domaine fermé cités ne se base sur le web pour la recherche des réponses, et ceci pour que l’information soit correcte, exacte et venant d’une source de données fiable.

Les jeux de données disponibles

Nombreux sont les jeux de données destinés au développement des systèmes QA. Par conséquent, dans le tableau 1.2 nous présentons ceux fréquemment utilisés pour le développement et l’évaluation des QAS.

Les performances de la lecture automatique, en particulier, ont été considérablement améliorées ces dernières années avec l’introduction des ensembles de données de compréhension de la lecture à grande échelle tels que CNN / DailyMail et SQuAD. Les systèmes utilisant ces ensembles de données se concentrent uniquement sur l’étape d’extraction des réponses, en supposant en fait que le passage pertinent du texte est déjà connu.

WikiQA a été introduit comme un ensemble de données qui utilise les journaux de requêtes Bing comme source de questions. Il est utilisé principalement dans les systèmes qui répondent aux questions factuelles. Les réponses candidates ont été extraites à partir de la section de résumé des articles de Wikipédia. TREC est un ensemble de données pour la classification des questions consistant en des questions ouvertes, basées sur des faits et divisées en grandes catégories sémantiques.

MCTest est un ensemble d’histoires et de questions associées librement disponibles destinées à la recherche sur la compréhension automatique des textes. Cet ensemble de données exige des machines qu’elles répondent à des questions à choix multiples sur la compréhension de la lecture d’histoires fictives, s’attaquant ainsi directement à l’objectif de haut niveau de la compréhension machine en domaine ouvert.

Dans cette thèse nous allons concevoir et réaliser une architecture de QAS de domaine ouvert utilisant la base de connaissances fermée Wikipedia et entrâıné sur l’ensemble de données SQuAD.

Conclusion

L’objectif de ce chapitre était de donner un aperçu global sur les systèmes réalisés jusqu’à présent dans le domaine du QA. De plus, nous avons fait une classification de ces systèmes selon différents axes : Domaine d’application, type de questions et source de données. Nous avons également présenté un comparatif entre les ensemble de données utilisés pour l’entrâınement des QAS.

________________________

¹ Kolomiyets and Moens, 2011a. ↑

² ElKafrawy et al., 2018. ↑

³ Reddy and Madhavi, 2017. ↑

⁴ Ojokoh and Adebisi, 2019. ↑

⁵ Bouadjenek et al., 2016. ↑