شماره ركورد
24390
شماره راهنما
COM3 136
عنوان
پاسخدهي نوع آزاد در سيستمهاي درك خوانشي چندگامي از متون ناهمگن
مقطع تحصيلي
دكتري
رشته تحصيلي
مهندسي كامپيوتر - نرم افزار
دانشكده
مهندسي كامپيوتر
تاريخ دفاع
دي ماه 1402
صفحه شمار
99 ص.
استاد راهنما
احمد براآني دستجردي , رضا رمضاني
كليدواژه فارسي
درك خوانشي ماشين , پردازش زبان طبيعي , استدلال چندگامي , درك خوانش استخراجي , درك خوانشي انتزاعي
چكيده فارسي
مساله درك خوانشي ماشين يكي از مسائل چالشي و قديمي در حوزه تحقيقاتي پردازش زبان طبيعي است و هدف آن آموزش ماشين براي فهم دادههاي غير ساختيافته به شكل متن است. در اين مساله ماشين بايد بر اساس يك متن به سوالات مرتبط با آن پاسخ بدهد، سؤالاتي كه معمولاً بهراحتي قابل پاسخ نيستند و به استدلال در آن متن نياز دارند. مساله درك خوانشي چندگامي در متون ناهمگن يك نوع پرچالش از سيستمهاي درك خوانشي است، زيرا پاسخ سؤالات در قسمتهاي مختلف چندين متن ناهمگن پراكنده شده است و ماشين تنها با جمعآوري همه اطلاعات و انجام استدلال چندگامي قادر به پاسخگويي به سؤال است. با توجه به اينكه اين متون بهصورت يكجا و منسجم نوشته نشدهاند، ممكن است تفاوت لغوي، اطلاعات متناقض و شكافهاي اطلاعاتي زيادي در آنها باشد كه باعث شود روند پاسخگويي پيچيدهتر شود. از سوي ديگر متون زبان طبيعي حاوي هر دو اطلاعات لغوي و معنايي در كنار يكديگر هستند. استفاده درست از همه اين اطلاعات بهجاي تمركز صرف بر ويژگيهاي ظاهري متن باعث ميشود علاوه بر بهبود عملكرد، سيستم در برابر تفاوتهاي لغوي، اطلاعات متناقض و شكافهاي اطلاعاتي ايمنتر شود. با توجه به بررسي مدلهاي موجود به نظر ميرسد مهمترين مشكل اين است كه بهجاي در نظر گرفتن تمام اطلاعات مهم و ارزشمند، بر برخي اطلاعات لغوي و ظاهري براي پاسخ به سوال تمركز شده است و بقيه اطلاعات را ناديده ميگيرند. موضوعات نشاندهنده الگوها و ساختارهاي معنايي در متون زبان طبيعي هستند و همچنين از عوامل كليدي در پاسخگويي به سوالات در سيستم هاي درك خوانشي است. ازاينرو اين رساله يك مدل درك خوانشي ارائه ميدهد كه بر بهكارگيري اطلاعات همهجانبه در بهبود توانايي استدلال چندگامي در متون ناهمگن تمركز دارد. در اين راستا با اضافه كردن اطلاعات معنايي مانند موضوع جملات، موضوع روابط و اهميت روابط، ابتدا يك روش امتيازدهي جديد براي رتبهبندي متون ورودي ارائه ميشود. علاوهبرآن يك گراف وزندار معرفي ميشود كه با دريافت حداكثر اطلاعات لغوي و معنايي از متون ورودي به بهبود عملكرد سيستم درك خوانشي در استخراج بازههاي پاسخ كمك ميكند. اما ازآنجاكه در سيستمهاي درك خوانشي چندگامي با متون ناهمگن، در موارد زيادي پاسخ به سؤال با استخراج تنها يك بازه متوالي از متن امكانپذير نيست، در ادامه قابليت توليد پاسخهاي نوع آزاد نيز اضافه گرديده و پاسخ نهايي با جمعآوري اطلاعات از قسمتهاي مختلف متون ناهمگن، توسط مدل توليد ميشود. همچنين در اين رساله يك روش كدگذاري توسعهيافته ارائه شده است كه موضوعات را بهعنوان يكي از سرنخهاي اصلي درك خوانشي در پايهايترين لايه دخالت ميدهد. بهاينترتيب بهجاي استفاده از كدگذاريهاي رايج، يك نسخه كدگذاري سفارشيشده براي مساله درك خوانشي ارائه ميشود. مدل پيشنهادي با بهبود مطالعات پيشين در دو نوع درك خوانشي استخراجي و انتزاعي تأثيرگذاري ايده مطرحشده در اين رساله را اثبات ميكند. در اين راستا، ابتدا مدل با استفاده از مجموعه داده HotpotQA مورد ارزيابي قرار گرفت كه در سه مجموعه معيار ارزيابي توانست بهترين نتيجه را كسب كند. در اين راستا نمره F1 و انطباق كامل پاسخ به ترتيب 83,09 و 70,10 به دست آمد، همچنين نمره F1 و انطباق كامل پشتيبان به ترتيب 88,88 و 63,33 و نمره F1 و انطباق كامل تركيبي به ترتيب 75,26 و 47,62 به دست آمد كه نسبت به پژوهشهاي قبلي بهتر است. سپس با استفاده از مجموعه داده MS Marco با مدلهاي درك خوانشي انتزاعي با پاسخ نوع آزاد مقايسه شد كه در اين راستا مقدار ROUGE-L برابر 67,66، مقدار BLEU-1 برابر 65,85 و مقدار BLEU-2 برابر 58,42 به دست آمد كه نسبت به ديگر مدلها بهبود داشته است.
كليدواژه لاتين
Machine reading comprehension , Natural language processing , Multi-hop reasoning, , Extractive machine reading comprehension , , Abstractive machine reading comprehension
عنوان لاتين
Free-form Answering in Multi-hop Reading Comprehension Systems from Heterogenous Texts
گروه آموزشي
مهندسي نرم افزار
چكيده لاتين
The problem of Machine Reading Comprehension is one of the challenging problems in Natural Language Processing, and its purpose is to evaluate the machine’s ability to understand unstructured data. The problem of multi-hop reading comprehension in heterogeneous texts is a challenging type of reading comprehension system, because the answers are scattered from different parts of several heterogeneous texts, and the machine is able to answer the question by collecting all the information and performing multi-hop reasoning. On the other hand, natural language texts contain both lexical and semantic information together, so applying both of these information, instead of only focusing on the lexical clues can improve the systemʹs performance to handle lexical differences, information gaps, and contradictory information. This thesis presents a machine reading comprehension model that focuses on the use of full information in improving the ability of multi-hop reasoning in heterogeneous texts. In this regard by adding semantic information such as the topic of sentences, the topic of relationships, and the importance of relationships, first a new scoring method for ranking input texts is presented. In addition, this study introduces a weighted graph for reading comprehension systems, which helps to obtain maximum lexical and semantic information from the input texts. Since with heterogeneous texts, it is more likely not possible to answer the question by only one continuous span, then the ability to generate free-form answers is also considered and the final answer is produced by the model by collecting information from different and non-continuous parts. In addition, a developed encoding method is presented that involves topics as one of the main clues of reading comprehension at the basic level of encoding. Thus, instead of using a common encoding method, a customized encoding method is presented for the reading comprehension problem. The proposed model shows the effectiveness of the presented idea in this thesis by improving previous studiesʹ results in two types of extractive and abstractive reading comprehension systems. First, the model was evaluated using the HotpotQA dataset, which was able to obtain the best results in three sets of evaluation metrics. In this regard, the F1 score and exact-match of the answer have been obtained as 83.09 and 70.10 respectively, as well as the F1 score and exact-match of the support have been 88.88 and 63.33 respectively and the joint F1 score and exact-match have been 75.26 and 47.62 respectively, which improved the state-of-the-art result. Then, the model was compared with abstract reading comprehension models with free-form answers using the MS Marco dataset. In this regard, the ROUGE-L value has been obtained as 67.66, BLEU-1 as 65.85, and BLEU-2 as 58.42, which improved the state-of-the-art resul.
تعداد فصل ها
6
فهرست مطالب pdf
120444
نويسنده