23614

COM2 649

كارشناسي ارشد

مهندسي كامپيوتر - هوش مصنوعي و رباتيكز

مهندسي كامپيوتر

بهمن ماه 1402

90 ص.

حميدرضا برادران كاشاني , حسين كارشناس نجف آبادي

يادگيري چند ماهيتي , تفكيك داده , تشخيص شايعه , پردازش زبان طبيعي

تشخيص شايعات چند ماهيتي يك حوزه تحقيقاتي در حال تكامل است كه به مبارزه با گسترش اطلاعات غلط اختصاص دارد؛ اين حوزه از منابع مختلف مانند متن، تصاوير، ويدئوها و صداها براي يكپارچه‌سازي اطلاعات استفاده مي‌كند. برخلاف روش‌هاي سنتي كه عمدتاً بر روي محتواي متني تمركز دارند، رويكردهاي چند ماهيتي به درك بهتري از ويژگي‌ها براي تشخيص شايعات تمركز دارند. با بهره‌گيري از تكنيك‌هاي پردازش زبان طبيعي و بينايي ماشين، محققان الگوريتم‌هايي توسعه داده‌اند كه قادر به تحليل و تفسير همزمان اطلاعات از ماهيت‌هاي مختلف باشند. در بسياري از مطالعات انجام شده به ارتباط بين ماهيت‌ها پرداخته نشده‌است و همچنين تفاوت محتواي زياد شايعات با يكديگر باعث تضعيف عملكرد مدل‌ها در شناسايي شايعات جديد شده‌است. در اين پژوهش با استفاده از تفكيك داده‌ها بر اساس سبك و محتوا، همچنين بهره‌گيري از سازوكار‌هاي توجه بين ماهيتي براي درك ارتباط ميان تصوير و متن، يك رويكرد مؤثر در تحليل داده‌هاي چند ماهيتي براي تشخيص شايعات ارائه شده‌است. اين رويكرد نه تنها امكان جداسازي اطلاعات بر اساس ويژگي‌هاي سبك و محتوايي را فراهم مي‌كند، بلكه باعث بهبود در اتصالات و تداخلات بين تصاوير و متون مي‌شود. همچنين، بهره‌گيري از ساختار توجه به خود در فرآيند يادگيري، امكان استخراج ويژگي‌از داده‌هاي جديد را بهبود مي‌بخشد. اين سازوكار توجه به خود اين امكان را مي‌دهد كه مدل به نحوي عميق‌تر ويژگي‌هاي مهمتر و ارتباط دروني در هر يك از ماهيت‌هاي متن و تصوير را شناسايي كند. در نتيجه، اين رويكرد چند ماهيتي مي‌تواند اطلاعات غني و جامعي از داده‌ها استخراج كرده و در تحليل‌هاي متنوع چند ماهيتي به عنوان يك ابزار كارآمد و دقيق عمل كند.عملكرد مدل ارائه شدهبا استفاده از مجموعه‌دادگان FakeNewsNet و ReCOVery سنجيده شده است. مقايسه‌ي عملكرد اين مدل با مدل‌هاي روز نشان مي‌دهد كه روش ارائه شده، يك روش جامع با دقت بالا براي تشخيص شايعات مي‌باشد.

Multimodal Learning , Data Separation , Rumor Detection , Natural Language Processing

Multi-modal rumor detection with deep learning approaches

مهندسي هوش مصنوعي

Multimodal rumor detection is an evolving research domain dedicated to combating the spread of misinformation. This field utilizes various sources such as text, images, videos, and audios to integrate information. In contrast to traditional methods that primarily focus on textual content, multimodal approaches aim to provide a more comprehensive understanding of rumors. Researchers are developing algorithms by leveraging natural language processing, machine vision, and audio analysis techniques capable of simultaneously analyzing and interpreting information from different modalities. In this research, we present an effective approach to data analysis by using data separation based on style and content, as well as employing multi-head attention mechanisms to understand the relationship between images and text. This approach not only facilitates the separation of information based on stylistic and content features but also improves connections and interactions between images and texts. Additionally, the use of self-attention structures in the learning process enhances the extraction of new information. This self-attention mechanism allows the model to identify more deeply the most important features and connections between texts and images. As a result, this multimodal approach can extract rich and comprehensive information from data and serve as an efficient and accurate tool in diverse multimodal-based analyses.

6