24285

ELE2 474

كارشناسي ارشد

مهندسي برق - سيستم هاي الكترونيك ديجيتال

فني و مهندسي

1403/11/03

98 ص.

دكتر پيمان معلم

تثبيت تصاوير , روش مبتني بر شدت , توابع تشابه , برجسته‌سازي لبه , شبكه عصبي كانولوشني , تابع اطلاعات متقابل

تصاوير مرئي و مادون قرمز داراي ماهيت و ويژگي¬هاي متفاوتي هستند، به گونه¬اي كه تصاوير گرفته شده از يك صحنه داراي ديدگاه¬هاي متفاوتي در دو تصوير مي¬باشند. براي بهره مندي از مزايا و ويژگي¬هاي دو تصوير مرئي و مادون قرمز، فرآيند اساسي و مهم، تثبيت تصاوير مرئي و مادون قرمز مي¬باشد. در تثبيت تصاوير مرئي و مادون قرمز دو تصوير روي هم قرار مي¬گيرند به گونه¬اي كه اشيا و مناطق مشترك در دو تصوير روي هم تراز مي¬شوند كه براي اين كار بايد به يك ماتريس تبديل مناسب رسيد. چند روش براي تثبيت تصاوير مرئي و مادون قرمز وجود دارد كه در اين پايان نامه از روش مبتني بر شدت استفاده شده است. روش مبتني بر شدت يكي از قديمي¬ترين روش‌ها در زمينه تثبيت تصاوير مرئي و مادون قرمز مي¬باشد. مشكلي كه اين روش دارد اين است كه با توجه به اين كه از توابع تشابه¬ يا هدف براي تثبيت تصاوير استفاده مي¬كند، ممكن است به علت برخي از تطابق¬هاي جزئي در برخي مناطق تصوير كه به اشتباه مشابه در نظر گرفته شده‌اند، اين توابع دچار اكسترمم¬هاي موضعي شوند و توابع تشابه را از اكسترمم سراسري كه در آن نقطه به ماتريس تبديل مناسب جهت تثبيت تصاوير مي¬رسند، دور كند. از آنجايي كه توابع تشابه همانطور كه از نامشان پيدا است از شباهت بين تصاوير بهره مي¬گيرند و از طرفي تصاوير مرئي و مادون قرمز كمترين تشابه را در جفت تصاوير خود دارند، در روش پيشنهادي براي غلبه بر مشكل عدم تشابه تصاوير مرئي و مادون قرمز از برجسته‌سازي لبه تصاوير به كمك شبكه عصبي كانولوشني كمك گرفته شده است تا با اين كار دو تصوير به يكديگر شبيه¬تر شوند. در ادامه كار پنجره¬اي با بيشترين اطلاعات لبه از دو تصوير استخراج شد كه حاوي مختصات پيكسلي يكسان در دو تصوير مرئي و مادون قرمز بودند كه با اين كار از تطابق¬هاي اشتباه در برخي مناطق تصوير جلوگيري مي¬شود و سپس با اعمال اين پنجره¬هاي حاوي لبه‌هاي برجسته شده به توابع تشابه كه از تابع اطلاعات متقابل استفاده شده است، به يك ماتريس مناسب براي تثبيت تصاوير مي¬توان دست يافت. در اين كار به جاي تصاوير مرئي و مادون قرمز اصلي از پنجره¬هاي حاوي لبه برجسته شده از تصاوير ورودي براي پردازش¬ها كمك گرفته شده است. روش پيشنهادي با چند روش پيشين در سه پايگاه داده مختلف، مورد ارزيابي كيفي و كمي قرار گرفت كه روش پيشنهادي، اكثرا در پايگاه داده‌هاي مختلف به نتيجه مناسبي در تثبيت اين نوع تصاوير در مقايسه با ساير روش‌ها دست يافت.

Image registration , intensity-based method , similarity functions , enhance the edges , convolutional neural network , mutual information function

Improving the registration of visible and infrared images with the help of realization of convolutional neural networks

مهندسي برق

Visible and infrared images have different nature and characteristics, such that images taken of the same scene have different perspectives in the two images. To benefit from the advantages and characteristics of both visible and infrared images, the fundamental and important process is the registration of visible and infrared images. In the registration of visible and infrared images, two images are superimposed in such a way that objects and common areas in the two images are aligned, for which a suitable transformation matrix must be achieved. There are several methods to register visible and infrared images, and in this thesis, the intensity-based method is used. The intensity-based method is one of the oldest methods in the field of visible and infrared image registration. The problem with this method is that since it uses similarity or objective functions to register images, these functions may experience local extrema due to some minor matches in some image regions that are mistakenly considered similar, and move the similarity functions away from the global extrema at which point they reach the appropriate transformation matrix for image registration. Since similarity functions, as their name suggests, take advantage of the similarity between images, and on the other hand, visible and infrared images have the least similarity in their image pairs, the proposed method uses a convolutional neural network to enhance the edges of images to overcome the problem of dissimilarity between visible and infrared images, thereby making the two images more similar to each other. In the following work, a window with the most edge information was extracted from two images that contained the same pixel coordinates in the two visible and infrared images, which prevents false matches in some areas of the image. Then, by applying these windows containing enhanced edges to similarity functions that use the mutual information function, a suitable matrix for image registration can be achieved. In this work, instead of the original visible and infrared images, edge-enhanced windows from the input images are used for processing. The proposed method was qualitatively and quantitatively in three different databases. The proposed method mostly in different databases achieved a good conclusion in registration these types of images compared to other methods.

5