23513

COM3 118

دكتري

مهندسي كامپيوتر - معماري سيستمهاي كامپيوتر

مهندسي كامپيوتر

1402/11/03

129 ص.

مهران رضائي

مهدي كلباسي

شتاب‌دهنده , شبكه‌هاي عصبي عميق , محاسبات تقريبي , پردازش تصوير بلادرنگ , طبقه‌بندي تصوير , كانولوشن دوبعدي , FPGA

امروزه شبكه‌هاي عصبي عميق كانولوشني از جايگاه ويژه‌اي در كاربردهاي مربوط به يادگيري ماشين به‌ويژه طبقه‌بندي تصوير و شناسايي اشياء برخوردار است. از مهم‌ترين ويژگي‌هاي اين شبكه مي‌توان به‌دقت بالاي آن در طبقه‌بندي تصاوير اشاره كرد. در كنار اين كارآمدي، همواره پياده‌سازي اين شبكه‌ها بر روي سخت‌افزار به‌عنوان يكي از چالش‌هاي اساسي شناخته مي‌شود. حجم عظيم محاسبات و پهناي باند بالاي دسترسي به حافظه سبب شده است توان و منابع مصرفي سطح تراشه به‌صورت قابل‌ملاحظه‌اي افزايش يابد. به‌عنوان مثال، در شبكه‌هاي عصبي عميق كانولوشني مشهور مانند LeNet، AlexNet و VGGNet به‌ترتيب از 341 هزار، 724 ميليون و 15.5 گيگا عمل ضرب و جمع كانولوشني استفاده مي‌شود. بنابراين توجه به اين دو چالش اساسي يعني نحوه دسترسي به حافظه و پردازش محاسبات حائز اهميت خواهد بود. اخيراً، استفاده از محاسبات تقريبي به‌عنوان يك راه‌حل اساسي براي رفع اين محدوديت‌ها، توجه محققان را به خود جلب كرده است. تمركز اصلي كارهاي گذشته بيشتر بر روي استفاده از محاسبات تقريبي در سطح معماري، داده‌هاي ورودي و وزن‌ها بوده است، حال آن‌كه در اين رساله به امكان استفاده از مقادير پيكسل‌ها در تصاوير در بهره‌گيري از اين نوع محاسبات جهت افزايش كارايي سخت‌افزار، پرداخته شده است. در بسياري از كاربرد‌هاي شبكه‌هاي عصبي عميق از دست دادن مقدار ناچيزي از دقت قابل‌قبول خواهد بود. در واقع، مي‌توان با كاهش اندك دقت اين شبكه‌ها، بهره‌وري پياده‌سازي آن‌ها بر روي سخت‌افزار را به‌صورت قابل‌توجهي افزايش داد. كانولوشن دوبعدي به‌عنوان يك عملگر پايه در شبكه‌هاي عصبي عميق كانولوشني شناخته مي‌شود كه عمليات ضرب و جمع كه اصلي‌ترين عامل استفاده از توان و منابع مصرفي بر روي سخت‌افزار است، در آن انجام مي‌شود. در اين رساله، با ارائه يك كانوالور تقريبي و استفاده از آن بر روي شبكه‌هاي عصبي عميق كانولوشني، يك شتاب‌دهنده شبكه‌هاي عصبي عميق جهت طبقه‌بندي تصوير طراحي شده است. در ادامه، جهت مديريت خطاي شبكه‌هاي عصبي عميق كانولوشني در طبقه‌بندي تصوير، اين كانوالور تقريبي به يك نمونه تركيبي ارتقاء يافته است كه سبب خواهد شد با توجه به ميزان دقت مورد قبول كاربردها و با تنظيم مقدار حد آستانه، اين مسئله مديريت شود. سرانجام، پس از سنتز شتاب‌دهنده شبكه عصبي عميق كانولوشني طراحي شده بر روي دستگاه FPGA Zynq7020، توان مصرفي سطح تراشه بين 24 تا 75 درصد به‌ازاي روش‌هاي مختلف كاهش مي‌يابد. اين مهم در حالي به‌دست آمده كه همچنان ميزان دقت شبكه با استفاده بيش از 50 درصد مسير تقريبي موجود در كانوالور تركيبي، بدون تغيير باقي مي‌ماند و اگر تا حدود 70 درصد افزايش يابد ميزان دقت كمتر از 1 درصد افت خواهد كرد. سرانجام، اين دقت براي بسياري از كاربردهاي مبتني بر شبكه‌هاي عصبي عميق قابل‌قبول خواهد بود

Accelerator , Convolutional Neural Networks (CNNs) , Approximate Computing , Real-time Image Processing , Image Classsification , 2D convolution , FPGA

Designing an efficient accelerator for image classification by convoluional deep neural networks

مهندسي معماري كامپيوتر

Nowadays, convolutional neural networks have gained remarkable position in machine learning applications such as image classification and object detection. One of the most important feature of this network is high accuracy that in many cases it has exceeded the human recognition. Besides this efficiency, always these networks hardware processing is one of the most fundamental challenges. A large number of computations and high memory access cause the resource utilization and power consumption incease significantly. Recently, approximate computing as an essential solution has drawn research attention. A negligible degradation in accuracy is acceptable for many CNN applications. In fact, the hardware performance can be highly improved with a minor accuracy reduction. 2D convolution is one of the basic operator in CNNs which includes the MAC operation that is the main part of the resource utilization and power consumption. In this thesis, by proposing an approximate convolver and implementing on CNNs, a convolutional neural network accelerator for image classification will be presented. Next, to manage the error rate in image processing and the accuracy in image classification, the proposed approximate convolver is developed to a combined convolver which makes a trade-off in accuracy and hardware efficiency. Finally, the presented accelerator is implemented on the Xilinx FPGA Zynq 7020 series, and the results revealed that the resource utilization and the power comsumption is decreased from 34 to 77 percent in various methods. It’s happened when more than 50 percent of approximate path is selected with no accuracy reduction and when the approximate path selection increases upto 70 percent, the accuracy degradation is less than 1 percent. At last, we have resulted the error rate and accuracy will be acceptable for many image processing and CNNs applications

7

هومان نيك مهر

31835