شماره ركورد
23799
شماره راهنما
COM3 124
عنوان
يادگيري نيمهنظارتي فدرال مولد در سرورهاي لبهاي
مقطع تحصيلي
دكتري
رشته تحصيلي
مهندسي كامپيوتر - نرم افزار
دانشكده
مهندسي كامپيوتر
تاريخ دفاع
1403/06/18
صفحه شمار
135 ص.
استاد راهنما
احمد براآني دستجردي , رضا رمضاني
كليدواژه فارسي
يادگيري نيمهنظارتي فدرال , تقطير دانش , شبكههاي مولد متخاصم , محاسبات لبه
چكيده فارسي
امروزه با افزايش سرعت توليد، تنوع و پراكندگي دادهها، اهميت پردازش توزيعشده بيشتر شده است. محاسبات لبه به عنوان يك راهكار توزيعشده، با انتقال وظايف پردازشي به نزديكي منابع داده، به بهبود حريم خصوصي، كاهش هزينههاي ارتباطي و افزايش كارايي كمك ميكند. در همين راستا، يادگيري فدرال در سرورهاي لبهاي امكان آموزش مدلهاي مشترك بدون نياز به انتقال دادههاي محلي را فراهم ميكند. همچنين، روشهاي يادگيري نيمهنظارتي فدرال براي كاهش هزينههاي برچسبگذاري و افزايش دقت مدلها در اين محيطها توسعه يافتهاند. اكثر روشهاي موجود، از جمله ميانگينگيري فدرال كه بر اساس تجميع مدلها هستند، به دليل انتقال پارامترهاي مدلهاي محلي، هزينههاي ارتباطي بالايي دارند. در مقابل، روشهاي تقطير دانش تنها با انتقال خروجي مدلهاي محلي هزينههاي ارتباطي را كاهش ميدهند، اما معمولاً دقت كمتري دارند و فرض ميكنند كه دادههاي مشترك براي آموزش وجود دارد كه در عمل قابل تحقق نيست. در اين پژوهش، روش GFD-SSL مبتني بر تقطير دانش و شبكههاي نيمهنظارتي مولد متخاصم ارائه شده كه هيچ فرضي درباره نحوه توزيع دادهها روي مشتريها ندارد. اين روش شامل دو مرحله است: در مرحله اول (يادگيري محلي)، هر مشتري مدل خود را با دادههاي محلي آموزش داده تا توزيع پيشبينيهاي مدل به توزيع دادههاي محلي همگرا شود. در مرحله دوم (انتقال دانش)، هر مشتري با توجه به سهم دادههاي محلي از كل مجموعه دادهها، دادههاي مصنوعي توليد كرده و به سرور ارسال ميكند. سپس، خروجي مدل خود را بر روي دادههاي مصنوعي مشترك محاسبه كرده و براي تجميع به سرور ارسال ميكند. مشتريان با مقايسه خروجيهاي مدل خود با خروجي تجميعشده در سرور، يك عبارت تنظيمكننده محاسبه كرده و بر اساس آن وزن مدلهاي خود را بهروز ميكنند. با اين كار، هر مشتري به نزديك كردن و همگرا كردن خروجي مدل خود با خروجي تجميعشده سراسري تشويق ميشود و به اين ترتيب، دانش سراسري به مدلهاي محلي منتقل ميشود. در شبكههاي نيمهنظارتي مولد متخاصم، آموزش همزمان متمايزكننده و طبقهبند به كاهش كارايي مدل منجر ميشود. براي رفع اين مشكل، در اين پژوهش روش TGFD-SSL با تفكيك وظايف متمايزكننده و طبقهبند از طريق تكنيك شبكههاي نيمهنظارتي مولد متخاصم سهگانه معرفي شده است. همچنين جهت بهبود نتايج روي مجموعه دادههايNon-IID ، روش JSA-GFDSSL مبتني بر تكنيك توجه و بعنوان راهكاري نوين براي وزندهي به مجموعه دادهها و مشتريها ارائه شده است. اين وزندهي با استفاده از فاصله جنسن-شانون انجام ميشود و در زمان تجميع خروجي مدلها در سرور براي بهبود دقت نتايج استفاده ميشود. ارزيابي روشهاي ارائه شده بر روي مجموعه دادههاي مختلف نشان داد كه روش GFD-SSL به صورت ميانگين تا %15 دقت بالاتري، بهويژه در مورد مجموعه دادههاي Non-IID، نسبت به روشهاي پيشرو و مشابه دارد. همچنين، روشهاي TGFD-SSL و JSA-GFDSSL به ترتيب دقت مدلها را %2.27 و %3.15 افزايش دادند. علاوه بر اين روش ارائه شده از نظر ميزان ارتباطات بهينه و نتايج بهتري ارائه ميدهد.
كليدواژه لاتين
Federated Semi-Supervised Learning , Knowledge Distillation , GAN , Edge Computing
عنوان لاتين
Generative Federated Semi-Supervised Learning on Edge Servers
گروه آموزشي
مهندسي نرم افزار
چكيده لاتين
Today, as production speeds up and data becomes more diverse and dispersed, the importance of distributed processing has increased. Edge computing, as a distributed solution, improves privacy, reduces communication costs, and enhances efficiency by processing tasks closer to data sources. In this context, Federated Learning in edge servers enables the training of shared models without the need to transfer local data. Furthermore, Federated Semi-Supervised Learning methods have been developed to address issues of labeling cost in these environments. Most existing methods, like Federated Averaging, incur high communication costs due to local model parameter transfer. In contrast, knowledge distillation reduces these costs by transferring only local model outputs, though it may achieve lower accuracy and often assumes shared data for training, which is usually not feasible in practice. The GFD-SSL method introduced in this study uses knowledge distillation and semi-supervised GANs without specific data distribution assumptions. This method has two stages: First, each client trains its model on local data to converge the modelʹs distribution with the local data distribution. In the next stage, each client generates synthetic data based on their data ratio and sends it to the server. Clients then compute their model outputs on this synthetic data and send these outputs to the server for aggregation. Finally, clients compare their outputs with the aggregated server results to calculate a regularization term and update their model weights. The goal is to align each clientʹs classifier output with the global aggregated output, thereby transferring global knowledge to local models.
In semi-supervised GANs, simultaneously training the discriminator to identify synthetic data and classify real data can reduce model performance. To address this issue, this study introduces the TGFD-SSL method, which separates the tasks of the discriminator and the classifier using a triple GAN technique. To improve results on Non-IID datasets, the JSA-GFDSSL method introduces a novel weighting approach using Jensen-Shannon divergence, enhancing accuracy during model output aggregation. evaluation of the proposed methods on various datasets showed that the GFD-SSL method achieved, on average, up to 15% higher accuracy, particularly on Non-IID datasets, compared to state-of-the-art methods. Additionally, the TGFD-SSL and JSA-GFDSSL methods improved model accuracy by 2.27% and 3.15%, respectively. Furthermore, the proposed method offers better optimization in terms of communication efficiency.
تعداد فصل ها
6
فهرست مطالب pdf
35256
نويسنده