-
شماره ركورد
24098
-
شماره راهنما
STA2 288
-
نويسنده
سعيدي، ژاله
-
عنوان
ارتباط بين واگرايي كولبك-ليبر و برخي معيارهاي واگرايي و كاربردهاي آنها
-
مقطع تحصيلي
كارشناسي ارشد
-
رشته تحصيلي
آمار
-
دانشكده
رياضي و آمار
-
تاريخ دفاع
1403/06/28
-
صفحه شمار
98 ص.
-
استاد راهنما
مجيد اسدي
-
كليدواژه فارسي
آنتروپي نسبي , واگرايي خي دو , واگرايي جنسن-شانون , اطلاعات فيشر , f -واگرايي , آنتروپي شانون , آنتروپي تعميم يافته , ميانگين باقيانده عمر
-
چكيده فارسي
كلاس معيارهاي f -واگرايي شامل مجوعه اي از معيار ها است كه براي اندازه گيري فاصله بين دو توزيع احتمال مورد استفاده قرار مي گيرد و توسط ميانگين توابع محدب f تعريف مي شود. از معيار هاي مهم در اين كلاس مي توان واگرايي كولبك- ليبلر (كه به عنوان آنتروپي نسبي نيز شناخته مي شود)، واگرايي خي دو و واگرايي جنسن-شانون را نام برد. اين معيار ها نقش كليدي در نظريه اطلاعات، آمار، يادگيري ماشين، پردازش سيگنال و تشخيص الگو بازي مي‌كنند. اين معيار ها در مسائل مربوط به منبع و كد دهي كانال، نيكويي برازش و آزمون استقلال در آمار، الگوريتم‌هاي تكراري بيشينه سازي اميد براي براورد توزيع از دادههاي ناقص و مسائل ديگر كاربرد دارند. در حالت كلي f -واگرايي‌ها مورد توجه‌اند زيرا ويژگي هاي خوبي مانند نامساوي پردازش-داده، تحدب، (نيمه) پيوستگي و خاصيت دوگان دارند و بنابراين آن ها كاربرد هاي خوبي در نظريه اطلاعات و آمار دارند.
در اين پايان نامه ابتدا روابط انتگرالي بين آنتروپي نسبي و واگرايي خي دو و مفهوم اين ارتباطات را مطالعه مي كنيم. برخي از تعميم‌هايي كه بر كلاس f -واگرايي اعمال مي شود را با جزئيات توضيح مي دهيم و سپس رابطه بين آنتروپي نسبي و واگرايي جنسن-شانون را بررسي مي كنيم. همچنين معيار اطلاعات فيشر بيز را ارائه مي كنيم كه توسط اميد اطلاعات فيشر تحت توزيع پارامتري آميخته‌حسابي، آميخته هندسي و آميخته تعميم يافته از دو تابع چگالي احتمال تعريف مي شود. رابطه بين آنتروپي شانون، واگرايي خي دو و واگرايي جنسن-شانون را با اطلاعات فيشر تحت توزيع‌هاي پارامتري آميخته بررسي مي كنيم. ارتباط اطلاعات فيشر بيز از مدل هاي آميخته با آنتروپي نسبي، جفري و جنسن-شانون را كاوش مي‌كنيم.
مدل خطرات متناسب (PH) كاربرد هاي مختلف در بسياري از زمينه ها دارد. نشان مي دهيم كه مدل PH و توزيع هاي مربوط به آن يك زمينه گسترده براي مطالعه برخي از معيارهاي مهم مورد استفاده در آمار، قابليت اعتماد و آناليز بقا، نظريه اطلاعات و زمينه‌هاي مربوطه فراهم مي كنند. با استفاده از اين مدل و توزيع هاي مرتبط با آن روابط بين نامساوي معيار جيني، معيار فيشر و آنتروپي شانون را بررسي مي كنيم. تحت پيشين هاي مختلف، ريسك هاي بيز، توابع آنتروپي تعميم يافته از توابع بقاي مدلهاي پايه و PH هستند.
كاربرد هاي فصل 2 اين پايان نامه مرتبط با فشرده سازي بي اتلاف كلي، انحرافات بزرگ، روش گونه‌ها، نابرابري پردازش داده قوي و همبستگي بيشينه است. كاربرد هاي فصل 3 در زمينه قابليت اعتماد، نامساوي ثروت و علم بيم سنجي است.
-
كليدواژه لاتين
Relative entropy , Chi-squared divergence , Jensen-Shannon divergence , Fisher information , f-divergences , Shannon entropy , Generalized entropy , Mean residual life
-
عنوان لاتين
On Relation Between the Kullback-Leibler Divergence and Some of the Divergence Measures with Applications
-
گروه آموزشي
آمار
-
چكيده لاتين
The relative entropy, the Chi-squared divergence and the Jensen-Shannon divergence have important role in Information theory and Statistics. They have applications in a wide range of branches such as Communications, Machine learning,
Statistical discrimination, etc. These measures indicate how far away are two populations from each other.
In the present thesis, we discuss various relations between the relative entropy and
other well-known divergence measures. After showing the relation between Fisher
information of the mixture models and relative entropy, we explore connections
between the Gini coefficient, Fisher information, and Shannon entropy based on
survival residual entropy.
some consequences of these relations that are studied in the thesis refer to lossless
compression, the method of types and large deviations, strong data–processing inequalities, bounds on contraction coefficients and maximal correlation, the convergence rate to stationarity of a type of discrete-time Markov chains, system lifetime,
and the insurance deductible.
-
تعداد فصل ها
4
-
لينک به اين مدرک :
