بلاگ

پایگـاه اطلاعات علمی جهاد دانشگاهی

بیشینه آنتروپی یک توزیع چقدر است؟


آنتروپی معمولاً با حالت بی نظمی ، تصادفی یا عدم قطعیت همراه است . انتروپی شاخصی برای اندازه‌گیری میزان پخش و انتشار انرژی است .

مفهوم آنتروپی ، در مقاله ای که در سال 1948 توسط شانون مطرح شد . در این مقاله شانون در رابطه با موضوع کد گذاری نظریه ای مطرح کرده بود که بعدها در فیزیک و به خصوص ترمودینامیک کاربردهایی برای آن مطرح کرد . نظریه آنتروپی مورد توجه دانشمندان واقع شد . آنتروپی یک مفهوم علمی و یک ویژگی فیزیکی قابل اندازه گیری است .

آنتروپی معمولاً با حالت بی نظمی ، تصادفی یا عدم قطعیت همراه است . انتروپی شاخصی برای اندازه‌گیری میزان پخش و انتشار انرژی است . آنتروپی ، اندازه گیری انرژی حرارتی یک سیستم در واحد دمایی است که برای انجام کار مفید در دسترس نیست . از آنجایی که کار از حرکت مولکولی منظم بدست می آید ، مقدار آنتروپی نیز معیاری برای بی نظمی مولکولی یا تصادفی بودن یک سیستم است .

بیشینه آنتروپی یک توزیع چقدر است؟

می‌دانیم که آنتروپی بر اساس فرمول زیر محاسبه می‌شود:

فرمول آنتروپی

که در آن مشاهده Xام و (Xi) P احتمال آن رخداد است. از آن‌جا که آنتروپی زمانی بیشینه می‌شود که ما کم‌ترین اطلاعات را داشته باشیم؛ توزیعی بالاترین آنتروپی را دارد که یکنواخت باشد. در چنین حالتی احتمال هر رخداد برابر با 1/n است. حال آنتروپی این توزیع را محاسبه می‌کنیم:

فرمول بیشینه آنتروپی

 

بنابراین همواره آنتروپی یک توزیع در حالت بیشینه برابر با لگاریتم تعداد مشاهدات است.

منبع :

زارع نژاد، م.، و ابراهیم زاده، ا. (1398). آنتروپی تیسالیس و آنتروپی تیسالیس شرطی افرازهای فازی. پژوهش های نوین در ریاضی (علوم پایه دانشگاه آزاد اسلامی), 5(19 ), 5-18. https://www.sid.ir/fa/journal/ViewPaper.aspx?id=486106

مکرم، رضا،1390،آنتروپی چیست؟،همایش منطقه ای پژوهشهای نوین در ریاضی،گرگان.

 

 

پست های مرتبط

بررسی تحلیلی موضوعات "زبان فارسی" و "فردوسی" در پایگاه SID به مناسبت پاسداشت زبان فارسی و بزرگداشت حکیم ابوالقاسم فردوسی

تاریخ: 1400/02/25

بازدید: 4938

1400

زمان مطالعه: 5 دقیقه دقیقه

براساس گزارش مرکز اطلاعات علمی جهاددانشگاهی، مقاله‌های علمی فارسی پربازدید با کلیدواژه‌های "زبان فارسی" یا "فردوسی" در بازه هزارروزه معرفی شدند.

مدرس

@ins

چند مجموعه یا خورجین

تاریخ: 1400/04/01

بازدید: 1708

1400

زمان مطالعه: 5 دقیقه دقیقه

آشنایی با ریاضی

مدرس

@ins

LSTM چیست؟

تاریخ: 1401/02/24

بازدید: 2288

1401

زمان مطالعه: 5 دقیقه

Long short-term memory (LSTM) ، یک شبکه عصبی مصنوعی است که در حوزه های موضوعی هوش مصنوعی و یادگیری عمیق به کار گرفته می شود.

مدرس

@ins

قضیه حد مرکزی

تاریخ: 1400/01/03

بازدید: 8172

1400

زمان مطالعه: 5 دقیقه دقیقه

Central limit theorem

مدرس

@ins

زیرشمولی و فراشملوی

تاریخ: 1400/01/16

بازدید: 1588

1400

زمان مطالعه: 5 دقیقه دقیقه

مدرس

@ins

دسترسی رایگان به مجموعه داده ها

تاریخ: 1401/03/01

بازدید: 2994

1401

زمان مطالعه: 3 دقیقه

در فرآیند یادگیری ماشین ، محقق برای انجام کارهای مورد نظر خود نیاز به مجموعه داده استاندارد دارد . در این پست به معرفی یکی از پایگاه هایی که به طور رایگان ، مجموعه داده را در اختیار محققان قرار می دهد می پردازیم .

مدرس

@ins

جستجوی حریصانه

تاریخ: 1400/01/12

بازدید: 2586

1400

زمان مطالعه: 5 دقیقه دقیقه

مدرس

@ins

ماتریس تحول چیست؟

تاریخ: 1399/12/23

بازدید: 2447

1399

زمان مطالعه: 5 دقیقه دقیقه

Transition Matrix

مدرس

@ins

آشنایی با داده train و test

تاریخ: 1400/02/26

بازدید: 2882

1400

زمان مطالعه: 5 دقیقه دقیقه

کد پایتون برای داده های train و test

مدرس

@ins

اینفوگرافی استفاده از روشهای یادگیری عمیق در تحلیل احساس

تاریخ: 1397/06/13

بازدید: 1202

1397

زمان مطالعه: 5 دقیقه دقیقه

اینفوگرافی

مدرس

@ins