بلاگ

پایگـاه اطلاعات علمی جهاد دانشگاهی

بیشینه آنتروپی یک توزیع چقدر است؟


مفهوم آنتروپی ، در مقاله ای که در سال 1948 توسط شانون مطرح شد .

مفهوم آنتروپی ، در مقاله ای که در سال 1948 توسط شانون مطرح شد . در این مقاله شانون در رابطه با موضوع کد گذاری نظریه ای مطرح کرده بود که بعدها در فیزیک و به خصوص ترمودینامیک کاربردهایی برای آن مطرح کرد . نظریه آنتروپی مورد توجه دانشمندان واقع شد . آنتروپی یک مفهوم علمی و یک ویژگی فیزیکی قابل اندازه گیری است .

آنتروپی معمولاً با حالت بی نظمی ، تصادفی یا عدم قطعیت همراه است . انتروپی شاخصی برای اندازه‌گیری میزان پخش و انتشار انرژی است . آنتروپی ، اندازه گیری انرژی حرارتی یک سیستم در واحد دمایی است که برای انجام کار مفید در دسترس نیست . از آنجایی که کار از حرکت مولکولی منظم بدست می آید ، مقدار آنتروپی نیز معیاری برای بی نظمی مولکولی یا تصادفی بودن یک سیستم است .

بیشینه آنتروپی یک توزیع چقدر است؟

می‌دانیم که آنتروپی بر اساس فرمول زیر محاسبه می‌شود:

فرمول آنتروپی

که در آن مشاهده Xام و (Xi) P احتمال آن رخداد است. از آن‌جا که آنتروپی زمانی بیشینه می‌شود که ما کم‌ترین اطلاعات را داشته باشیم؛ توزیعی بالاترین آنتروپی را دارد که یکنواخت باشد. در چنین حالتی احتمال هر رخداد برابر با 1/n است. حال آنتروپی این توزیع را محاسبه می‌کنیم:

فرمول بیشینه آنتروپی

 

بنابراین همواره آنتروپی یک توزیع در حالت بیشینه برابر با لگاریتم تعداد مشاهدات است.

منبع :

زارع نژاد، م.، و ابراهیم زاده، ا. (1398). آنتروپی تیسالیس و آنتروپی تیسالیس شرطی افرازهای فازی. پژوهش های نوین در ریاضی (علوم پایه دانشگاه آزاد اسلامی), 5(19 ), 5-18. https://www.sid.ir/fa/journal/ViewPaper.aspx?id=486106

مکرم، رضا،1390،آنتروپی چیست؟،همایش منطقه ای پژوهشهای نوین در ریاضی،گرگان.

 

 

پست های مرتبط

ابزار تحلیل شخصیت بر اساس واژگان

تاریخ: 1399/10/24

بازدید: 1764

1399

زمان مطالعه: 5 دقیقه دقیقه

معرفی AnalyzeWords

مدرس

@ins

بررسی تحلیلی موضوعات "زبان فارسی" و "فردوسی" در پایگاه SID به مناسبت پاسداشت زبان فارسی و بزرگداشت حکیم ابوالقاسم فردوسی

تاریخ: 1400/02/25

بازدید: 3591

1400

زمان مطالعه: 5 دقیقه دقیقه

براساس گزارش مرکز اطلاعات علمی جهاددانشگاهی، مقاله‌های علمی فارسی پربازدید با کلیدواژه‌های "زبان فارسی" یا "فردوسی" در بازه هزارروزه معرفی شدند.

مدرس

@ins

نایو بیز چیست؟

تاریخ: 1401/04/21

بازدید: 149

1401

زمان مطالعه: 2 دقیقه

یکی از قوانین مهم احتمال، قانون احتمال "بیز" است که توسط فردی به نام بیز مطرح شد.

مدرس

@ins

قضیه حد مرکزی

تاریخ: 1400/01/03

بازدید: 5603

1400

زمان مطالعه: 5 دقیقه دقیقه

Central limit theorem

مدرس

@ins

اینفوگرافی استفاده از روشهای یادگیری عمیق در تحلیل احساس

تاریخ: 1397/06/13

بازدید: 622

1397

زمان مطالعه: 5 دقیقه دقیقه

اینفوگرافی

مدرس

@ins

زیرشمولی و فراشملوی

تاریخ: 1400/01/16

بازدید: 685

1400

زمان مطالعه: 5 دقیقه دقیقه

مدرس

@ins

چگونه در بیب اکسل ماتریس هم آیندی ایجاد کنیم؟

تاریخ: 1400/01/14

بازدید: 1834

1400

زمان مطالعه: 5 دقیقه دقیقه

نرم افزار بیب اکسل

مدرس

@ins

آشنایی با داده train و test

تاریخ: 1400/02/26

بازدید: 1891

1400

زمان مطالعه: 5 دقیقه دقیقه

کد پایتون برای داده های train و test

مدرس

@ins

دسترسی رایگان به مجموعه داده ها

تاریخ: 1401/03/01

بازدید: 1639

1401

زمان مطالعه: 3 دقیقه

در فرآیند یادگیری ماشین ، محقق برای انجام کارهای مورد نظر خود نیاز به مجموعه داده استاندارد دارد . در این پست به معرفی یکی از پایگاه هایی که به طور رایگان ، مجموعه داده را در اختیار محققان قرار می دهد می پردازیم .

مدرس

@ins

LSTM چیست؟

تاریخ: 1401/02/24

بازدید: 524

1401

زمان مطالعه: 5 دقیقه

Long short-term memory (LSTM) ، یک شبکه عصبی مصنوعی است که در حوزه های موضوعی هوش مصنوعی و یادگیری عمیق به کار گرفته می شود.

مدرس

@ins