بازشناسی هیجان مبتنی بر همجوشی اطلاعات چندوجهی با استفاده از مدل ترکیبی یادگیری هیجانی مغز

فرهودی زینب; ستایشی سعید; رزازی فربد; ربیعی اعظم

مشخصات مقاله

عنوان نشریه:

تازه هاي علوم شناختي

اطلاعات شماره:

زمستان 1398 , دوره 21 , شماره 4 ; از صفحه 113 تا صفحه 127 .

عنوان مقاله:

بازشناسی هیجان مبتنی بر همجوشی اطلاعات چندوجهی با استفاده از مدل ترکیبی یادگیری هیجانی مغز

نویسندگان:

فرهودی زینب, ستایشی سعید*, رزازی فربد, ربیعی اعظم

آدرس:

* گروه مهندسی پرتوپزشکی، دانشگاه صنعتی امیرکبیر، تهران، ایران

چکیده:

مقدمه: بازشناسی هیجان چندوجهی به واسطه دریافت اطلاعات از منابع حسی (وجه های) مختلف از یک ویدیو دارای چالش های فراوانی است و به عنوان روش جدیدی برای تعامل طبیعی انسان با رایانه مورد توجه محققان زیادی قرار گرفته است. هدف از این پژوهش، بازشناسی هیجان به طور خودکار از روی گفتار هیجانی و حالات چهره، مبتنی بر ساز و کارهای عصبی مغز بود. بنابراین، با توجه به مطالعات صورت گرفته در زمینه مدل های الهام گرفته از مغز، یک چارچوب کلی برای بازشناسی هیجان دومدالیتی با الهام از عملکرد کورتکس شنوایی و بینایی و سیستم لیمبیک مغز ارائه شود. روش کار: مدل ترکیبی و سلسله مراتبی پیشنهادی از دو مرحله یادگیری تشکیل شده بود. مرحله اول: مدل های یادگیری عمیق برای بازنمایی ویژگی های بینایی و شنوایی و مرحله دوم: مدل ترکیبی یادگیری هیجانی مغز (MoBEL) بدست آمده از مرحله قبل برای همجوشی اطلاعات شنیداری_دیداری. برای بازنمایی ویژگی های بینایی به منظور یادگیری ارتباط مکانی بین پیکسل ها و ارتباط زمانی بین فریم های ویدئو از مدل شبکه عصبی یادگیری عمیق 3D-CNN استفاده شد. همچنین به منظور بازنمایی ویژگی های شنوایی، ابتدا سیگنال گفتار به تصویر لگاریتم مل_اسپکتروگرام تبدیل شده سپس به مدل یادگیری عمیق CNN برای استخراج ویژگی های مکانی_زمانی داده شد. در نهایت، اطلاعات به دست آمده از دو جریان فوق به شبکه عصبی ترکیبی MoBEL داده شد تا با در نظر گرفتن همبستگی بین وجه های بینایی و شنوایی و همجوشی اطلاعات در سطح ویژگی، کارایی سیستم بازشناسی هیجان را بهبود بخشد. یافته ها: نرخ بازشناسی هیجان در ویدیو با استفاده از مدل ارائه شده بر روی پایگاه داده eNterface’ 05 به طور میانگین 82 درصد شد. نتیجه گیری: نتایج تجربی در پایگاه داده مذکور نشان می دهد که کارکرد روش پیشنهادی بهتر از روش های استخراج ویژگی های دستی و سایر مدل های همجوشی در بازشناسی هیجان است.

کلید واژه:

بازشناسی هیجان چندوجهی(Q1)یادگیری هیجانی مغز(Q1)مدل ترکیب شبکه های عصبی(Q1)همجوشی(Q1)یادگیری عمیق(Q1)

چارک 1 این موضوع در حوزۀ علمی خود، در چارک اول تازگی است.
یعنی استقبال پژوهشگران از این موضوع خیلی زیاد است.
چارک 2 این موضوع در حوزۀ علمی خود، در چارک دوم تازگی است.
یعنی استقبال پژوهشگران از این موضوع زیاد است.
چارک 3 این موضوع در حوزۀ علمی خود، در چارک سوم تازگی است.
یعنی استقبال پژوهشگران از این موضوع کم است.
چارک 4 این موضوع در حوزۀ علمی خود، در چارک چهارم تازگی است.
یعنی استقبال پژوهشگران از این موضوع خیلی کم است.

موضوعات مرتبط:

اشتعال سریع تحلیل مولفه های اصلی تنک تشخیص واحدهای اسمی روش لختی ساچمه سوخت D-T سیگنال های محیطی طبقه بندی بافت طبقه بندی کننده یون سنگین

مقالات نشریه ای مرتبط:

مقالات همایشی مرتبط:

ندارد

طرح های مرتبط:

مقالات بین المللی مرتبط:

No item.

ارتباط خیلی زیاد ارتباط زیاد مرتبط ارتباط کمتر

ارجاعات:

ثبت نشده است

استنادات:

ثبت نشده است

+جهت ارجاع به این مقاله کلیک کنید(Cite).

APA : کپی

فرهودی، ز.، و ستایشی، س.، و رزازی، ف.، و ربیعی، ا. (1398). بازشناسی هیجان مبتنی بر همجوشی اطلاعات چندوجهی با استفاده از مدل ترکیبی یادگیری هیجانی مغز. تازه های علوم شناختی, 21(4 ), 113-127. https://www.sid.ir/fa/journal/ViewPaper.aspx?id=508266

Vancouver : کپی

فرهودی زینب، ستایشی سعید، رزازی فربد، ربیعی اعظم. بازشناسی هیجان مبتنی بر همجوشی اطلاعات چندوجهی با استفاده از مدل ترکیبی یادگیری هیجانی مغز. تازه های علوم شناختی. 1398 [cited 2022May24];21(4 ):113-127. Available from: https://www.sid.ir/fa/journal/ViewPaper.aspx?id=508266

IEEE : کپی

فرهودی، ز.، ستایشی، س.، رزازی، ف.، ربیعی، ا.، 1398. بازشناسی هیجان مبتنی بر همجوشی اطلاعات چندوجهی با استفاده از مدل ترکیبی یادگیری هیجانی مغز. تازه های علوم شناختی, [online] 21(4 ), pp.113-127. Available: https://www.sid.ir/fa/journal/ViewPaper.aspx?id=508266.