بلاگ

پایگـاه اطلاعات علمی جهاد دانشگاهی

LSTM چیست؟


تعریف LSTM به زبان ساده

Long short-term memory (LSTM) ، یک شبکه عصبی مصنوعی است که در حوزه های موضوعی هوش مصنوعی[1] و یادگیری عمیق[2] به کار گرفته می شود. بر خلاف شبکه عصبی پیشخور[3]، LSTM دارای اتصالات بازخوردی است . LSTM مانند شبکه عصبی بازگشتی ، نه تنها به پردازش داده های مفرد مثل تصاویر، می پردازد، بلکه آن می تواند داده های متوالی مثل سخنرانی یا فیلم را هم پردازش کند. برای مثال LSTM برای کارهایی مثل شناسایی دست خط ، شناسایی سخنرانی ، ترجمه ماشینی ، کنترل ربات ، بازی های ویدیویی و مراقبت های بهداشتی کاربرد دارد. LSTM در قرن بیستم به عنوان بهترین نوع شبکه عصبی شناخته شده است .

LSTM توسط Yoshua Bengio و دیگران در سال 1994 در مقاله ای با عنوان Learning long tern Dependencies with gradient descent is difficult مطرح شد .

تعریف LSTM به زبان ساده

LSTM به زبان ساده یعنی مدلی که برای دنباله های طولانی به کار می رود. LSTM لایه پیشرفته تری نسبت به simple RNN است. برخی اوقات برای داشتن خروجی مناسب باید به ورودی های اخیر نگاه کرد .

LSTM می تواند هر دنباله ای با طول طولانی را پردازش کند . برای مثال در شکل زیر قابلیت LSTM نشان داده می شود. مثلا اطلاعاتی در قسمت اول وجود دارد که در قسمت آخر استفاده خواهد شد . T=1 بازه زمانی اول است و اطلاعات پردازش شده قرار است در بازه زمانی 500 استفاده شود. پس LSTM بازه زمانی اول را یادگیری می کند و آن را تا بازه زمانی 500 که برایش در نظر گرفته شده ذخیره می کند تا در صورت آن نیاز آن اطلاعات استفاده شود .

تعریف LSTM به زبان ساده

برخی از کاربردهای LSTM 

 زمانی که می خواهیم یک مدل زبانی پیش بینی کلمات طراحی کنیم تا به صورت خودکار کلمه بعدی را با استفاده از کلمات قبلی پیش بینی کند. برای مثال برای پیش بینی این جمله ، این جمله لازم است به دو یا سه جمله قبل باز گردیم.

مثال: ابرها در آسمان و انتظار داریم مدل کلمه هستند را به صورت خودکار شناسایی کند که سیستم با شناسایی چند کلمه قبلی این امکان وجود دارد. در این مثال وابستگی کوتاه مدت وجود دارد .

اما مواردی وجود دارد که نیاز است برای پیش بینی به چند مرحله قبل باز گردیم. مثال :زمانی که یک زندگی نامه را می نویسیم و متن طولانی است و جمله دوم بعد از ا»دن مطالب زیادی نظیر کارها و خاطرات فرد باید پیش بینی شود . جمله دوم یعنی تعیین اینکه شما به چه زبانی مسلط هستید باید به خیلی قبل تر باز گردد تا پیش بینی صورت بگیرد .

جمله : من در ایران به دنیا امدم متن طولانی ...، به همین دلیل مسلط بر زبان فارسی هستم.

پس در این مثال خروجی بر اساس ورودی که خیلی قبل تر به سیستم وارد شده صوت می گیرد . به این اصطلاح Long term dependendencies گفته می شود .

تعریف LSTM به زبان ساده

 

پیاده سازی LSTM در پایتون

برای پیاده سازی LSTM در پایتون مراحل زیر را انجام دهید . 

پیاده سازی LSTM در پایتون

پیاده سازی LSTM در پایتون

پیاده سازی LSTM در پایتون

پیاده سازی LSTM در پایتون

 فیلمی از قابلیت دستیار گوگل برای هماهنگ کردن یک قرار 

 

 

 

[1] artificial intelligence

[2] deep learning

[3] feedforward neural networks

پست های مرتبط

بیشینه آنتروپی یک توزیع چقدر است؟

تاریخ: 1401/01/17

بازدید: 1411

1401

زمان مطالعه: 5 دقیقه دقیقه

مفهوم آنتروپی ، در مقاله ای که در سال 1948 توسط شانون مطرح شد .

مدرس

@ins

دسترسی رایگان به مجموعه داده ها

تاریخ: 1401/03/01

بازدید: 2994

1401

زمان مطالعه: 3 دقیقه

در فرآیند یادگیری ماشین ، محقق برای انجام کارهای مورد نظر خود نیاز به مجموعه داده استاندارد دارد . در این پست به معرفی یکی از پایگاه هایی که به طور رایگان ، مجموعه داده را در اختیار محققان قرار می دهد می پردازیم .

مدرس

@ins

آشنایی با داده train و test

تاریخ: 1400/02/26

بازدید: 2882

1400

زمان مطالعه: 5 دقیقه دقیقه

کد پایتون برای داده های train و test

مدرس

@ins

ابزار تحلیل شخصیت بر اساس واژگان

تاریخ: 1399/10/24

بازدید: 2432

1399

زمان مطالعه: 5 دقیقه دقیقه

معرفی AnalyzeWords

مدرس

@ins

اینفوگرافی استفاده از روشهای یادگیری عمیق در تحلیل احساس

تاریخ: 1397/06/13

بازدید: 1202

1397

زمان مطالعه: 5 دقیقه دقیقه

اینفوگرافی

مدرس

@ins

قضیه حد مرکزی

تاریخ: 1400/01/03

بازدید: 8172

1400

زمان مطالعه: 5 دقیقه دقیقه

Central limit theorem

مدرس

@ins

بررسی تحلیلی موضوعات "زبان فارسی" و "فردوسی" در پایگاه SID به مناسبت پاسداشت زبان فارسی و بزرگداشت حکیم ابوالقاسم فردوسی

تاریخ: 1400/02/25

بازدید: 4938

1400

زمان مطالعه: 5 دقیقه دقیقه

براساس گزارش مرکز اطلاعات علمی جهاددانشگاهی، مقاله‌های علمی فارسی پربازدید با کلیدواژه‌های "زبان فارسی" یا "فردوسی" در بازه هزارروزه معرفی شدند.

مدرس

@ins

جستجوی حریصانه

تاریخ: 1400/01/12

بازدید: 2586

1400

زمان مطالعه: 5 دقیقه دقیقه

مدرس

@ins

نایو بیز چیست؟

تاریخ: 1401/04/21

بازدید: 1473

1401

زمان مطالعه: 2 دقیقه

یکی از قوانین مهم احتمال، قانون احتمال "بیز" است که توسط فردی به نام بیز مطرح شد.

مدرس

@ins

زیرشمولی و فراشملوی

تاریخ: 1400/01/16

بازدید: 1588

1400

زمان مطالعه: 5 دقیقه دقیقه

مدرس

@ins