خانه / داده کاوی / چرا استفاده از تابع فعالسازی Relu به جای sigmoid در شبکه های عمیق رایج است؟ چه مزایایی دارد؟

چرا استفاده از تابع فعالسازی Relu به جای sigmoid در شبکه های عمیق رایج است؟ چه مزایایی دارد؟

مزایا:
– تنها 50 درصد مواقع این تابع فعال می‌شود و در نتیجه از لحاظ پردازشی صرفه جویی میشود.
– جلوی انفجار گرادیان یا محو شدن آن را میگیرد. (عجب ترجمه ای!)

– با یافته های بیولوژیکی توسط نوروساینتیست ها مطابقت بیشتری دارد (علوم شناختی)

#ReLU provides some important benefits that might not be obvious at first glance:

✔️during the initialization process of a Neural Network model, weights are distributed at random for each unit. ReLU will only activate approximately 50% of the time, which actually saves some processing
power.

✔️The ReLU structure also solves the ‘Vanishing Gradient’ and ‘Exploding Gradient’ problems,both of which are well-known issues with the training process.
✔️ as a marginal benefit, this type of activation achieves ‘Biological Plausibility’, because it’s directly relatable to the common biological model of a neuron.

درباره ی گروه توسعه اندیشه نوین

همچنین ببینید

چه طور در کیک استارتر موفق شویم؟

تمام کسانی که به دنبال جذب سرمایه برای پروژه‌های خلاقانه و جاه طلبانه‌شان بوده‌اند، حتماً …

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *