یکسوساز (شبکه عصبی)

واحد یکسو شده‌ی نویز دار

واحدهای یکسو شده‌ی خطی می‌توانند تعمیم داده شوند تا شامل یک نویز گاوسی باشد.

${\displaystyle f(x)=max(0,x+Y)}$

واحدهای یکسو شده‌ی نویز دار در ماشین‌های محدود شده‌ی بلتزمن با موفقیت نسبی برای وظیفه‌های بینایی کامپیوتر استفاده شده‌اند.

واحد یکسو شده‌ی بانشت

این واحدها یک شیب نا صفر را در هنگامی که واحد فعال نیست عبور می‌دهند.

واحد یکسو شده‌ی پارامتردار این ایده را با در نظر گرفتن ضریب نشت به عنوان یک پارامتر قابل یادگیری همراه بقیه‌ی پارامترهای شبکه‌های عصبی کامل‌تر می‌کنند.

توجه شود که برای ${\displaystyle a\le 1}$

${\displaystyle f(x)=max(x,ax)}$

و از این رو با شبکه‌های مکس‌اوت ربط دارند.

انواع غیر خطی

واحد خطی خطای گاوسی (Gaussian-Error Linear Unit)

واحد خطی خطای گاوسی (GELU) یک واحد تقریب هموارکننده است:

${\displaystyle f(x)=x\cdot \mathrm{\Phi }(x)}$

که Φ(x) تابع توزیع تجمیعی برای توزیع نرمال استاندارد است.

واحد خطی سیگموئید (SiLU)

این تابع نیز یک واحد تقریب هموار است:

${\displaystyle f(x)=x\cdot \mathrm{sigmoid}(x)}$

که sigmoid(x) تابع سیگموئید است.

سافت‌‌پلاس

یک تقریب هموار برای یکسوساز تابع تحلیلی زیر است

${\displaystyle f(x)=\ln (1+e^x)}$

که به آن سافت‌پلاس می‌گویند. مشتق سافت‌پلاس برابر است با

${\displaystyle f^{\prime }(x)=\frac{e^x}{1+e^x}=\frac{1}{1+e^{-x}}}$

تعمیم چندمتغیره سافت‌پلاس، LogSumExp می‌باشد به شرطی که آرگومان اول آن صفر قرار داده شده باشد.

${\displaystyle {\mathrm{L}\mathrm{S}{\mathrm{E}}_0}^{+}(x_1,\dots ,x_n):=\mathrm{LSE}(0,x_1,\dots ,x_n)=\ln \left(1+e^{x_1}+\cdots +e^{x_n}\right)}$

مشتق تابع LogSumExp، همان بیشینه هموار است؛ بیشینه هموار با آرگومان اول صفر، تعمیم چندمتغیره تابع لجستیک است. هم LogSumExp هم بیشینه هموار در یادگیری ماشین کاربرد دارند.

واحد نمایی خطی (Exponential Linear Unit)

واحدهای نمایی خطی سعی می‌کنند میانگین فعال‌بودن‌ها را به صفر نزدیک کنند که باعث سرعت بخشیدن به فرایند یادگیری می‌شود. نشان داده شده که واحدهای نمایی خطی می‌توانند دقت دسته‌بندی بالاتری را نسبت به واحدهای یکسوسازی خطی به دست آورند.

در این معادله، a یک ابرپارامتر قابل یادگیری به شرط ${\displaystyle a\ge 0}$

Mish

این تابع نیز یک تقریب هموار برای یکسوساز است که به صورت زیر تعریف می‌شود:

${\displaystyle f(x)=x\tanh (\mathrm{softplus}(x))}$

که از سافت‌پلاس و تانژانت هایپربولیک تشکیل شده است.

• همخوانی با زیست‌شناسی:یک طرفه، درمقایسه‌ی با تابع پادمتقارن تانژانت هذلولولی
• فعال بودن پراکنده:‌ برای مثال، در یک شبکه‌ی راه‌اندازی شده به صورت تصادفی تنها 50% واحدهای پنهان فعالیت دارند(خروجی غیر صفر دارند).
• انتشار مشتق بهینه: عدم وجود مشکل گرادیان محو شونده.
• محاسبه‌ی سریع: تنها مقایسه، جمع و ضرب.
• مستقل از مقیاس: ${\displaystyle max(0,ax)=amax(0,x)}$

برای اولین بار در 2011، نشان داده شد استفاده‌ی یکسوساز به عنوان یک مؤلفه‌ی غیرخطی اجازه می‌دهد که شبکه‌های عمیق با نظارت بدون نیاز به پیش‌تعلیم بی‌نظارت تعلیم داده شوند. واحدهای یکسوسازی شده‌ی خطی درمقایسه با تابع سیگموئید یا توابع فعال‌سازی مشابه، تعلیم سریع‌تر و بهینه‌تر معماری‌های عمیق را بر روی مجموعه‌داده‌های بزرگ و پیچیده اجازه می‌دهند.

• مشتق‌ناپذیر در صفر: گرچه در هر نقطه‌ی دیگر مشتق‌پذیر است، شامل نقاط مخالف ولی نزدیک به صفر.
• مرکز غیر صفر.
• بدون کران.
• مشکل مرگ واحدهای یکسوساز خطی: عصب‌های یکسوساز ممکن است به یک وضعیت که در آن به ازای تمام ورودی‌ها غیر فعال باشند سوق داده شوند. در این حالت، هیچ مشتقی به سمت عقب عصب جریان پیدا نمی‌کند و به همین دلیل عصب به صورت دائم در یک وضعیت غیر فعال گیر می‌کند و به اصطلاح می‌میرد. در بعضی از موارد، تعداد زیادی از عصب‌ها در یک شبکه می‌توانند در این وضعیت گیر کنند و به صورتی مؤثری توانایی مدل را کاهش دهند. این مشکل در حالتی که ضریب یادگیری بالا است می‌تواند رخ دهد. این مشکل می‌تواند با استفاده از واحدهای یکسو شده‌ی با نشت به جای واحدهای سده کاهش پیدا کند.

• تابع سیگموئید
• مدل توبیت