فرایند گاوسی

در نظریه احتمال و آماریک فرایند گاوسی یک مدل آماری که در آن مشاهدات در دامنه پیوسته رخ می‌دهد، به عنوان مثال زمان یا فضا. در یک فرایند گاوسی هر نقطه از فضای ورودی یک متغیر تصادفی با توزیع نرمال است. علاوه بر این هر مجموعه متناهی از این متغیرهای تصادفی دارای توزیع گاوسی چند متغیره است. توزیع فرایند گاوسی توزیع مشترک از تمام این متغیرهای تصادفی (شمارا و نامحدود) است.

از دید یک الگوریتم یادگیری ماشین، یک فرایند گاوسی از lazy learning و اندازه‌گیری شباهت بین نقاط (همان تابع کرنل) برای پیش‌بینی نقاط جدید از داده‌های آموزشی است.

فرایند گاوسی به افتخار کارل فریدریش گاوس به نام وی نام‌گذاری شده‌است زیرا از او نماد گذاری توزیع گاوسی (توزیع نرمال) را پایه‌گذاری کرد. فرایندهای گاوسی را می‌توان به عنوان یک توزیع بی‌نهایت بعدی از گاوسی چند متغیره دید.

فرایند گاوسی برای مدل کردن‌های اماری مفید است، زیرا این فرایند از مزایای ذاتی توزیع نرمال استفاده می‌کند.

تعریف

یک فرایند گاوسی توزیع آماری X_t با t ∈ T است که برای هر تعداد متناهی ترکیب خطی از نمونه‌ها دارای یک توزیع مشترک گاوسی است. به‌طور دقیق تر، هر تابع خطی اعمال شده بر روی X_t یک توزیع شده گاوسی نتیجه می‌دهد. می‌توانیم بنویسیم (X ~ GP(m,K به معنی اینکه تابع تصادفی X دارای توزیع فرایند گاوسی با تابع میانگین m و تابع کوواریانس K است.

برخی از نویسندگان فرض می‌کنند که متغیرهای تصادفی X_t میانگین صفر را دارد؛ این کار باعث ساده‌سازی محاسبات بدون از دست دادن کلیت می‌شود.

تعاریف دیگر

به عنوان تعریفی دیگر یک فرایند پیوسته در زمان گاوسی است اگر و تنها اگر برای هر مجموعه متناهی از شاخص‌های $t_{1},\ldots ,t_{k}$

در مجموعهٔ شاخص

T

X_{t_{1},\ldots ,t_{k}}=(\mathbf {X} _{t_{1}},\ldots ,\mathbf {X} _{t_{k}})

یک متغیر تصادفی گاوسی چند متغیره است. با استفاده از تابع مشخصه ی متغیرهای تصادفی ویژگی گاوسی می‌تواند به شرح زیر بیان شود:

\left\{X_{t};t\in T\right\}

گاوسی است اگر و تنها اگر برای هر مجموعه متناهی از شاخص‌های مقادیر حقیقی

t_{1},\ldots ,t_{k}

که

\sigma _{\ell j},\mu _{\ell }

(

\sigma _{jj}>0

) وجود داشته باشد به طوری که معادله زیر برای همهٔ

s_{1},s_{2},...s_{k}\in \mathbb {R}

برقرار باشد:

\operatorname {E} \left(\exp \left(i\ \sum _{\ell =1}^{k}s_{\ell }\ \mathbf {X} _{t_{\ell }}\right)\right)=\exp \left(-{\frac {1}{2}}\,\sum _{\ell ,j}\sigma _{\ell j}s_{\ell }s_{j}+i\sum _{\ell }\mu _{\ell }s_{\ell }\right).

که $i$

عدد موهومی

{\sqrt {-1}}

را نشان می‌دهد

\sigma _{\ell j}

و

\mu _{\ell }

به ترتیب بیانگر کوواریانس و میانگین متغیرهای تصادفی در فرایند است.

توابع کوواریانس

یک ویژگی کلیدی در فرایندهای گاوسی این است که آن‌ها را می‌توان به صورت کامل با ممان مرتبه دومشان تعریف کرد. بنابراین اگر فرض شود میانگین صفر است، با تعریف تابع کوواریانس به صورت کامل رفتار فرایند مشخص می‌شود.

اگر فرایند ایستا باشد آن فقط به اختلاف، x' − x بستگی دارد ،در حالی که اگر غیر ایستا باشد آن بستگی به موقعیت واقعی نقاط x و 'x دارد. برای مثال حالت خاص فرایند Ornstein–Uhlenbeck، یعنی حرکت براونی ایستا است.

اگر فرایند تنها به |x' − x| بستگی داشته باشد، یعنی فاصله اقلیدسی بین x و 'x (بدون اهمیت جهت) ، فرایند همسانگرد محسوب می‌شود. یک فرایند است که هم ایستا و هم همسانگرد است همگن نامیده می‌شود؛

توابع معمول که به عنوان کوواریانس استفاده می‌شود:

ثابت:

$K_{\text{C}}(x,x')=C$

خطی:

$K_{\text{L}}(x,x')=x^{T}x'$

نویز گاوسی:

$K_{\text{GN}}(x,x')=\sigma ^{2}\delta _{x,x'}$

رگرسیون فرایند گاوسی

یکی از کاربردهای فرایندهای گاوسی در یادگیری ماشین مدل فرایند گاوسی است. فرایند گاوسی یک چارچوب یادگیری نظارت‌شده است که از آن برای رگرسیون و طبقه‌بندی استفاده می‌شود. این مدل به‌طور خلاصه با استفاده از دانش اولیه‌ی خود راجع مسئله که در یک تابع کوواریانس یا کرنل خلاصه می‌شود، پیش‌بینی‌اش را انجام می‌دهد و نهایتا علاوه بر پیش‌بینی انجام شده معیاری از عدم قطعیت پیش‌بینی را نیز ارائه می‌دهد. قابل اندازه‌گیری بودن عدم قطعیت پیش‌بینی‌های این مدل، آن را از بسیاری از مدل‌های دیگر یادگیری نظارت‌شده متمایز می‌کند.

در یک مسئله‌ی عام رگرسیون سعی بر این است تا با کمک تعدادی نقطه‌ی از قبل مشاهده شده، تابعی را پیدا کنیم که به بهترین شکل این نقاط را توصیف می‌کند سپس از این تابع جهت پیش‌بینی نقطه‌های دیده نشده استفاده شود. هرچند برای مجموعه‌ای متناهی از نقاط داده شده در یک فضای پیوسته، بیشمار تابع وجود دارد که از این نقاط می‌گذرد. رگرسیون فرایند گاوسی سعی دارد تا توزیع احتمالی روی این بی‌نهایت تابع ممکن بدست آورده و با کمک این توزیع به پیش‌بینی مقادیر نقاط دیده نشده بپردازد. توزیع احتمال ذکر شده روی توابع در واقع یک فرایند گاوسی است که با یک تابع میانگین و کوواریانس اولیه آغاز شده و در هر مرحله با اضافه شدن یک نقطه‌ی مشاهده‌شده‌ی جدید بروزرسانی می‌شوند. از آنجایی که خروجی این مدل توزیعی روی تمام توابع ممکن است می‌توان میانگین این توابع را به عنوان پیش‌بینی مدل و واریانس آن‌ها را به عنوان معیاری از اطمینان پیش‌بینی انجام شده در نظر گرفت. اغلب در کار با داده‌های نرمالیزه‌شده یا داده‌هایی که اطلاعات اولیه‌ای راجع آن‌ نداریم میانگین صفر در نظر گرفته می‌شود و تابع کوواریانس با یک تابع کرنل مقداردهی اولیه می‌شود.

رگرسیون فرایند گاوسی یک مدل غیرپارامتریک است به این معنا که مدل صورت از پیش تعیین‌شده‌ای ندارد بلکه فرم آن از روی تمام داده‌های مشاهده‌شده تعیین می‌شود (یا به عبارت دیگر سایز پارامترهای مدل با سایز داده‌های مشاهده‌شده رشد می‌کند).

صورت‌بندی ریاضی

فرض کنید تعدادی نمونه‌ی نویزی $\mathbf {y} _{T}=[y_{1}\cdots y_{T}]^{T}$

در نقاط

A_{T}=[\mathbf {x_{1}} \cdots \mathbf {x_{T}} ]

وجود دارد به طوری که برای هر

t

،

y_{t}=f(\mathbf {x} _{t})+\epsilon _{t}\qquad \epsilon _{t}\sim N(0,\sigma ^{2})

با شروع از یک مقدار اولیه

{\mathcal {GP}}(0,k(x,x'))

توزیع احتمال پسین بدست آمده از روی این داده‌ها (یعنی میانگین جدید

\mu _{T}(x)

و کوواریانس جدید

k_{T}(\mathbf {x} ,\mathbf {x'} )

) و همچنین واریانس توزیع جدید

\sigma _{T}^{2}(\mathbf {x} )

به صورت زیر می‌باشند:

$\mu _{T}(\mathbf {x} )=\mathbf {k} _{T}(\mathbf {x} )^{T}(\mathbf {K} _{T}+\sigma ^{2}\mathbf {I} )^{-1}\mathbf {y} _{T}$

k_{T}(\mathbf {x} ,\mathbf {x'} )=k(\mathbf {x} ,\mathbf {x'} )-\mathbf {k} _{T}(\mathbf {x} )^{T}(\mathbf {K} _{T}+\sigma ^{2}\mathbf {I} )^{-1}\mathbf {k} _{T}(\mathbf {x'} )

\sigma _{T}^{2}(\mathbf {x} )=k_{T}(\mathbf {x} ,\mathbf {x} )

که در آن

I

ماتریس همانی،

\mathbf {k} _{T}(\mathbf {x} )=[k(\mathbf {x_{1}} ,\mathbf {x} )\cdots k(\mathbf {x_{T}} ,\mathbf {x} )]^{T}

و

\mathbf {K} _{T}

ماتریس کرنل مثبت معین است یعنی

[k(\mathbf {x} ,\mathbf {x'} )]_{\mathbf {x} ,\mathbf {x'} \in A_{T}}

. نهایتا می‌توان پیش‌بینی‌های جدید را با کمک تابع

\mu _{T}(x)

و واریانس در این نقاط را با کمک تابع

\sigma _{T}^{2}(\mathbf {x} )

بدست آورد.

یادداشت

↑ Rasmussen, C. E. (2004). "Gaussian Processes in Machine Learning". Advanced Lectures on Machine Learning. Lecture Notes in Computer Science. Vol. 3176. pp. 63–71. doi:10.1007/978-3-540-28650-9_4. ISBN 978-3-540-23122-6.
↑ Simon, Barry (1979). Functional Integration and Quantum Physics. Academic Press.
↑ Seeger, Matthias (2004). "Gaussian Processes for Machine Learning". International Journal of Neural Systems. 14 (2): 69–104. doi:10.1142/s0129065704001899.
↑ MacKay, David, J.C. (2003). Information Theory, Inference, and Learning Algorithms (PDF). Cambridge University Press. p. 540. ISBN 978-0-521-64298-9. The probability distribution of a function $y(\mathbf {x} )$ is a Gaussian processes if for any finite selection of points $\mathbf {x} ^{(1)},\mathbf {x} ^{(2)},\ldots ,\mathbf {x} ^{(N)}$ , the density $P(y(\mathbf {x} ^{(1)}),y(\mathbf {x} ^{(2)}),\ldots ,y(\mathbf {x} ^{(N)}))$ is a Gaussian
↑ Dudley, R.M. (1989). Real Analysis and Probability. Wadsworth and Brooks/Cole.
↑ Bishop, C.M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 0-387-31073-8.
↑ Barber, David (2012). Bayesian Reasoning and Machine Learning. Cambridge University Press. ISBN 978-0-521-51814-7.
↑ Rasmussen, C.E.; Williams, C.K.I (2006). Gaussian Processes for Machine Learning. MIT Press. ISBN 0-262-18253-X.
↑ Grimmett, Geoffrey; David Stirzaker (2001). Probability and Random Processes. Oxford University Press. ISBN 0-19-857222-0.
↑ Wang, Jie (2022-04-18). "An Intuitive Tutorial to Gaussian Processes Regression". arXiv:2009.10862 [cs, stat].
↑ Srinivas, Niranjan; Krause, Andreas; Kakade, Sham M.; Seeger, Matthias (2012-05). "Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design". IEEE Transactions on Information Theory. 58 (5): 3250–3265. doi:10.1109/TIT.2011.2182033. ISSN 0018-9448.

[1] Rasmussen, C. E. (2004). "Gaussian Processes in Machine Learning". Advanced Lectures on Machine Learning. Lecture Notes in Computer Science. Vol. 3176. pp. 63–71. doi:10.1007/978-3-540-28650-9_4. ISBN 978-3-540-23122-6.

[2] Simon, Barry (1979). Functional Integration and Quantum Physics. Academic Press.

[seegerGPML-3] Seeger, Matthias (2004). "Gaussian Processes for Machine Learning". International Journal of Neural Systems. 14 (2): 69–104. doi:10.1142/s0129065704001899.

[DrMacKayGPNN-4] MacKay, David, J.C. (2003). Information Theory, Inference, and Learning Algorithms (PDF). Cambridge University Press. p. 540. ISBN 978-0-521-64298-9. The probability distribution of a function $y(\mathbf {x} )$ is a Gaussian processes if for any finite selection of points $\mathbf {x} ^{(1)},\mathbf {x} ^{(2)},\ldots ,\mathbf {x} ^{(N)}$ , the density $P(y(\mathbf {x} ^{(1)}),y(\mathbf {x} ^{(2)}),\ldots ,y(\mathbf {x} ^{(N)}))$ is a Gaussian

[5] Dudley, R.M. (1989). Real Analysis and Probability. Wadsworth and Brooks/Cole.

[prml-6] Bishop, C.M. (2006). Pattern Recognition and Machine Learning. Springer. ISBN 0-387-31073-8.

[brml-7] Barber, David (2012). Bayesian Reasoning and Machine Learning. Cambridge University Press. ISBN 978-0-521-51814-7.

[gpml-8] Rasmussen, C.E.; Williams, C.K.I (2006). Gaussian Processes for Machine Learning. MIT Press. ISBN 0-262-18253-X.

[PRP-9] Grimmett, Geoffrey; David Stirzaker (2001). Probability and Random Processes. Oxford University Press. ISBN 0-19-857222-0.

[10] Wang, Jie (2022-04-18). "An Intuitive Tutorial to Gaussian Processes Regression". arXiv:2009.10862 [cs, stat].

[11] Srinivas, Niranjan; Krause, Andreas; Kakade, Sham M.; Seeger, Matthias (2012-05). "Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design". IEEE Transactions on Information Theory. 58 (5): 3250–3265. doi:10.1109/TIT.2011.2182033. ISSN 0018-9448.