مدل خطی تعمیم‌یافته

می‌خواهیم ثابت کنیم که با ۳ فرض بالا و با دانستن توزیع منطقی یک سری داده می‌توان روابط رگرسیون لجستیک را بدون فرض خاصی بر روی تابع سیگموید بدست آورد. مسئله رگرسیون لجستیک یک طبقه بندی دو کلاسه (باینری) است. ما به دنبال ${\displaystyle y\in \{0,1\}}$

${\displaystyle =\varphi }$

${\displaystyle \frac{1}{1+e^{-}\eta }}$

${\displaystyle \frac{1}{1+e^{-{\theta }^{T}x}}}$

در نتیجه با فرض مدل خطی تعمیم یافته ، این که تابع پیش بینی رگرسیون لجستیک، همان تابع سیگموید است را ثابت کردیم. نکته قابل ذکر این است که ما فرضی بر روی تابع فرض خود یا ${\displaystyle h_{\theta }(x)}$

همانطور که در مثال بالا و در تعریف مدل های تعمیم یافته خطی گفته شد، برای به دست آوردن رابطه بین پارامتر ${\displaystyle \eta }$

مدل های خطی تعمیم یافته ویژگی هایی دارند که استفاده از آن ها را بسیار راحت می کند. امید ریاضی و واریانس Y از روابط زیر پیروی می کند که a پارامتر توزیع خانواده نمایی است.

${\displaystyle E[Y|X;\theta ]=\frac{\mathrm{\partial }a}{\mathrm{\partial }\eta }}$

${\displaystyle Var[Y|X;\theta ]=\frac{{\mathrm{\partial }}^{2}a}{\mathrm{\partial }{\eta }^2}}$

با استفاده از این دو رابطه می توان ثابت کرد که این مدل ها محدب هستند. اثبات این قضیه به صورت زیر است.

${\displaystyle l(\theta )=-\sum _{i=1}^m\log p(y^{(i)}|x^{(i)};\theta )}$

${\displaystyle =\sum _{i=1}^m-\log b(y^{(i)})-{\theta }^T{x}^{(i)}{y}^{(i)}+a({\theta }^T{x}^{(i)})}$

${\displaystyle \frac{\mathrm{\partial }l}{\mathrm{\partial }{\theta }_j}=\sum _{i=1}^m[a^{\prime }({\theta }^T{x}^{(i)})-y^{(i)}]x_j^{(i)}}$

${\displaystyle H_{jk}=\frac{{\mathrm{\partial }}^{2}l}{\mathrm{\partial }{\theta }_j{\theta }_k}=\sum _{i=1}^m{a}^{{}^{″}}({\theta }^T{x}^{(i)})x_j^{(i)}{x}_k^{(i)}}$

${\displaystyle z^{T}Hz=\sum _{i=1}^m\sum _{j=1}^n\sum _{k=1}^n{a}^{{}^{″}}({\theta }^T{x}^{(i)})x_j^{(i)}{x}_k^{(i)}{z}_j{z}_k}$

${\displaystyle \sum _{i=1}^m{a}^{″}({\theta }^T{x}^{(i)})[(x^{(i)}{)}^{T}z{]}^2}$

${\displaystyle a^{″}(\theta \mathbf{\text{)}}=Var(Y|X;theta)\ge 0\to z^{T}Hz\ge 0}$

• خانواده نمایی