#18 书本P59咨询一下

Closed
created 1 year ago by Yanger · 14 comments
Yanger commented 1 year ago
书本P59咨询一下,噪声的正态分布如下式,描述有问题吧? 哪个是噪声? 3.1.12,3.1.13如何理解
anine09 added the
Task 03
label 1 year ago
anine09 added this to the 未分配助教 milestone 1 year ago
anine09 added the
非程序问题
label 1 year ago
jiafu commented 1 year ago
①ε表示噪声,书中说的不够明确 ②其实ε服从正态高斯分布的话,根据概率知识,y也服从正态分布,而3.1.12作为线性回归模型,服从正态分布,ε=y-wx+b,代入3.1.13后,就可以求出发生这个误差的概率(或者说回归模型的概率密度函数),最后目的是让误差最小。 可以看下以下两个讲解链接 http://www.cnblogs.com/softlin/articles/6219372.html 或者 http://blog.csdn.net/qq_34319644/article/details/107335942
anine09 modified the milestone from 未分配助教 to 助教解答过 1 year ago
Yanger commented 1 year ago
Poster
> ①ε表示噪声,书中说的不够明确 > ②其实ε服从正态高斯分布的话,根据概率知识,y也服从正态分布,而3.1.12作为线性回归模型,服从正态分布,ε=y-wx+b,代入3.1.13后,就可以求出发生这个误差的概率(或者说回归模型的概率密度函数),最后目的是让误差最小。 > 可以看下以下两个讲解链接 > http://www.cnblogs.com/softlin/articles/6219372.html > 或者 > http://blog.csdn.net/qq_34319644/article/details/107335942 ------- 最大似然估计我知道,不看后面计算。只到3.13 我想咨询一下,3。13里面那个sigma是噪声正态分布的sigma还是你说y符合正态分布y的sigma 3.13 应该是y的正态分布,里面e指数为什么是这种形式,不应该是y_hat-mu_y?
anine09 modified the milestone from 助教解答过 to 学习者追问 1 year ago
Qingbobo commented 1 year ago
> > ①ε表示噪声,书中说的不够明确 > > ②其实ε服从正态高斯分布的话,根据概率知识,y也服从正态分布,而3.1.12作为线性回归模型,服从正态分布,ε=y-wx+b,代入3.1.13后,就可以求出发生这个误差的概率(或者说回归模型的概率密度函数),最后目的是让误差最小。 > > 可以看下以下两个讲解链接 > > http://www.cnblogs.com/softlin/articles/6219372.html > > 或者 > > http://blog.csdn.net/qq_34319644/article/details/107335942 > > ------- > > 最大似然估计我知道,不看后面计算。只到3.13 > > 我想咨询一下,3。13里面那个sigma是噪声正态分布的sigma还是你说y符合正态分布y的sigma > > 3.13 应该是y的正态分布,里面e指数为什么是这种形式,不应该是y_hat-mu_y? > > ①ε是噪声的正态分布 ②事实上3.13指的是ε的正态分布概率密度,因为ε服从正态分布,所以将ε用3.12的公式等价替换最终得到3.13的表达式
anine09 modified the milestone from 学习者追问 to 助教解答过 1 year ago
Yanger commented 1 year ago
Poster
> > > ①ε表示噪声,书中说的不够明确 > > > ②其实ε服从正态高斯分布的话,根据概率知识,y也服从正态分布,而3.1.12作为线性回归模型,服从正态分布,ε=y-wx+b,代入3.1.13后,就可以求出发生这个误差的概率(或者说回归模型的概率密度函数),最后目的是让误差最小。 > > > 可以看下以下两个讲解链接 > > > http://www.cnblogs.com/softlin/articles/6219372.html > > > 或者 > > > http://blog.csdn.net/qq_34319644/article/details/107335942 > > > > ------- > > > > 最大似然估计我知道,不看后面计算。只到3.13 > > > > 我想咨询一下,3。13里面那个sigma是噪声正态分布的sigma还是你说y符合正态分布y的sigma > > > > 3.13 应该是y的正态分布,里面e指数为什么是这种形式,不应该是y_hat-mu_y? > > > > > ①ε是噪声的正态分布 > ②事实上3.13指的是ε的正态分布概率密度,因为ε服从正态分布,所以将ε用3.12的公式等价替换最终得到3.13的表达式 --- 您的意思是,P(y|x)是给定数据x观察到噪声的似然? 也及时y = ε? 所以公式里用的方差和均值都是噪声的方差和均值 -- 我怎么有点不明白,那他下面证明思路是什么 x下发出噪声的概率让它最大 然后就证明了 噪声的加入 对 原函数求均方差这个方法没变化?
anine09 commented 1 year ago
Collaborator
不用引用回复哈,看着很长不好抓重点😂
anine09 modified the milestone from 助教解答过 to 学习者追问 1 year ago
anine09 commented 1 year ago
Collaborator
没关系只是个建议哈哈哈
Yanger commented 1 year ago
Poster
> 没关系只是个建议哈哈哈 我擦 问题要等明天了 没人回答。
Qingbobo commented 1 year ago
3.13的表达式是由ε符合正态分布引出正态分布概率密度公式,再结合3.12得出的由3.13可以看出来y是自变量而wx+b是均值,所以写成P(y|x)的形式 所以证明的思路是利用ε符合正态分布,再结合3.12的式子,替换ε得出3.13从而证明在噪声的假设下,最小化均方误差等价于对线性模型的极大似然估计。
anine09 modified the milestone from 学习者追问 to 助教解答过 1 year ago
Yanger commented 1 year ago
Poster
> 3.13的表达式是由ε符合正态分布引出正态分布概率密度公式,再结合3.12得出的由3.13可以看出来y是自变量而wx+b是均值,所以写成P(y|x)的形式 > 所以证明的思路是利用ε符合正态分布,再结合3.12的式子,替换ε得出3.13从而证明在噪声的假设下,最小化均方误差等价于对线性模型的极大似然估计。 谢谢 那还是有个问题咨询。 您的意思是,**P(y|x),特定x下,引入噪音ε后的概率密度函数?也就是y= wx+b+ε的概率密度函数?** 是不是这么理解的 ?因为这样才是您说的,y是自变量而wx+b是均值 那我有个疑问,那这个方差不应该是y的方差,为什么用噪音的方差。 **也就是3.12中噪音方差,和3.13中的方差是不是一个方差,写的一样**
anine09 modified the milestone from 助教解答过 to 学习者追问 1 year ago
Qingbobo commented 1 year ago
是同一个方差
anine09 modified the milestone from 学习者追问 to 助教解答过 1 year ago
Yanger commented 1 year ago
Poster
> 是同一个方差 您好,这点我不太懂: y是自变量,3.13那方差不应该是y的方差? y= wx+b+ε 假设, 1. x~N(mu_1,sigma_1.pow(2)) 2. ε~N(0,sigma_2.pow(2)) ,这个sigma_2就是书上公式的方差 3. x与ε相互独 那么 mu_y = w * mu_1+b+0 sigma_y = w * sigma_1+sima_2 ?= sima_2 **那y的方差sigma_y通过公式看, 怎么会和sigma_2 (sigma_2就是书上公式噪音的方差)是一个方差?**
Qingbobo commented 1 year ago
一切的前提都是ε服从正态分布,引出概率密度公式,再由3.12公式替换ε
Qingbobo commented 1 year ago
可以加我微信:Qing_bobo1,我们面对面解决
Yanger commented 1 year ago
Poster
> 可以加我微信:Qing_bobo1,我们面对面解决 麻烦您了 谢谢
anine09 closed this issue 1 year ago
Sign in to join this conversation.
No Milestone
No Assignees
4 Participants
Notifications
Due Date

No due date set.

Dependencies

This issue currently doesn't have any dependencies.

Loading…
There is no content yet.