#46 Task 05 程序问题,关于参数初始化

Open
created 1 year ago by Yanger · 1 comments
Yanger commented 1 year ago
<!-- 需要按照模板,填写每一项内容,请勿改动 --> ### 问题所属任务编号(Task 01-05) Task 05 ### 运行环境(操作系统版本、Python 版本)/ 非程序问题 ### 完整的报错信息(截图或复制均可)/ 问题详细描述 多层感知机从零开始章节 参数优化 ``` W1 = nn.Parameter(torch.randn( num_inputs, num_hiddens, requires_grad=True) * 0.01) ``` ### 描述你期望看到的结果 疑问:我们参数初始化的时候,torch.randn()是符合标准正态分布~N(0,1) 那么,我们随出来的参数,同时 * 0.01,那么这个结果方差应该是 * 0.0001,参数符合分布~N(0,0.0001)? 我们前面参数都是符合正态分布N(0,0.01),如果老师还是这个意思,**还想达到这个效果,是不是这里写错了,应该写成 * 0.1?**
anine09 added the
程序问题
label 1 year ago
anine09 added the
Task 04
label 1 year ago
anine09 added this to the 未分配助教 milestone 1 year ago
xhr commented 1 year ago
![image](/attachments/a09f88b9-0532-4020-b2fd-d51a0ee8e788) 满足的0.01对应的是std,不是方差,可看一下后面的权重生成代码。而且在正态分布中,里面的两个参数是均值和标准差,不是方差。
5.5 KiB
anine09 modified the milestone from 未分配助教 to 助教解答过 1 year ago
Sign in to join this conversation.
No Milestone
No Assignees
2 Participants
Notifications
Due Date

No due date set.

Dependencies

This issue currently doesn't have any dependencies.

Loading…
There is no content yet.