第 6 模块:起始权重与归一化
关卡:让一个无法训练的深层网络训练起来(关闭 AI)
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 修复一个学不会的深层网络,是这个领域中最常见的真实工作之一。在这里你要独自完成它。
AI 导师已关闭。下面这个 30 层的网络永远离不开抛硬币的水平。你可以用这个模块中的任何东西,改变它的启动方式和它各个块的连接方式,但要保持 30 个宽度为 16 的隐藏层,以及 300 步普通的 SGD。
本课中的词语和符号
- Xavier、LeCun、He
- 起始离散程度:用于 tanh 的 sqrt(2 / (inputs + outputs)) 或 1 / sqrt(inputs),以及用于 ReLU 的 sqrt(2 / inputs)
轮到你了
编辑 build(rng) 和 forward(params, X),让训练在月牙数据上达到至少 90% 的训练准确率。
关闭 AI:这一题没有导师、提示或参考答案。只靠你自己的思考。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。