- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
因此,我正在构建一个机器学习竞技场模拟,我可以在其中交换不同的算法来展示不同模型的优点和缺点。
我尝试使用 ReLU 激活,但这并不理想,因为 SoftMax 会生成概率分布,这意味着一次几乎只能执行 1 个操作。
我认为 sigmoid 是最好的选择,但是当我计算输出层时,它在每一层中逐渐变得越来越大,所以当我添加 2 个隐藏层时:所有输出节点的结果都是 1。
这是一个演示: https://i.gyazo.com/b12d4efdd1b0af518751762cb2f000f9.mp4
这里是一些代码片段:
class NeuralNetwork:
layer_weights: list
neuron_weights: list = None # Stored here for verbose
neuron_screen_locations: list = None
def __init__(
self,
dimensions: Tuple[int] = None,
layer_weights: list = None
):
if dimensions:
self.layer_weights = []
for i in range(len(dimensions)-1):
self.layer_weights.append(
np.random.uniform(
size=(dimensions[i], dimensions[i+1])
)
)
return
self.layer_weights = list(layer_weights)
def activate_layer(self, layer: list):
for x in np.nditer(layer, op_flags=['readwrite']):
x[...] = self.sigmoid(x)
def output(self, inputs: list):
self.neuron_weights = []
self.neuron_weights.append(np.array((inputs)))
output = inputs
for weight_layer in self.layer_weights:
output = np.matmul(output, weight_layer)
self.activate_layer(output)
self.neuron_weights.append(output)
return output
def sigmoid(self, x, derivative=False):
...
def ReLU(self, x):
...
def softmax(self, x):
...
def draw_neurons(self): # Draws neurons to screen
...
def draw_weights(self): # Draws synaptic connections between neurons to screen
...
编辑:
我也尝试使用 Tanh,它产生了类似的结果...这是一个演示(具有更多层): https://i.gyazo.com/d779dce5cd974bc644d0f1ffa267c062.mp4
这是我的输入功能的代码(也许问题可能出在这里?):
def look(self, match_up: MatchUp):
"""Set up Neural Network inputs."""
p: Pawn = self.pawn
imminent: Laser = match_up.get_most_imminent_laser(p)
enemy: Pawn = match_up.get_closest_opponent(p)
max_angle = math.pi * 2
self.inputs = [
1/math.sqrt(p.dist_squared(actor=imminent)
) if imminent != None else 1,
p.angle_to(actor=imminent)/max_angle if imminent != None else 1,
1/math.sqrt(p.dist_squared(actor=enemy)) if enemy != None else 1,
p.angle_to(actor=enemy)/max_angle if enemy != None else 1,
p.get_direc()/max_angle,
p.health/p.stat_bias.max_health
]
最佳答案
你的问题是权重初始化。因为您使用统一权重初始化,所以您的网络的值会爆炸,因此只产生一个值并遭受梯度消失的影响。从某种意义上说,您应该努力进行初始化,在每一层之后产生正态分布的输出。
对于 sigmoid/TanH,这将是 glorot 初始化,stddev = sqrt(2/(Nr. 输入节点 + Nr. 输出节点))。
对于 ReLU,这将是初始化 stddev = sqrt(2/(Nr. 输入节点))。
对于您的程序,您只需将初始化从 np.random.uniform(0,1, size=(dimensions[i],dimensions[i+1]))
替换为 np.random.normal(0, np.sqrt(2/(维度[i] + 维度[i+1])), size=(维度[i], 维度[i+1]))
它应该按预期工作。
引文:glorot Init。 [http://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf?hc_location=ufi] ,他初始化。 [https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/He_Delving_Deep_into_ICCV_2015_paper.pdf]
关于python - 当我添加更多隐藏层时,神经网络仅产生 1 的值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53830488/
我正在开发一个带选项卡栏的 ios 应用程序。我的栏上有超过 5 个按钮,所以在 iphone 上我有更多的按钮。现在,假设我有这个按钮:Button1 Button2 Button3 Button4
我有一个带有 UITabBarController 的应用,其中有超过五个选项卡。 当我按更多选项卡时,我会转到moreNavigationController,它是一个UINavigationCon
我有一个导航 Controller 。 NAVC->MORE... 按钮,然后在“更多”下有一些额外的 VC。 如果我转到“更多...”下的 VC,然后转到不在“更多...”上的 VC,那么当我返回到
因此,我想出了这种方案,用于在多个线程同时具有读写访问权限的二叉树中旋转时锁定节点,这涉及每次旋转锁定四个节点,这似乎是一个很多吗?我想到了一种比我想出的方法更聪明的方法来减少所需的锁定,但谷歌并没有
所以我已经尝试了所有方法,但我似乎仍然无法将下拉内容与 dropbtn 对齐。我只希望内容始终位于更多菜单下方。 HTML: `
我正在尝试使用 expect 来自动接受在 --more-- 中提示的 EULA。 #!/usr/bin/expect spawn "./greenplum-perfmon-web-4.1.2.0-b
他们如何在下面提供的网站上制作“告诉我更多”效果。我读过 read more/less effect in jQuery,但我发现该站点的有趣之处在于,除非单击该按钮,否则无法滚动页面。 Effect
现在,Kim Stebel helped me understanding如何使用存在类型键入变量,我需要知道如何在继承中使用它们: 以下代码无法编译: class PagingListModel(s
在我的Cygwin中不可用。另一方面,提供了“ less”命令。也许Cygwin的制造商认为“更多”只是多余的。 我对此很好奇。 最佳答案 安装util-linux软件包,您将获得“更多”的信息 ht
基本上,我想知道是否有人有增加 DTU 与分片的经验。 DTU应该线性地提高性能。因此,如果您有 5 个 DTU,而您改为 10 个 DTU,那么(理论上)您应该获得大约两倍的性能。 因此,四个 SQ
我们使用 asp.net mvc、javascript 和 jQuery(托管在本地计算机上)创建了一个应用程序。基本设计是,当用户从一个页面导航到其他页面时,我们通过隐藏和显示 HTML 页面,将所
我想用 RMonad 做一些基本的事情。有没有办法使用“as monad”功能来 有一个身份 rmonad,可以应用 monad 转换器吗? 有诸如 StateT 变压器之类的常见东西吗? 向现有 m
我有一个 char*[] 数组。我需要能够为其分配字符串并再次删除它们,但我不知道: 如何检查一个元素中是否已经有一个字符串,这样我就不会覆盖它,如果它已经被占用,则继续处理下一个元素? 之后如何将其
基本上,我想知道是否有人有增加 DTU 与分片的经验。 DTU应该线性地提高性能。因此,如果您有 5 个 DTU,而您改为 10 个 DTU,那么(理论上)您应该获得大约两倍的性能。 因此,四个 SQ
我有一个程序可以同时吐出标准错误和标准输出,我想在标准错误上少运行寻呼机,但忽略标准输出。我该怎么做? 更新: 就是这样......我不想丢失标准输出......只是让它远离寻呼机 program 2
基本上,当单击具有类 "dropdown" 的链接时,我无法获取“更多...”链接来对下一个跨度的高度进行动画处理。它根本就没有动画。仅当更改为 Less... 链接并且单击 Less... 链接以折
我正在使用 ExtJS,并认为它是一个了不起的框架。但是,它们没有内置的状态图,这使得依赖于状态的应用程序开发非常痛苦。 我最近发现了这个: https://github.com/jakesgordo
我一直在研究数据结构和算法,遗憾的是在C中。我已经单独实现了一个双向链表,它保存整数并且工作正常,但是当节点(或pub)让它正常工作时我遇到了很多麻烦在本例中)保存多个不同类型的值。我可以创建一个列表
编辑拼写错误 你好, 这可能是一个愚蠢的问题,但如果它能帮助我遵循最佳实践,我不在乎:P 假设我想在 System.Data 命名空间...以及 System.Data.SqlClient 命名空间中
使用 bootstrap 3 CSS、font awesome CSS 和最新的 jQuery JS 文件。 我正在使用 javascript 在单击按钮时在另一个内容 div 之上隐藏/显示一个内容
我是一名优秀的程序员,十分优秀!