python - 机器学习中的激活函数

Question

机器学习中的激活函数是什么意思。我浏览了大部分文章和视频，每个人都陈述或将其与神经网络进行比较。我是机器学习的新手，对深度学习和神经网络不太熟悉。那么，谁能解释一下激活函数到底是什么？而不是用神经网络来解释。当我学习逻辑回归的 Sigmoid 函数时，我发现了这种歧义。

Answer 1

在不引用自动学习的情况下描述激活函数是相当困难的，因为这正是它们的应用，也是集体术语背后的基本原理。它们帮助我们将学习重点放在一系列功能转变中。我会尽力降低描述的复杂性。

很简单，一个 activation function是一个滤波器，它将输出信号(一系列值)从当前形式更改为我们认为更“活跃”或对当前目的有用的信号。

例如，一个非常简单的激活函数将是大学录取的截止分数。我的大学要求 SAT 每个部分的分数至少为 500 分。因此，任何申请人都会通过这个过滤器:如果他们不符合该要求，“录取分数”将降至零。这“激活”了其他候选人。

另一个常见函数是您研究的 sigmoid:其想法是将明显优秀的值(将它们映射到接近 1)与明显不理想的值(将它们映射到 -1)区分开来，并保留区分或学习的能力中间的(将它们映射到具有对进一步工作有用的渐变的东西)。

第三种类型可能会强调最高端的差异 - 例如，足球进球和助攻。在试图判断球员之间的相对技术水平时，我们必须考虑:一个赛季15个和18个进球之间的差异与0个和3个进球之间的差异相同吗？一些人认为，数字越大，得分技巧的差异就越大:你得分越多，对手就越会集中精力阻止你。另外，我们可能需要考虑到该指标中存在一些“噪音”:一个赛季的前两个进球并没有真正说明什么。

在这种情况下，我们可以为目标g选择一个激活函数，例如

1.2 ^ max(0, g-2)

然后将此评估添加到其他因素中以获得玩家的指标。

这有助于你解释事情吗？