gpt4 book ai didi

machine-learning - pytorch如何通过argmax进行反向传播?

转载 作者:行者123 更新时间:2023-11-30 08:28:01 27 4
gpt4 key购买 nike

我在 pytorch 中使用质心位置上的梯度下降而不是期望最大化来构建 Kmeans。损失是每个点到其最近质心的平方距离之和。为了确定哪个质心最接近每个点,我使用 argmin,它在任何地方都不可微。然而,pytorch 仍然能够反向传播和更新权重(质心位置),在数据上提供与 sklearn kmeans 类似的性能。

有什么想法是如何工作的,或者我如何在 pytorch 中解决这个问题? pytorch github 上的讨论表明 argmax 不可微分:https://github.com/pytorch/pytorch/issues/1339

下面的示例代码(随机点):

import numpy as np
import torch

num_pts, batch_size, n_dims, num_clusters, lr = 1000, 100, 200, 20, 1e-5

# generate random points
vector = torch.from_numpy(np.random.rand(num_pts, n_dims)).float()

# randomly pick starting centroids
idx = np.random.choice(num_pts, size=num_clusters)
kmean_centroids = vector[idx][:,None,:] # [num_clusters,1,n_dims]
kmean_centroids = torch.tensor(kmean_centroids, requires_grad=True)

for t in range(4001):
# get batch
idx = np.random.choice(num_pts, size=batch_size)
vector_batch = vector[idx]

distances = vector_batch - kmean_centroids # [num_clusters, #pts, #dims]
distances = torch.sum(distances**2, dim=2) # [num_clusters, #pts]

# argmin
membership = torch.min(distances, 0)[1] # [#pts]

# cluster distances
cluster_loss = 0
for i in range(num_clusters):
subset = torch.transpose(distances,0,1)[membership==i]
if len(subset)!=0: # to prevent NaN
cluster_loss += torch.sum(subset[:,i])

cluster_loss.backward()
print(cluster_loss.item())

with torch.no_grad():
kmean_centroids -= lr * kmean_centroids.grad
kmean_centroids.grad.zero_()

最佳答案

正如 alvas 在评论中指出的,argmax 是不可微分的。然而,一旦计算它并将每个数据点分配给一个集群,损失相对于这些集群位置的导数就被明确定义了。这就是您的算法的作用。

为什么它有效?如果您只有一个集群(因此 argmax 操作并不重要),您的损失函数将是二次的,最小值为数据点的平均值。现在有了多个集群,您可以看到您的损失函数是分段的(在更高维度中考虑体积)二次 - 对于任何一组质心 [C1, C2, C3, ...] 每个数据点是分配给某个质心CN并且损失是局部二次的。该局部性的范围由所有替代质心 [C1', C2', C3', ...] 给出,来自 argmax 的分配保持不变;在此区域内,argmax 可以被视为一个常量,而不是一个函数,因此 loss 的导数是明确定义的。

现在,实际上,您不太可能将 argmax 视为常数,但您仍然可以将天真的“argmax-is-a-constant”导数视为近似指向最小值,因为大多数数据点可能确实属于迭代之间的同一簇。一旦足够接近局部最小值,使得这些点不再改变它们的分配,该过程就可以收敛到最小值。

另一种更理论的看待它的方法是,您正在做期望最大化的近似。通常,您将有“计算分配”步骤(由 argmax 镜像)和“最小化”步骤,该步骤归结为在给定当前分配的情况下查找最小化聚类中心。最小值由 d(loss)/d([C1, C2, ...]) == 0 给出,对于二次损失,通过每个簇内的数据点分析给出。在您的实现中,您正在求解相同的方程,但采用梯度下降步骤。事实上,如果您使用二阶(牛顿)更新方案而不是一阶梯度下降,您将隐式地精确再现基线 EM 方案。

关于machine-learning - pytorch如何通过argmax进行反向传播?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54969646/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com