- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
在前两篇文章中,我们详细探讨了如何利用采样数据来估计回归曲线。接下来,在本节中,我们将深入讨论如何处理分类问题.
线性可分是指在多维空间\(\mathbb{R}^D\)中,对于任意两个类别的数据,总是存在一个超平面,可以将这两个类别的数据点完全分开.
在二分类问题中,如果数据集是线性可分的,那么可以找到一个超平面,使得屏幕的一侧的所有点属于一个类别,而另一侧的所有点都属于另一个类别.
设数据集\(D=\{\text{X},\text{y}\}\),其中\(\text{X}\)为输入特征向量,\(\text{y}\)为类别标签.
如果存在一个超平面\(L:z=Xw+b\),使得:
则称该数据集\(\text{X}\)是线性可分的;其中\(w\)为权重向量,\(b\)为偏置项,\(\text{x}_i\)为第\(i\)组数据,是矩阵\(X\)的第\(i\)行. 。
在一些情形下,并不是严格线性可分的,也就是说不存在一个超平面能够将所有不同类别的点完全分隔开来。这种情况下,我们可能会考虑使用“宽松的线性可分”(Soft Margin)的概念。 在宽松线性可分中,定义松弛变量\(\xi\),原条件改为 。
注意到,对于任何一个超平面\(L\),总是存在一个足够大的松弛变量\(\xi\)使得该超平面满足宽松线性可分条件。 因此,一般认为,对于某一个超平面\(L_i\),使得其满足宽松线性条件的最小常数\(\xi_i\)越小,则说明该直线划分效果越好.
超平面\(L\)是一个从\(\mathbb{R}^D\)到\(\mathbb{R}\)的映射(函数)。其值域为\((-\infty,\infty)\)。然而,在实际应用中,通常希望输出的范围现在\([0,1]\)之间,以便于解释和处理。为了实现这一目标,通常会引入激活函数.
Sigmoid函数是一个经典的激活函数,因其连续性和较低的计算复杂度而在机器学习中得到了广泛的应用。Sigmoid 函数的定义如下:
主要特点 。
连续性和可导性: Sigmoid 函数及其导数都是连续的,这使得它非常适合用于基于梯度下降的优化算法.
输出范围: Sigmoid 函数的输出范围是 ((0, 1)),这使其在二分类问题中特别有用。它可以将线性组合的输出转换为一个概率值,从而更容易解释模型的预测结果.
计算复杂度: Sigmoid 函数的计算相对简单,不涉及复杂的数学运算,这有助于提高模型的训练速度。同时,其导函数可以方便的从原函数计算,即:\(\sigma'(z) = \sigma(z) \cdot (1 - \sigma(z))\) 。
逻辑回归(Logistic Regression)是一种广泛应用于分类问题的统计模型和机器学习算法。尽管名称中包含“回归”,但它实际上主要用于解决分类问题,特别是二分类问题.
线性组合: 首先,逻辑回归模型对输入特征进行线性组合,也称对输入进行评估:
Sigmoid变换: 然后,将评估的结果\(z\)通过Sigmoid函数进行变换:
Sigmoid函数的输出 \(\hat{y}\) 可以解释为样本属于正类的概率.
决策边界: 通常,选择一个阈值(例如\(0.5\))来决定分类结果:
逻辑回归的损失函数通常采用对数损失(Log Loss)或称交叉熵损失(Cross-Entropy Loss):
其中,\(N\)是样本数量,\(y_i\)是真实标签,\(\hat{y}_i\)是预测的概率值.
本文将介绍如何采用梯度下降法优化逻辑回归模型。 在梯度下降法中,核心的部分是计算损失\(\text{LOSS}\)关于参数\(\text{w}\)和\(b\)的梯度,其反应了参数更新的方向和步长.
通常采用链式法则计算梯度,以参数\(\text{w}\)为例,有:
梯度下降法中,采用梯度的反方向作为更新方向,其公式为:
其中,\(\lambda\)为学习率.
在上一篇文章《机器学习:线性回归(下)》中已经讲述了超平面\(L\)的实现方法;因此,本文中将讨论诸如激活函数、对数损失等上一章为设计的部分的程序实现.
下述函数用于计算输入矩阵或向量的每个元素的Sigmoid函数值.
MatrixXd Sigmoid::cal(const MatrixXd& input) {
return input.unaryExpr([](double x) { return 1.0 / (1.0 + exp(-x)); });
}
这段代码是一个简短的函数实现,代码解释如下:
input.unaryExpr: unaryExpr 是Eigen库中的一个函数,用于对矩阵或向量的每个元素应用一个给定的单变量函数。在这里,input 是一个Eigen矩阵或向量.
Lambda函数: [](double x) { return 1.0 / (1.0 + exp(-x)); } 是一个Lambda函数,它定义了一个匿名函数,接受一个 double 类型的参数 x,并返回 1.0 / (1.0 + exp(-x))。这个函数实现了Sigmoid函数的计算.
MatrixXd Sigmoid::grad(const MatrixXd& input) {
Matrix temp = input.unaryExpr([](double x) { return 1.0 / (1.0 + exp(-x)); });
return temp.cwiseProduct((1 - temp.array()).matrix());
}
这段代码实现了激活函数的梯度的计算,类似与Sigmoid::cal(),先计算激活函数\(\sigma(z)\)的值,再采用逐个元素相乘cwiseProduct计算(即Hadamard乘积) 。
下述函数分别采用Eigen的矩阵计算方法,实现了对数损失及对数损失的梯度的计算 。
double LogisticLoss::computeLoss(const MatrixXd& predicted, const MatrixXd& actual) {
MatrixXd log_predicted = predicted.unaryExpr([](double p) { return log(p); });
MatrixXd log_1_minus_predicted = predicted.unaryExpr([](double p) { return log(1 - p); });
MatrixXd term1 = actual.cwiseProduct(log_predicted);
// MatrixXd term2 = (1 - actual).cwiseProduct(log_1_minus_predicted);
MatrixXd term2 = (1 - actual.array()).matrix().cwiseProduct(log_1_minus_predicted);
double loss = -(term1 + term2).mean();
return loss;
}
MatrixXd LogisticLoss::computeGradient(const MatrixXd& predicted, const MatrixXd& actual) {
MatrixXd temp1 = predicted - actual;
MatrixXd temp2 = predicted.cwiseProduct((1 - predicted.array()).matrix());
return (temp1).cwiseQuotient(temp2);
}
为了便于读者理解、学习,下面给出了LogisticLoss::computeLoss()函数的标量方法实现(采用矩阵索引):
double computeLoss(const MatrixXd& predicted, const MatrixXd& actual) {
int n = predicted.rows();
double loss = 0.0;
for (int i = 0; i < n; ++i) {
double p = predicted(i, 0);
double y = actual(i, 0);
loss += -(y * log(p) + (1 - y) * log(1 - p));
}
return loss / n;
}
最后此篇关于机器学习:逻辑回归的文章就讲到这里了,如果你想了解更多关于机器学习:逻辑回归的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
当我尝试加载库 Raster 时,我收到如下错误: 错误:inDL(x, as.logic(local), as.logic(now), ...) 中的“raster”的包或命名空间加载失败:无法加载
当我尝试加载库 Raster 时,我收到如下错误: 错误:inDL(x, as.logic(local), as.logic(now), ...) 中的“raster”的包或命名空间加载失败:无法加载
望着help section about_Comparison_Operators of PowerShell我是这样理解的: PS C:\> $false,$false -eq $true PS C
我刚刚修改了旧代码,现在似乎没有任何效果。请您指导我哪里出错了。 一些不起作用的事情是: 以前,焦点始终停留在屏幕上唯一的输入字段上。 (现在不行了),代码中的 if else 条件也不起作用。 On
请帮我找到一个使用普通 'ol javascript 的解决方案(我无法使用外部框架)。此外,CSS :hover 选择器不适用于现实世界的实现。 注册事件发生的事情设置所有调用最后注册事件数组项。
我想创建一个软件来为残障 child 交通规划公交路线(及其最佳载客量)。 这些总线具有以下规范: m 个座位(最多 7 个 - 因为有司机和助理) o 轮椅“座位”(最多 4 个) 固定的最大负载量
有人能帮我吗?似乎我的 for 逻辑根本不起作用,因为它一直在上午 12:00 返回我的开始时间 这是我的代码 Sub forlogic() Dim i As Single Dim t
我正在尝试设置 OR两个切片器过滤器之间的逻辑。两个切片器来自相同的数据集。以下是更多详细信息: 我的源表: 带切片器的视觉效果: 我的目标是,如果我从切片器 1 和切片器 2 中选择任何值,我的视觉
我有以下 C 语句: int res = x & (x ^ y); 有没有办法做同样的事情,但每次只使用一次x和y? 例如: x | (~x & y) == x | y 最佳答案 是的,通过扩展 xo
我正在创建 Azure 逻辑应用程序以将新的 Sharepoint 文件添加到 Azure Blob。 Sharepoint 由我的公司运行,我使用我的凭据登录来为逻辑应用程序创建 Sharepoin
我有一个问题要求为给定函数合成最简单的乘积表达式总和。基本上,如果 AB == CD,则函数为 1,否则为 0,结果如下: (!A && !B && !C && !D) || (!A && B &&
我正在尝试确定是否可以在不溢出的情况下计算两个 32 位整数的总和,同时仅使用某些按位运算符和其他运算符。因此,如果整数 x 和 y 可以相加而不会溢出,则以下代码应返回 1,否则返回 0。 ((((
处理乍一看需要许多嵌套 if 语句的复杂业务逻辑的好方法是什么? 例子: 折扣券。可能: 1a) 超值折扣 1b) 百分比折扣 2a) 正常折扣 2b) 累进折扣 3a) 需要访问优惠券 3b) 不需
假设我有一个“numbers”对象数组,其中包含“startNo”整数和“endNo”整数。 数组中可以有多个“数字”,我想获取一个包含修改对象的新数组,该数组仅具有不重叠的范围。 例如:如果数组有:
我在这个问题上遇到了困难。我正在使用 JavaScript。 我有一个文本区域,用于检测 @ 输入并将其位置存储在数组中。 var input = "@a @b @c" //textarea var
默认 IN 使用 OR 基本逻辑。有没有办法在范围内使用 AND 基本逻辑。 例如下面的查询 SELECT ItemId,CategoryID FROM ItemCategories WHERE Ca
我想在您将鼠标悬停在网站图像上时添加叠加层。我在这里实现了这个,它工作正常http://jsfiddle.net/stujLbjh/ 这是js代码: var divs = document.query
这个问题在这里已经有了答案: Which is faster: x>2 是否比 x>>31 快?换句话说,sar x, 2 是否比 sar x, 31 快?我做了一些简单的测试,他们似乎有相同的速度
我有grails criteriaQuery,我在这里再次检查OR逻辑,就像这样一个状态变量: or { eq("status", Status.ONE) eq("status",
我有grails criteriaQuery,我在这里再次检查OR逻辑,就像这样一个状态变量: or { eq("status", Status.ONE) eq("status",
我是一名优秀的程序员,十分优秀!