- mongodb - 在 MongoDB mapreduce 中,如何展平值对象?
- javascript - 对象传播与 Object.assign
- html - 输入类型 ="submit"Vs 按钮标签它们可以互换吗?
- sql - 使用 MongoDB 而不是 MS SQL Server 的优缺点
我想用 Java 编写一个“智能监视器”,它会在它检测到即将出现的性能问题时发出警报。我的 Java 应用正在将结构化格式的数据写入日志文件:
<datetime> | <java-method> | <seconds-to-execute>
因此,例如,如果我有一个执行时间为 812 毫秒的 Widget#doSomething(String)
方法,它将被记录为:
2013-03-24 11:39:21 | Widget#doSomething(String) | 812
随着性能开始下降(例如在主要收集期间、峰值负载期间或系统只是缓慢爬行),方法执行时间开始减慢;所以最右边的列开始看到巨大的数字(有时执行一个方法需要 20 到 40 秒)。
在大学里——为了一个机器学习练习——我写了我的教授所说的线性二分法,它采用简单的测试数据(一个人的高度、体重和性别)并“学习”了如何根据高度/体重将一个人分类为男性或女性。然后,一旦它拥有了所有的训练数据,我们就给它提供了新的数据,看看它可以多准确地确定性别。
我认为线性二分法的多元版本叫做support vector machine (SVM) .如果我错了,请澄清一下,我会将问题的标题更改为更合适的名称。 无论如何,我需要这个应用来做以下事情:
java-method
和 seconds-to-execute
列作为输入/测试数据很重要;我不在乎日期时间需要注意的是,seconds-to-execute
列并不是这里唯一重要的因素,因为我已经看到某些方法在性能出色的时期的可怕时机,以及非常好的时机对于其他方法,有时服务器似乎即将死亡并插入雏菊。所以很明显某些方法是“加权的”/比其他方法对性能更重要。
最佳答案
您描述的“智能监视器”正是时间序列分类。
有很多分类算法。它们基本上都采用一个矩阵,其中行是观察结果,列是以某种方式描述观察结果的“特征”,以及长度为 0 或 1 的行的标签 vector 。在您的问题中,观察结果可能是一个微小的样本,并且您的标签 vector 在遇到性能问题的时间段内的值为 1,否则为 0。
此定义隐含需要对数据重新采样(必要时使用众数/中值/平均值),以便均匀地定义每个观察值,例如秒、分钟或小时。
生成特征是关键部分。我可能会从 2 个特征开始,即观察 x_i 和 x_i-1 之间的原始值和(一次)差异值。我们将这些定义为滞后 2。从技术上讲,这 4 个特性。每个功能都无法展望 future 。对于每次观察,每个特征都必须代表相同的事物。
例如考虑长度为 10 的时间序列:
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
如果我们想在过去使用滞后两个间隔生成一组特征,那么时间序列的前两个元素被认为是老化样本。我们不能使用与它们相关的观察来训练算法。
8 行 2 列的原始值将是
[[ 1., 0.]
[ 2., 1.],
[ 3., 2.],
[ 4., 3.],
[ 5., 4.],
[ 6., 5.],
[ 7., 6.],
[ 8., 7.]]
差异值
[[ 1., 1.],
[ 1., 1.],
[ 1., 1.],
[ 1., 1.],
[ 1., 1.],
[ 1., 1.],
[ 1., 1.]])
这些将列堆叠。您可以探索许多其他功能。 Rolling mean将是我的下一个选择。
如果您想进一步预测 future ,那么您的训练数据应该比您的标签 vector 滞后。
如果性能不令人满意,请尝试通过在更大的窗口上选择滚动平均值来添加更多功能,或者在将来添加更多功能。提高时间序列算法性能的一个巧妙技巧是包含前一个时间间隔的预测值。
将您的分类器拟合到数据的早期部分,然后观察其在数据后期部分的准确性。您可以使用许多分类器指标。如果您选择使用输出概率而不是硬 1/0 的分类器,那么您的选择范围甚至会扩大。 (就像分类器的用途一样。)
Precision and recall是分类器的直观性能指标。
对数据的前半部分(早期)进行训练并在后半部分(稍后)进行测试。
就算法而言,我会研究逻辑回归。如果性能不令人满意并且您已经用尽了特征提取选项,我只会寻找其他地方。
Mallet似乎是该任务的一个很好的库。 See this bit of the docs.
我最近发现了JSAT ,看起来很有希望。
有更具体的时间序列分类方法明确考虑了观察和标签的顺序性质。这是对时间序列的分类的通用改编。
关于java - Java的支持 vector 机?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/15625359/
我有这个析构函数,它在运行时产生错误“vector 迭代器不可取消引用”。 gridMatrix 是一个 std::vector * > * > * > * > 我添加了 typename 和 typ
我有一个 vector 的 vector ,比方说 std::vector > my2dArray; 现在我想要一个 vector ,其中包含 my2dArray 中 vector 的大小。手动这看起
假设我有一些 vector :v1、v2、v3 假设我还有一个 vector 来保存这些 vList = {v1, v2, v3} 如果我同步了 (vList),这是否意味着 v1、v2 和 v3 也
我正在创建一个 char 的二维 vector 数组作为类变量,但我在将 vector 添加到 vector 数组中时遇到了麻烦。 我正在使用 C++ 11 标准运行 gcc。 我尝试使用 vecto
如何修改 Vec基于 Vec 中某项的信息没有对向量的不可变和可变引用? 我已尝试创建一个最小示例来演示我的特定问题。在我的真实代码中,Builder struct 已经是其他答案提出的中间结构。具体
这个问题在这里已经有了答案: What is the idiomatic Rust way to copy/clone a vector in a parameterized function? (
在我的程序中,我有一个整数 vector 的 vector 。现在我想从 vector 的 vector 中取出一个 vector 并在另一个 vector 容器中对其进行操作,但是我得到了错误...
我得到一个vector>数据由 OpenCV 提供。由于某些原因(例如偏移/缩放),我需要转换数据 Point至Point2f 。我怎样才能做到这一点? 例如: std::vector > conto
我有一个函数,该函数应使用来自字符串类型的给定 vector vector 中的某些元素初始化来自字符串类型的空 vector vector 。我的语法看起来像这样 std::vector> extr
我得到一个vector>数据由 OpenCV 提供。由于某些原因(例如偏移/缩放),我需要转换数据 Point至Point2f 。我怎样才能做到这一点? 例如: std::vector > conto
这里有很多类似的问题,但我没有真正找到任何可以特别回答我的问题的问题。 我有一个 vector 的 vector 作为类的属性。另一个属性是 bucket_count。我想将 vector 的 vec
如果我像这样创建一个 vector 的 vector : std::vector> myVectorOfVectors; 然后用一些东西填充它: std::vector myVector1; myVe
我正在用 C++ 编写自定义 vector 类。我对这样的代码有疑问: vector vec; vec.push_back(one); vec.push_back(two);
这是我发布的问题 c++ program for reading an unknown size csv file (filled only with floats) with constant (b
vector> a; for (int i=0;i v(i+1); iota(v.begin(),v.end(),1); a.push_back(v); } a.erase(a.beg
也许已经晚了,但我不明白为什么我会得到一个超出此代码范围的 vector 下标: int m = 3; int n = 2; std::vector> path(m, std::vector(n, 0
这个问题真的很奇怪,我似乎找不到任何导致它的原因。 所以这里有一个赋值运算符重载函数,鸟类和哺乳动物都是 vector 。 (下面是类) const Register& Register::opera
我怎么去 std::vector> 只是 std::vector> ?有真正有效的方法吗? 最佳答案 我会做这样的事情: #include #include int main() { //
我正在尝试将这些 vector 中的一些数据写入文本文件。当我运行代码时,它返回运行时错误。 Category、Product、Cart、Customer和Address都是struct 包含每个 g
显然它会因您使用的编译器而异,但我很好奇执行 vector> 时的性能问题与 vector*> ,尤其是在 C++ 中。具体来说: 假设您的外部 vector 已满,您想要开始将元素插入到第一个内部
我是一名优秀的程序员,十分优秀!