java - 神经网络在日志文件数据中的应用

Question

我一直在学习 Andrew NG 的 coursera AI 类(class)，特别是关于神经网络的部分，我正计划在日志文件数据上实现神经网络。

我的日志文件包含这种类型的数据:

<IP OF MACHINE INITIATING REQUEST><DATE OF REQUEST><TIME OF REQUEST><NAME OF RESOUCE BEING ACCESSED ON SERVER><RESPONSE CODE><TIME TAKEN FOR SERVER TO SERVE PAGE>

我知道还有其他分类算法可用于此任务，例如 naïve bayes和 local outlier factor但希望通过解决现实世界中的适用问题来接触神经网络。

我读过有关神经网络自组织映射的文章，这似乎更适合此类问题，因为日志文件没有任何结构，但似乎是一个更高级的主题。

我不使用自组织映射神经网络，而是计划通过将数据分组到键值对中来从日志文件数据创建训练数据，其中键是 <IP OF MACHINE INITIATING REQUEST>每个键的值为 [<NAME OF RESOUCE BEING ACCESSED ON SERVER>, ><TIME TAKEN FOR SERVER TO SERVE PAGE>]

根据上面的日志文件数据，我的目标是使用神经网络:

To classify similar IP behaviors based on what resources are being accessed. 
Classify behavior at specific periods / moments in time, so what IP’s are behaving similarly and specific moment in time. 

我不确定从哪里开始。我已经实现了执行整数运算的非常基本的神经网络，但现在想根据我拥有的数据实现一个有用的网络。

基于日志数据格式，这是一个很好的用例吗？

关于在哪里完成这项任务的任何指示？

我希望这个问题不是太笼统，我只是不确定在开始实现神经网络时要考虑哪些问题。

更新:

我想输出最适合从神经网络生成的数据。

为此，我认为基于相似度得分输出基于时间段的用户分类。

为了生成相似度分数，我可以生成每个 IP 地址访问资源的次数:

例如:

1.2.3.A,4,3,1
1.2.3.B,0,1,2
1.2.3.C,3,7,3

然后从中生成:

<HOUR OF DAY>,<IP ADDRESS X>,<IP ADDRESS Y>,<SIMMILARITY SCORE>

:

1,1.2.3.A,1.2.3.B,.3
1,1.2.3.C,1.2.3.B,.2
1,1.2.3.B,1.2.3.B,0
2,1.2.3.D,1.2.3.B,.764
2,1.2.3.E,1.2.3.B,.332
3,1.2.3.F,1.2.3.B,.631

然后可以开始关联用户在一天中的行为。

适用于神经网络吗？

我意识到我在询问神经网络寻找问题，但这是一个合适的问题吗？

Answer 1

Based on log data format is this a good use case ?

您可以将其用作数据集来训练神经网络以预测 future 值或将它们分类到标签(或类别)中。对于某些类型的神经网络(特别是 Multi-Layer Perceptron)，这取决于您如何组织要在神经网络训练期间使用的数据集。在其他情况下，您可以对样本进行分组(也称为聚类)。

神经网络概念

由于您有一个在字段(或属性)中分离的历史数据，您可以创建一个神经网络模型来分类或predict 可能的 future 值。

鉴于神经网络是一个由训练步骤定义的数学模型，您必须定义输入和输出集以在训练期间使用以定义此模型(神经网络)。鉴于此，您的定性值(文本、字符、字母等)必须转换为定量值，例如:

A you convert to 1
B you convert to 2
C you convert to 3
...
Z you convert to N

在此之后，您可以将数据集安排在样本中，以便将其分隔在输入列表和每个样本的理想输出中。例如，假设您有一个定义房地产市场中的房屋及其价格的数据集。您的任务是为新的 future 房屋定义价格(建议)，您的训练集样本可能是这样的:

输入:

Bedrooms ; Bathrooms ; Garage ; Near Subway
1        ; 1         ; 0      ; 1
3        ; 2         ; 2      ; 1
2        ; 2         ; 1      ; 0

理想输出(分别针对每个输入样本)

Price
100.000
150.000
230.000

然后使用这些集合来训练神经网络，为 future 提供这些特征的房子建议价格

你的问题

在您的情况下，IPs 字段可以转换为定量值。例如:

1.2.3 convert to 1
1.2.4 convert to 2
1.2.5 convert to 3

假设您要对 SIMILARITY SCORE 字段进行分类，那么，您可以使用列 HOUR OF DAY、IP ADDRESS X和 IP ADDRESS Y 作为输入集，输出集只有 SIMILARITY SCORE。下图描绘了如何使用它(一个简单的前馈神经网络)。

有许多工具可以让您轻松地使用神经网络，您可以使用 double 值的数组来定义这些集合，并且将为您训练对象。我一直在使用 Encog Framework来自 Heaton Research，它支持 Java、C#、C++ 等。还有一个叫Accord Framework但它仅适用于 .Net。

关于如何使用 Encog for Java 实现前馈神经网络的非常示例:

BasicNetwork network = new BasicNetwork();

// add layers in the neural network
network.addLayer(new BasicLayer(null, true, 3));
network.addLayer(new BasicLayer(new ActivationTANH(), true, 4));
network.addLayer(new BasicLayer(new ActivationTANH(), true, 1));

// finalize and randomize the neural network
network.getStructure().finalizeStructure();
network.reset();

// define a random training set.
// You can define using your double arrays here
MLDataSet training = RandomTrainingFactory.generate(1000, 5, network.getInputCount(), network.getOutputCount(), -1, 1);

ResilientPropagation train = new ResilientPropagation(network, training);
double error = 0;
Integer epochs = 0;

//starting training
do 
{
    //train
    train.iteration();

    //count how many iterations the loop has
    epochs++;

    // get the error of neural network in the training set
    error = train.getError();

// condition for stop training
} while (epochs < 1000 && error > 0.01);

Obs:我没有测试这段代码。

如果您刚开始使用神经网络，我建议您实现您的模型并使用来自 UCI Machine Learning Repository 的数据集进行尝试。 .分类、回归和聚类问题的数据集太多，您可以测试您的实现。