tensorflow - 自动编码器的 tensorflow 输入数据字符串

Question

我需要使用 tensorflow 开发自动编码器，当我检查文档和教程时，我可以看到许多带有图像数据和 MNIST_data (预处理的数值数据)的示例。

在我的例子中，数据是文本格式

喜欢，

 uid       orig_h       orig_p   trans_depth      method       host
======================================================================
5fg288   192.168.1.4      80       1               POST       ex1.com
2fg888   192.168.1.3      80       2               GET        ex2.com

那么如何将这些数据转换为 tensorflow 接受的数字格式。我在 tensorflow 教程中找不到任何示例，

我是 tensorflow 初学者，请帮忙。

更新

根据下面的说明，我引用教程here创建了单词到向量的映射。

pandas 数据框中的输入

   host       method   orig_h        orig_p      trans_depth     uid
0  ex1.com    POST    192.168.1.4      80            1          5fg288
1  ex2.com   GET      192.168.1.3     443            2          2fg888

和

 Bag of word ---> ['5fg288', '2fg888', '80', 'GET', '443', '1', 'ex2.com', '192.168.1.4', '192.168.1.3', '2', 'ex1.com', 'POST']

现在，对于每个单元格，我都有像

这样的值数组

192.168.1.4 ---> [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0]
ex1.com     ---> [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0]
80         ----> [0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]

那么我如何 reshape 这些数据以提供 tensorflow

应该是这样的

data = array([
[[0.0,...],[0.0,...],[0.0,...],[0.0,...],[0.0,...],[0.0,...]],
[[0.0,...],[0.0,...],[0.0,...],[0.0,...],[0.0,...],[0.0,...]]
])

即每个特征都是一个float数组，单个样本中有6个特征。这可能吗，

Answer 1

Tensorflow 接受 numpy 格式的数据。可以使用 df.as_matrix() 函数将 Pandas 数据帧转换为 numpy。但问题的关键是如何将这些不同的数据类型转换为神经网络(或任何机器学习方法)的连续数字表示。

答案(链接到下面)提供了一些对 sci-kit 文档的有用引用，其中讨论了详细信息，数量太多，无法在此处重写:

Machine learning with multiple feature types in python

阅读该指南后，您的某些数据将很容易转换，例如看起来是分类数据的 trans_depth orig_p 和 method。在这种情况下，您将它们转换为 {1,0} 值的多个特征，表示该类是否存在，例如，orig_p 可能表示为两个特征 x1 和 x2 。如果 orig_p=80，则 x1=1，否则为 0；如果 orig_p=443，则为 x2=1，否则为 0 。

您可以对主机执行相同的操作，但您可能必须考虑如何以及是否真的想使用主机。例如，如果您认为它很重要，您可以定义一个仅识别 .com、.edu、.org 等域的分类功能，因为单个主机名可能太多而无法表示。

您还可以考虑根据某些数据库(如果存在这样的东西)将主机名聚类为主机类别，并使用主机名所属的集群作为分类特征。

对于 orig_h，您可以考虑按区域对 IP 进行分组，并为每个区域定义一个分类特征。

uid 看起来每个用户都是唯一的，因此您可能不会使用该数据列。

您需要根据每个数据点来考虑这一点。从我链接到的文档开始，但总的来说，这是一个标准数据挖掘的问题，任何关于数据挖掘的好书对于进一步理解这些概念都是非常宝贵的，这是一个通过谷歌搜索在线找到的简单书籍:

https://books.google.com/books/about/Data_Mining_Concepts_and_Techniques.html?id=pQws07tdpjoC&printsec=frontcover&source=kp_read_button#v=onepage&q&f=false

我还将包含以下引用资料，因为他们提供了我所见过的最好的教程，并且他们的 ML 介绍部分包含一组非常有用的文章。这与问题有点相切，但我希望它会很有用。

https://github.com/aymericdamien/TensorFlow-Examples