- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有大约 13 个 NumPy 数组存储为文件,在磁盘上占用大约 24 GB 的空间。每个文件针对单个受试者,由两个数组组成:一个包含输入数据(二维矩阵列表,行表示连续时间),另一个包含数据标签。
我的最终目标是将所有数据提供给我用 Keras 编写的深度学习网络,以对新数据进行分类。但我不知道如何在不耗尽内存的情况下做到这一点。
我读过 Keras 的数据生成器,但找不到适合我的情况的方法。
我也查看了 HDF5 和 h5py,但我不知道如何在不耗尽内存的情况下将所有数据添加到单个数组(HDF5 中的数据集)。
最佳答案
您需要做的是实现一个生成器,将数据一点一点地提供给您的模型。 Keras,确实有一个 TimeseriesGenerator ,但我认为您不能使用它,因为它要求您首先将整个数据集加载到内存中。值得庆幸的是,keras 有一个图像生成器(称为 ImageDataGenerator ),我们将使用它来构建我们的自定义生成器。
先说两句关于它是如何工作的。您有两个主要类 ImageDataGenerator
类(它主要处理您想对每张图像执行的任何预处理)和 DirectoryIterator
类,它实际上完成了所有工作。后者是我们将修改以获得我们想要的东西。它本质上做的是:
keras.preprocessing.image.Iterator
,它实现了许多方法,这些方法初始化并生成一个名为 index_array
的数组,其中包含用于每一批。这个数组在每次迭代中都会改变,而它从中提取的数据在每个时期都会被打乱。我们将在此基础上构建我们的生成器,以保持其功能。filenames
和 classes
的两个类变量中。我们将使用这些相同的变量来存储时间序列及其类别的位置。_get_batches_of_transformed_samples()
的方法,它接受一个 index_array
,加载其索引对应于数组的图像并返回一批这些图像和一个包含他们的类(class)。我建议你做的是:
MyTimeseriesGenerator
)。确保它继承自 Iterator上面提到的类。_get_batches_of_transformed_samples()
方法,使其读取所需的文件类型,而不是读取图像(第 1774-1788 行)。 删除 DirectoryIterator 具有的任何其他图像相关功能(转换图像、标准化图像、保存图像等)(batch_size, n_timesteps)
或 (batch_size, n_timesteps, n_feature)
行中,用于数据和 (batch_size, n_classes )
用于标签。这就是全部!听起来比实际更难。一旦您熟悉了 DirectoryIterator 类,其他一切都是微不足道的。
预期用途(修改代码后):
from custom_generator import MyTimeseriesGenerator # assuming you named your class
# MyTimeseriesGenerator and you
# wrote it in a python file
# named custom_generator
train_dir = 'path/to/your/properly/structured/train/directory'
valid_dir = 'path/to/your/properly/structured/validation/directory'
train_gen = MyTimeseriesGenerator(train_dir, batch_size=..., ...)
valid_gen = MyTimeseriesGenerator(valid_dir, batch_size=..., ...)
# instantiate and compile model, define hyper-parameters, callbacks, etc.
model.fit_generator(train_gen, validation_data=valid_gen, epochs=..., ...)
关于python - 如何将多个 NumPy 数组提供给 Keras 中的深度学习网络?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51697727/
我正在尝试创建一个包含 int[][] 项的数组 即 int version0Indexes[][4] = { {1,2,3,4}, {5,6,7,8} }; int version1Indexes[
我有一个整数数组: private int array[]; 如果我还有一个名为 add 的方法,那么以下有什么区别: public void add(int value) { array[va
当您尝试在 JavaScript 中将一个数组添加到另一个数组时,它会将其转换为一个字符串。通常,当以另一种语言执行此操作时,列表会合并。 JavaScript [1, 2] + [3, 4] = "
根据我正在阅读的教程,如果您想创建一个包含 5 列和 3 行的表格来表示这样的数据... 45 4 34 99 56 3 23 99 43 2 1 1 0 43 67 ...它说你可以使用下
我通常使用 python 编写脚本/程序,但最近开始使用 JavaScript 进行编程,并且在使用数组时遇到了一些问题。 在 python 中,当我创建一个数组并使用 for x in y 时,我得
我有一个这样的数组: temp = [ 'data1', ['data1_a','data1_b'], ['data2_a','data2_b','data2_c'] ]; // 我想使用 toStr
rent_property (table name) id fullName propertyName 1 A House Name1 2 B
这个问题在这里已经有了答案: 关闭13年前。 Possible Duplicate: In C arrays why is this true? a[5] == 5[a] array[index] 和
使用 Excel 2013。经过多年的寻找和适应,我的第一篇文章。 我正在尝试将当前 App 用户(即“John Smith”)与他的电子邮件地址“jsmith@work.com”进行匹配。 使用两个
当仅在一个边距上操作时,apply 似乎不会重新组装 3D 数组。考虑: arr 1),但对我来说仍然很奇怪,如果一个函数返回一个具有尺寸的对象,那么它们基本上会被忽略。 最佳答案 这是一个不太理
我有一个包含 GPS 坐标的 MySQL 数据库。这是我检索坐标的部分 PHP 代码; $sql = "SELECT lat, lon FROM gps_data"; $stmt=$db->query
我需要找到一种方法来执行这个操作,我有一个形状数组 [批量大小, 150, 1] 代表 batch_size 整数序列,每个序列有 150 个元素长,但在每个序列中都有很多添加的零,以使所有序列具有相
我必须通过 url 中的 json 获取文本。 层次结构如下: 对象>数组>对象>数组>对象。 我想用这段代码获取文本。但是我收到错误 :org.json.JSONException: No valu
enter code here- (void)viewDidLoad { NSMutableArray *imageViewArray= [[NSMutableArray alloc] init];
知道如何对二维字符串数组执行修剪操作,例如使用 Java 流 API 进行 3x3 并将其收集回相同维度的 3x3 数组? 重点是避免使用显式的 for 循环。 当前的解决方案只是简单地执行一个 fo
已关闭。此问题需要 debugging details 。目前不接受答案。 编辑问题以包含 desired behavior, a specific problem or error, and the
我有来自 ASP.NET Web 服务的以下 XML 输出: 1710 1711 1712 1713
如果我有一个对象todo作为您状态的一部分,并且该对象包含数组列表,则列表内部有对象,在这些对象内部还有另一个数组listItems。如何更新数组 listItems 中 id 为“poi098”的对
我想将最大长度为 8 的 bool 数组打包成一个字节,通过网络发送它,然后将其解压回 bool 数组。已经在这里尝试了一些解决方案,但没有用。我正在使用单声道。 我制作了 BitArray,然后尝试
我们的数据库中有这个字段指示一周中的每一天的真/假标志,如下所示:'1111110' 我需要将此值转换为 boolean 数组。 为此,我编写了以下代码: char[] freqs = weekday
我是一名优秀的程序员,十分优秀!