csv - 带有大表的 Grails 应用程序

Question

我正在尝试从现有的 csv 文件创建一个数据库，这些文件大约有 20,000 列宽和 700 行深。在 grails 中，我希望 20,000 列域属于另一个更简单的域(大约 200 列)。但是在编译后我得到:

java.lang.RuntimeException: Class file too large!

这是可以理解的，因为它的数据太多了。我的问题是，在 grails 中处理这个问题的最佳方法是什么？我应该简单地将大表分解成单独的域吗？寻找不同的表格格式？

我特别担心:

1) 搜索时间，解析搜索方法然后委托(delegate)给子域。

2) 将巨大的 csv 文件中的数据导入域。

Answer 1

当您遇到像这样的 JVM 大小限制时，请将其视为一个重要提示，表明您的方法已经偏离了方向。正如我在本周早些时候的另一个问题中提到的，我们甚至不应该知道这些限制是什么，更不用说接近它们了。

我认为对如此多的数据使用 GORM 之类的方法或一般的 O-O 方法没有多大好处。它不是任何现实、可用意义上的对象——它是大量数据。无论如何，您都需要以编程方式访问所有内容，即使它确实有效，因为手动管理代码的代码量会非常大。您真的打算创建这些野兽的一个或多个实例并将它们作为方法参数传递吗？

您需要从大数据的角度而不是 ORM 的角度来看待这个问题。