- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在从一个大型 CSV (4GB) 构建一个数据库,以便在本地为我自己工作,这不会是一个生产应用程序。我将只有一个模型/实体开始,它包含 8-9 个属性,这些属性主要是字符串和少量 Int。我将存储大约 2000 万条记录。我只会从这个 CSV 中写入数据库一次,然后它将接收增量更新以每月添加或修改大约 50,000 条记录。我将相当频繁地查询数据库,但仅限于单个用户。
对于这种情况,Core Data 是正确的选择吗?我知道它是一个对象图而不仅仅是一个数据库,我有一个 16GB ram iMac 和一个 8GB Macbook pro,我不确定在使用 Core Data 时这可能会有多少内存限制。我想弄清楚我是否最好使用 SQLite,或者 Core Data 是否是完成这项工作的正确工具。
如果 Core Data 是这个用例的不错选择,那么我可以使用一些帮助来构建记录的创建,而不用将自己限制在 ram 上。据我所知,我应该将实体写入子上下文,当我准备好复制到磁盘时,我会将数据从子上下文传递到其父上下文(内存到内存),然后父对象可以写入/刷新到磁盘.
这就是我将过程可视化的方式,我将只在一个实体上使用一个属性示例。
DispatchQueue.global(qos: .background).async { //Non blocking
//iterate line by line over csv reader never exceeds 9.1MB takes 30 mins. I will look into chunking to better utilise multithreading later.
for (index, row) in reader.enumerated() {
let person = Person(entity: personEntity, insertInto: backgroundContext)
person.setValue(row[0], forKey: "name")
//When I hit x iterations or x seconds since last save - save to disk and clear the ram for the context
backgroundContext.perform {
do {
try backgroundContext.save() //I beleive pushes changes only to its parent context?
//Clear background context ram (of stored records)
// Main context should now write to disk and then it should also clear its ram
//do {
//main context work
//} catch {
//}
} catch {
//error handling
}
}
}
}
我有几个担忧源于我没有清楚地理解核心数据结构。
1) 从主上下文保存到持久存储后,我想确保主上下文可以从 ram 刷新这些记录。我不想清除 ram 中的所有记录,因为在主上下文写入磁盘时可能已经从后台上下文写入了主上下文(实际上是数据丢失)。
2)与第1点类似,当后台上下文保存时,我想确保后台上下文只清除保存到其父上下文的ram中的记录。
如果有人能阐明情况或提供一些正确结构的示例,我们将不胜感激。
谢谢,
最佳答案
我认为 NSManagedObjectContext
类的 reset()
函数正是您要找的。
但我真的认为您错误地使用了 CoreData,我建议您使用准备好的 .sqlite 文件(从 CSV 创建)来初始化 CoreData。与创建 NSManagedObject
实例并将它们手动保存到上下文相比,它会更好更快地工作。
关于swift - 从 CSV 在 Core Data 中创建 2000 万条记录 - macOS,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55890118/
我需要将文本放在 中在一个 Div 中,在另一个 Div 中,在另一个 Div 中。所以这是它的样子: #document Change PIN
奇怪的事情发生了。 我有一个基本的 html 代码。 html,头部, body 。(因为我收到了一些反对票,这里是完整的代码) 这是我的CSS: html { backgroun
我正在尝试将 Assets 中的一组图像加载到 UICollectionview 中存在的 ImageView 中,但每当我运行应用程序时它都会显示错误。而且也没有显示图像。 我在ViewDidLoa
我需要根据带参数的 perl 脚本的输出更改一些环境变量。在 tcsh 中,我可以使用别名命令来评估 perl 脚本的输出。 tcsh: alias setsdk 'eval `/localhome/
我使用 Windows 身份验证创建了一个新的 Blazor(服务器端)应用程序,并使用 IIS Express 运行它。它将显示一条消息“Hello Domain\User!”来自右上方的以下 Ra
这是我的方法 void login(Event event);我想知道 Kotlin 中应该如何 最佳答案 在 Kotlin 中通配符运算符是 * 。它指示编译器它是未知的,但一旦知道,就不会有其他类
看下面的代码 for story in book if story.title.length < 140 - var story
我正在尝试用 C 语言学习字符串处理。我写了一个程序,它存储了一些音乐轨道,并帮助用户检查他/她想到的歌曲是否存在于存储的轨道中。这是通过要求用户输入一串字符来完成的。然后程序使用 strstr()
我正在学习 sscanf 并遇到如下格式字符串: sscanf("%[^:]:%[^*=]%*[*=]%n",a,b,&c); 我理解 %[^:] 部分意味着扫描直到遇到 ':' 并将其分配给 a。:
def char_check(x,y): if (str(x) in y or x.find(y) > -1) or (str(y) in x or y.find(x) > -1):
我有一种情况,我想将文本文件中的现有行包含到一个新 block 中。 line 1 line 2 line in block line 3 line 4 应该变成 line 1 line 2 line
我有一个新项目,我正在尝试设置 Django 调试工具栏。首先,我尝试了快速设置,它只涉及将 'debug_toolbar' 添加到我的已安装应用程序列表中。有了这个,当我转到我的根 URL 时,调试
在 Matlab 中,如果我有一个函数 f,例如签名是 f(a,b,c),我可以创建一个只有一个变量 b 的函数,它将使用固定的 a=a1 和 c=c1 调用 f: g = @(b) f(a1, b,
我不明白为什么 ForEach 中的元素之间有多余的垂直间距在 VStack 里面在 ScrollView 里面使用 GeometryReader 时渲染自定义水平分隔线。 Scrol
我想知道,是否有关于何时使用 session 和 cookie 的指南或最佳实践? 什么应该和什么不应该存储在其中?谢谢! 最佳答案 这些文档很好地了解了 session cookie 的安全问题以及
我在 scipy/numpy 中有一个 Nx3 矩阵,我想用它制作一个 3 维条形图,其中 X 轴和 Y 轴由矩阵的第一列和第二列的值、高度确定每个条形的 是矩阵中的第三列,条形的数量由 N 确定。
假设我用两种不同的方式初始化信号量 sem_init(&randomsem,0,1) sem_init(&randomsem,0,0) 现在, sem_wait(&randomsem) 在这两种情况下
我怀疑该值如何存储在“WORD”中,因为 PStr 包含实际输出。? 既然Pstr中存储的是小写到大写的字母,那么在printf中如何将其给出为“WORD”。有人可以吗?解释一下? #include
我有一个 3x3 数组: var my_array = [[0,1,2], [3,4,5], [6,7,8]]; 并想获得它的第一个 2
我意识到您可以使用如下方式轻松检查焦点: var hasFocus = true; $(window).blur(function(){ hasFocus = false; }); $(win
我是一名优秀的程序员,十分优秀!