ios - swift 境界。如何将 300 万个对象放入数据库

Question

我制作离线词典应用程序。现在我将字典文件转换为 Realm 数据库。

转换函数:

if let path = Bundle.main.path(forResource: "dictionary", ofType: "dsl") {
        do {
            let data = try String(contentsOfFile: path, encoding: .utf8)
            let myStrings = data.components(separatedBy: .newlines)

            for (index, row) in myStrings.enumerated() {

                if(row.containsChineseCharacters)
                {
                    let firstWord = CNDict()
                    firstWord.word = row
                    firstWord.pinyin = myStrings[index+1]
                    firstWord.translate = myStrings[index+2]

                    try! realm.write {
                        realm.add(firstWord)
                    }
                }
            }
            print("The task end.")
        } catch {
            print(error)
        }
     }

当我尝试立即转换字典时，数据库文件变成了千兆字节并在中间崩溃

将字典分成几部分不是一种选择，因为大约有 300 万行。这将花费很多...( Realm 插件崩溃)

我需要有关如何在崩溃时向数据库添加尽可能多的值的帮助。

Answer 1

问题是您的文件很大，此时，您将其加载到内存中:

        let data = try String(contentsOfFile: path, encoding: .utf8)

然后你在这里加倍内存占用:

        let myStrings = data.components(separatedBy: .newlines)

所以我的猜测是您从系统收到了内存不足的信号。

您可以使用惰性 收集，而不是将所有数据加载到内存中并将其加倍。它只会在需要写入时读取和解析该行。它不会一次加载所有行。 Swift 中惰性集合的一个缺点是它们无法提供我们习惯的所有功能。

这里是解决您问题的 Playground 的完整代码。你可以而且也许应该优化它的某些部分，但无论如何它只是展示了如何使用 lazy 集合来完成它。 (我改变了一些名字，但它仍然是你想要的)。

import Foundation

extension String {
    var containsOneSymbol: Bool {
        return contains("1")
    }
}

extension Character {
    var isNewLine: Bool {
        let string = String(self)
        let set = CharacterSet(charactersIn: string)

        return !set.isDisjoint(with: CharacterSet.newlines)
    }
}


/// Add Object subclass for Realm
@objcMembers
final class CNDict {
    dynamic var word = ""
    dynamic var pinyin = ""
    dynamic var translate = ""
}

final class ModelWriterWrapper {
    private let bufferCapacity = 3
    private var buffer: [String] = []
    init() {
        buffer.reserveCapacity(bufferCapacity)
    }

    func proccess(line: String) {
        guard buffer.count == bufferCapacity else {
            assert(buffer.count < bufferCapacity, "Buffer failer count: \(buffer.count)!")
            buffer.append(line)
            return
        }

        if let firstLine = buffer.first, firstLine.containsOneSymbol {
            let dict = CNDict()
            dict.word = firstLine
            dict.pinyin = buffer[1]
            dict.translate = buffer[2]

            print("Ready for writing into DB \n word: \(dict.word) pinyin: \(dict.pinyin) translate: \(dict.translate)")
        }

        buffer.removeFirst()
        buffer.append(line)
    }
}

let data = stride(from: 0, to: 100_000, by: 1).map { "Line number \($0)\n"}.joined()

var line: String = ""
let myLines = data.lazy.map { char -> String in
    line.append(char)
    guard !char.isNewLine else {
        defer { line = "" }
        return line
    }

    return ""
}.filter { !$0.isEmpty }


let databaseWritter = ModelWriterWrapper()

myLines.forEach {
    databaseWritter.proccess(line: $0)
}

如果对代码有任何疑问，请提出。