java - 在使用斯坦福 NLP 时遇到与内存相关的异常该怎么办？

Question

我正在尝试从以下链接运行类:Word2VecSentimentRNN:

https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/recurrent/word2vecsentiment/Word2VecSentimentRNN.java

这个例子很大，因此在这里给出了示例的链接。
我还从以下链接下载了示例 vector 文件:
https://github.com/mmihaltz/word2vec-GoogleNews-vectors
我收到以下错误:

Exception in thread "main" java.lang.OutOfMemoryError: Cannot allocate 3103474 + 3600000000 bytes (> Pointer.maxBytes)
    at org.bytedeco.javacpp.Pointer.deallocator(Pointer.java:484)
    at org.bytedeco.javacpp.Pointer.init(Pointer.java:118)
    at org.bytedeco.javacpp.FloatPointer.allocateArray(Native Method)
    at org.bytedeco.javacpp.FloatPointer.<init>(FloatPointer.java:68)
    at org.nd4j.linalg.api.buffer.BaseDataBuffer.<init>(BaseDataBuffer.java:457)
    at org.nd4j.linalg.api.buffer.FloatBuffer.<init>(FloatBuffer.java:57)
    at org.nd4j.linalg.api.buffer.factory.DefaultDataBufferFactory.createFloat(DefaultDataBufferFactory.java:238)
    at org.nd4j.linalg.factory.Nd4j.createBuffer(Nd4j.java:1201)
    at org.nd4j.linalg.factory.Nd4j.createBuffer(Nd4j.java:1176)
    at org.nd4j.linalg.api.ndarray.BaseNDArray.<init>(BaseNDArray.java:230)
    at org.nd4j.linalg.cpu.nativecpu.NDArray.<init>(NDArray.java:111)
    at org.nd4j.linalg.cpu.nativecpu.CpuNDArrayFactory.create(CpuNDArrayFactory.java:247)
    at org.nd4j.linalg.factory.Nd4j.create(Nd4j.java:4261)
    at org.nd4j.linalg.factory.Nd4j.create(Nd4j.java:4227)
    at org.nd4j.linalg.factory.Nd4j.create(Nd4j.java:3501)
    at org.deeplearning4j.models.embeddings.loader.WordVectorSerializer.readBinaryModel(WordVectorSerializer.java:219)
    at org.deeplearning4j.models.embeddings.loader.WordVectorSerializer.loadGoogleModel(WordVectorSerializer.java:118)
    at com.nyu.sentimentanalysis.core.Word2VecSentimentRNN.run(Word2VecSentimentRNN.java:77)

我尝试使用参数-Xmx2g 和-Xms2g 启动应用程序。甚至不时更改这些值以检查它是否有帮助或工作。
请让我知道我应该做什么。被锁在这里。

Answer 1

我在运行标准 Word2vec 代码时遇到了这个问题，并且系统在一段时间后因内存不足而死机。

以下设置对我来说非常有用，可以使用 Word2vec 预训练模型维持基于 DL4J/ND4J 的应用程序的长期生产负载

java -Xmx2G -Dorg.bytedeco.javacpp.maxbytes=6G -Dorg.bytedeco.javacpp.maxphysicalbytes=6G