gpt4 book ai didi

python-3.x - 使用预训练的gensim Word2vec嵌入以及keras中的数据集

转载 作者:行者123 更新时间:2023-11-30 09:14:11 24 4
gpt4 key购买 nike

亲爱的所有人,我已经使用Wikipedia数据在gensim中训练了word2vec,并使用以下程序进行了保存。

model = Word2Vec(LineSentence(inp), size=300, window=5, min_count=5, max_final_vocab=500000,
workers=multiprocessing.cpu_count())

model.save("outp1")


我想在keras中使用此模型进行多类文本分类,我需要在以下代码中进行哪些更改

model = Sequential()
model.add(Embedding(MAX_NB_WORDS, EMBEDDING_DIM, input_length=X.shape[1]))
model.add(SpatialDropout1D(0.2))
model.add(LSTM(100, dropout=0.2, recurrent_dropout=0.2))
model.add(Dense(10, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

epochs = 5
batch_size = 64

history = model.fit(X_train, Y_train, epochs=epochs,
batch_size=batch_size,validation_split=0.1,callbacks=[EarlyStopping(monitor='val_loss', patience=3, min_delta=0.0001)])

accr = model.evaluate(X_test,Y_test)


其实我是新手,正在尝试学习。

最佳答案

Keras博客中有一个帖子可以解决您的确切问题,您可以下载与Keras兼容的Word Embeddings,并在Keras模型中使用它们。
link to blog post

关于python-3.x - 使用预训练的gensim Word2vec嵌入以及keras中的数据集,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59423553/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com