youtube - 使用 Keras 对 Youtube 评论使用 LSTM 进行情绪分析

Question

我的目标是通过使用 LSTM 慢慢扩展来弄脏我的手。然而，在现在的初始阶段，我正在尝试使用 Keras 实现一个 Youtube LSTM 情感分析器。在搜索可帮助我的资源时，我发现了 IMDB 情感分析数据集和 LSTM 代码。虽然它适用于较长的输入，但较短的输入效果不佳。代码在 https://github.com/keras-team/keras/blob/master/examples/imdb_lstm.py

在保存 Keras 模型并使用此代码为此数据构建预测模块后

 model = load_model('ytsentanalysis.h5')
 print("Enter text")
 text=input()
 list=text_to_word_sequence(text,filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n',lower=True,split=" ")
 print(list)
 word_index = imdb.get_word_index()
 x_test = [[word_index[w] for w in list if w in word_index]]
 prediction=model.predict(x_test)
 print(prediction)

我输入各种输入，例如“糟糕的视频”、“非常棒的”或“好棒的”、“非常糟糕的”。对于同样糟糕的主题输入，输出范围从接近 1 到 1，我已经看到一个好的主题输入的 0.3ish 预测。我希望它应该接近 1 表示正数，接近 0 表示负数。

为了解决这个问题，我在训练和预测时限制了 maxlen=20，因为 Youtube 评论要短得多，并且再次运行相同的代码。这次预测时的概率都是e^insert largenegative power here

我有没有办法调整和重用现有的数据集？如果不是，由于标记的 Youtube 评论数据集没有那么广泛，我是否应该使用 Twitter 评论数据集之类的东西，而牺牲 Keras 中预先构建的 IMDB 输入模块的效率？有什么方法可以查看这些模块的代码吗？

预先感谢您回答所有这些问题。

Answer 1

IMDb 数据集和 YouTube 评论之间的差异非常不同，因为与评论和推文相比，电影评论相当长且广泛。

在公开可用的数据集(例如推文，可能更符合 YT 评论)上训练模型可能更有帮助。然后，您可以使用预训练模型并在您的 YT 评论数据集上对其进行微调。利用一些预训练的词嵌入也很有用，例如 GloVe 和 word2vec。

或者，您可以考虑使用 NLTK而是分析评论。