edit - 如何将 TF-IDF 与编辑距离或 Jaro-winkler 距离结合起来-6ren

edit - 如何将 TF-IDF 与编辑距离或 Jaro-winkler 距离结合起来

转载作者：行者123 更新时间：2023-12-03 15:02:12

24

4

我正在寻找方法来提高字符串匹配(相似性)中 TF-IDF 权重方案的准确性。主要问题是 TF-IDF 对 stings 中的打印错误很敏感，而且大多数大型数据集往往有错别字。
我意识到编辑距离的变体(基于字符的相似性度量——levienshtein、affine-gas、Jaro 和 Jaro-winkler)适用于计算存在打印错误的字符串之间的相似性，但不适用于在字符串。

因此，我想使用编辑距离校正能力来提高 TF-IDF 的准确性。

任何关于如何应对这一挑战的想法都将受到高度赞赏。

提前致谢。

最佳答案

CMU 研究人员在 2003 年发表了一篇论文，他们解释了如何将 TFIDF 与 Jaro-Winkler 结合起来:
https://www.cs.cmu.edu/~pradeepr/papers/ijcai03.pdf

他们的 Java 代码也可以在 sourceforge 上作为 secondString 项目获得:
https://sourceforge.net/projects/secondstring/

这是 Javadocs 的链接:
http://secondstring.sourceforge.net/javadoc/

secondString 项目页面:
http://secondstring.sourceforge.net/

关于edit - 如何将 TF-IDF 与编辑距离或 Jaro-winkler 距离结合起来，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15977624/

24

4

0

文章推荐： python-2.7 - Python ReportLab - 带有 X of Y 页编号的可点击 TOC

文章推荐： naming-conventions - 我们将字节中的第一位称为位 1 还是 0？

Tensorflow - 为什么 tf.nn 和 tf.layers/tf.losses/tf.contrib.layers 等中有这么多相似甚至重复的函数？
在 Tensorflow(从 v1.2.1 开始)中，似乎有(至少)两个并行 API 来构建计算图。 tf.nn 中有函数，如 conv2d、avg_pool、relu、dropout，tf.laye
python - tf.reduce_sum(lastconv,axis=2)/tf.reduce_sum(tf.cast(tf.greater(lastconv, 0), tf.float32), axis=2) 用于代替均值池？
我正在处理眼睛轨迹数据和卷积神经网络。我被要求使用 tf.reduce_max(lastconv, axis=2)代替 MaxPooling 层和 tf.reduce_sum(lastconv,axi
python - 什么时候应该使用 tf.train.BytesList、tf.train.FloatList 和 tf.train.Int64List 将数据存储在 tf.train.Feature 中？
TensorFlow 提供了 3 种不同的数据存储格式 tf.train.Feature .它们是: tf.train.BytesList tf.train.FloatList tf.train.In
python - tf.contrib.layer.fully_connected、tf.layers.dense、tf.contrib.slim.fully_connected、tf.keras.layers.Dense 之间的不一致
我正在尝试为上下文强盗问题 (https://medium.com/emergent-future/simple-reinforcement-learning-with-tensorflow-part
python - 如何将 tf.layers 变量放入 tf.name_scope/tf.variable_scope 中？
我在使用 Tensorflow 时遇到问题: 以下代码为卷积 block 生成正确的图: def conv_layer(self, inputs, filter_size = 3, num_filte
python - TF 2.0 中的 tf.GradientTape 是否等同于 tf.gradients？
我正在将我的训练循环迁移到 Tensorflow 2.0 API .在急切执行模式下，tf.GradientTape替换 tf.gradients .问题是，它们是否具有相同的功能？具体来说: 在函数
python - tf.control_dependencies(tf.get_collection(tf.GraphKeys.UPDATE_OPS)) 在 tensorflow 中
tensorflow 中 tf.control_dependencies(tf.get_collection(tf.GraphKeys.UPDATE_OPS)) 的目的是什么？更多上下文:
tensorflow - tf.square、tf.math.square 和 tf.keras.backend.square 之间有什么区别？
我一直在努力学习 TensorFlow，我注意到不同的函数用于相同的目标。例如，为了平方变量，我看到了 tf.square()、tf.math.square() 和 tf.keras.backend.
tensorflow - tf.data 或 tf.keras.utils.Sequence。提高 tf.data 的效率？
我正在尝试使用自动编码器开发图像着色器。有 13000 张训练图像。如果我使用 tf.data，每个 epoch 大约需要 45 分钟，如果我使用 tf.utils.keras.Sequence 大约
logging - tensorflow log_softmax tf.nn.log(tf.nn.softmax(predict)) tf.nn.softmax_cross_entropy_with_logits
我尝试按照 tensorflow 教程实现 MNIST CNN 神经网络，并找到这些实现 softmax 交叉熵的方法给出了不同的结果: (1) 不好的结果 softmax = tf.nn.softm
python - `tf.reshape(a, [m, n])` 和 `tf.transpose(tf.reshape(a, [n, m]))` 之间的区别？
其实，我正在coursera上做deeplearning.ai的作业“Art Generation with Neural Style Transfer”。在函数 compute_layer_styl
python - 为什么 tf.cond() 将 tf.bool 识别为 python bool 而不是 tf.bool？
训练神经网络学习“异或” 我正在尝试使用“批量归一化”，我创建了一个批量归一化层函数“batch_norm1”。 import tensorflow as tf import nump
python - Tensorflow:在使用 tf.Keras 层或 tf.Estimator API 时，何时需要运行 tf.Session()？
我正在尝试协调来自 TF“图形和 session ”指南以及 TF“Keras”指南和 TF Estimators 指南的信息。现在在前者中它说 tf.Session 使计算图能够访问物理硬件以执行图
python - Tensorflow softmax_cross_entropy_with_logits 与 tf.reduce_mean(-tf.reduce_sum(y*tf.log(yhat), reduction_indices = 1))
我正在关注此处的多层感知器示例:https://github.com/aymericdamien/TensorFlow-Examples我对函数 tf.nn.softmax_cross_entropy
python - TensorFlow 2.0 : how to group graph using tf. 喀拉斯？ tf.name_scope/tf.variable_scope 不再使用了吗？
回到 TensorFlow = 2.0 中消失了。因此，像这样的解决方案...... with tf.variable_scope("foo"): with tf.variable_scope
python - [python -c "import tensorflow as tf;print(tf.reduce_sum(tf.random.normal([1000, 1000])))"] 是做什么的？
我按照官方网站中的步骤安装了tensorflow。但是，在该网站中，作为安装的最后一步，他们给出了一行代码来“验证安装”。但他们没有告诉这段代码会给出什么输出。该行是: python -c "imp
python - 为什么 tf.matmul(a,b, transpose_b=True) 有效，但 tf.matmul(a, tf.transpose(b)) 无效？
代码: x = tf.constant([1.,2.,3.], shape = (3,2,4)) y = tf.constant([1.,2.,3.], shape = (3,21,4)) tf.ma
python - TypeError : Only integers, slices (`:` ), ellipsis (`…` ), tf.newaxis (`None` ) 和标量 tf.int32/tf.int64 张量是有效的索引，得到 [1, 3]
我正在尝试从 Github 训练一个 3D 分割网络.我的模型是用 Keras (Python) 实现的，这是一个典型的 U-Net 模型。模型，总结如下， Model: "functional_3"
tensorflow - 在 TF 操作中评估 TF 模型会引发错误
我正在使用 TensorFlow 2。我正在尝试优化一个函数，该函数使用经过训练的 tensorflow 模型(毒药)的损失。 @tf.function def totalloss(x): x
python - tf.zeros() 是否返回 tf.get_variable()？
试图了解 keras 优化器中的 SGD 优化代码 (source code)。在 get_updates 模块中，我们有: # momentum shapes = [K.int_shape(p) f

首页

博学

6Ren·AI

商城

edit - 如何将 TF-IDF 与编辑距离或 Jaro-winkler 距离结合起来