python - 拟合曲线: which model to describe distribution in weighted knowledge graphs

Question

作为表示知识网络和了解加权图属性的简单模型，我计算了维基百科文章之间的余弦相似度。

我现在正在查看每篇文章的相似权重的分布(参见图片)。

在图片中，您会看到曲线围绕某个值(可能从指数变为线性)改变导数:我想拟合曲线并提取该值，其中导数明显(或预期)变化，这样我就可以将相似的文章分为两组:“最相似”(阈值的左侧)和“其他”(阈值的右侧)。

我想拟合每篇文章分布的曲线；将分布与所有文章的平均分布进行比较；将分布与随机加权网络的分布进行比较。(在定义工作流程时，我们非常欢迎您的建议:您知道我想使用这个模型作为玩具模型，然后训练网络或文章如何及时演化)。

我的背景是数据科学的用户体验，我希望更好地理解哪种模型可以描述我观察到的值的分布，比较分布的正确方法，以及拟合曲线的 python 工具(或 Mathematica 11)并求出每个点的导数。

• 您建议使用哪种模型来描述加权网络中对象之间相似性的观察值的分布(这里，协作知识库表示为加权网络，其中权重是两篇给定文章的相似性值 - 我应该期望指数？泊松？为什么？)
• 如何计算曲线拟合并提取给定点处曲线的导数(Python 或 Mathematica 11)

<小时/>

Answer 1

使用 Mathematica，假设您的数据位于列表 data 中。然后，如果您想找到最适合您的数据的三次多项式，请使用 Fit功能:

Fit[data, {1, x, x^2, x^3}, x]

一般来说，Fit 命令的用法如下所示

Fit["data set", "list of functions", "independent variable"] 

其中 Mathematica 尝试将该列表中的函数的线性组合拟合到您的数据集。我不知道该说什么类型的曲线，我们期望可以最好地对这些数据进行建模，但请记住，任何平滑函数都可以通过具有足够多的多项式来逼近任意精度条款。因此，如果您有多余的计算能力，只需让您的函数列表成为 x 的一长串幂即可。虽然看起来确实在 x=0 处有一个渐近线，所以也许允许其中有一个 1/x 项来捕获它。然后当然你可以使用 Plot在数据之上绘制曲线以直观地比较它们。

现在要获得这条最佳拟合曲线作为 Mathematica 中的函数，您可以对其求导:

f[x_] := Fit[data, {1, x, x^2, x^3}, x]

然后，当二阶导数为零时，就会发生您正在谈论的明显变化，因此要获取该 x 值:

NSolve[f''[x] == 0, x]