algorithm - 确定多个权重的quiz的 "difficulty"？

Question

我正在尝试确定测验对象的“难度”。

我的最终目标是能够为任何测验创建一个“难度分数” (DS)。这将使我能够准确地将一个测验与另一个测验进行比较，尽管由不同的问题/答案组成。

在创建我的测验对象时，我为每个问题分配了一个“难度指数” (DI)，这是一个从 1 到 15 的数字。

15 = 最难
1 = 最不困难

现在，衡量此“难度分数” 的一种简单方法可能是将每个问题的“难度指数”相加，然后除以测验的最大可能“难度指数”。 (例如 16/30 = 53.3% 难度)

但是，我还有多个与每个问题关联的“权重” 属性。这些权重也是 1-5 的一个等级。

5 = 影响最大
1 = 影响最小

我使用 (2) 而不是更常见的 (1) 的原因是我可以适应如下场景...

如果向学生提出一个非常困难的问题 (DI=15)，而学生回答“不正确”，不要让它对他们的分数造成太大影响，但如果他们“正确”回答，就会大大提高他们的分数。我称这些为我的“正” (PW) 和“负” (NW) 权重。

测验示例 A:
问题 1:DI = 1 |密码 = 3 |西北= 3
问题 2:DI = 1 |密码 = 3 |西北= 3
问题 3:DI = 1 |密码 = 3 |西北= 3
问题 4:DI = 15 |密码 = 5 |净重 = 1

测验示例 B:
问题 1:DI = 1 |密码 = 3 |西北= 3
问题 2:DI = 1 |密码 = 3 |西北= 3
问题 3:DI = 1 |密码 = 3 |西北= 3
问题 4:DI = 15 |密码 = 1 |西北 = 5

从技术上讲，上述两个测验非常相似，但测验 B 应该更“难”，因为如果你做错了，最难的问题对你的分数影响最大。

我现在的问题是在考虑复杂的权重系统时如何准确确定“难度分数”？

非常感谢任何帮助!

Answer 1

挑战当然是确定每个问题的难度分数。

我建议使用以下模型:

• 难度 (H):定义一个较难的问题，以便正确回答它的机会较低。最难的问题是 (1) 正确回答它的机会等于随机选择(因为它本身就很难)，并且 (2) 它有最多的可能答案。我们将这样的问题定义为 (H = 15)。在天平的另一端，我们将 (H = 0) 定义为一个问题，其中正确回答它的机会是 100%(因为它是微不足道的)(我知道 - 这样的问题永远不会出现)。现在 - 通过主观推断来定义每个问题的难度(记住，人们总是可以在给定的选项之间进行猜测)。例如，如果一个 (H = 15) 问题有 4 个答案，而另一个具有类似固有硬度的问题有 2 个答案 - 它将是 (H = 7.5)。另一个例子:如果你认为一个普通学生有 62.5% 的正确回答问题 - 这也是一个 (H = 7.5) 问题(这是因为 H = 15 有 25% 的正确答案，而 H = 0 有100%.平均为62.5%)

• 效果 (E):现在，我们将测量 PW 和 NW 的效果。对于有 50% 机会回答正确的问题 - 效果是 E = 0.5*PW - 0.5*NW。对于有 25% 机会回答正确的问题 - 效果是 E = 0.25*PW - 0.75*NW。对于微不足道的问题，NW 无关紧要，因此效果是 E = PW。

• 难度 (DI):最后一步是整合难度和效果 - 称之为难度。我建议 DI = H - c*E，其中 c 是某个正常数。您可能想要再次正常化。

  编辑:或者，您可以尝试以下公式:DI = H * (1 - c*E)，其中影响幅度不是绝对的，而是相对的问题的难度。

---

澄清:

老师只需要估计每个问题的一个参数:普通学生正确回答这个问题的概率是多少。他的估计 e 将是在 [1/k, 1] 范围内，其中 k 是答案的数量。

硬度 H 是 e 的线性函数，因此 1/k 映射到 15，1 映射到 0。函数为:H = 15 * k/(k-1) * (1-e)

E 的影响取决于 e、PW 和 NW。公式为E = e*PW - (1-e)*NW

---

基于 OP 评论的示例:

问题 1:

k = 4，e = 0.25(最难)。因此 H = 15

PW = 1，NW = 5，e = 0.25。因此 E = 0.25*1 - 0.75*5 = -3.5

c = 5.DI = 15 - 5*(-3.5) = 32.5

问题 2:

k = 4，e = 0.95(非常简单)。因此 H = 1

PW = 1，NW = 5，e = 0.95。因此 E = 0.95*1 - 0.05*5 = 0.7

c = 5.DI = 1 - 5*(0.7) = -2.5