mechanicalturk - 机械土耳其人

Question

我正在尝试发布一个典型的心理学实验，作为机械土耳其人的 HIT。我正在呈现一组十几个词对，我需要随机化/平衡呈现的词对的顺序。在典型的 HTML 表单上似乎没有办法做到这一点。有没有办法使用 API 或命令行界面来做到这一点？

Answer 1

2016 年 5 月 20 日更新:改用 PsiTurk。查看@John McDonnel 的答案

2013 年 6 月 25 日更新:这个答案已经很老了。见 Solomon Messing's blog post on MTurk in Social science for a starting point .

鉴于 AMT 上开始出现大量心理研究，您会认为他们会将此作为选项添加!

据我所知，如果没有以下网络界面，您将无法做到这一点:

1. 创建一堆模板(表单 A、表单 B、表单 C、表单 D)。
2. 运行第一个表单(表单 A)。
3. 付钱给 worker ，然后屏蔽所有 worker 。
4. 运行第二个表单(表单 B)。
5. 从第 1 步和第 2 步开始支付 worker 和阻塞。
6. 然后重复直到完成。

这很糟糕有几个原因。首先是您必须手动创建不同的表单。第二个是通过阻止工作良好的 worker ，您会对他们在网站上的声誉产生负面影响。您的 IRB 可能不会对此表示友好。

解决此问题的“最佳”方法是不使用 Web 界面，而是使用命令行工具 (CLT) 创建 ExternalQuestions。这样，您编写一个可以处理随机化细节的 web 应用程序，在不依赖资格的情况下给予 worker 知情同意，并“礼貌地阻止”已经完成工作的 worker 。 (已经参与的 worker 会收到一条短信要求他们归还HIT。)

如果你有兴趣走这条路，我有一些 details on my blog关于我是如何做到的。