mechanicalturk - 在外部网站上运行 MTurk HIT

Question

我正在实现一个网站，招募的 MTurk worker 将在该网站上执行任务。我计划使用 MTurk 任务招聘 worker ，我会将他们重定向到外部网站以进行实际工作。我有以下与此计划有关的问题。

这种运行 HIT 的方法是否存在任何可预见的问题？如果是这样，我们如何减轻它们？

我应该如何在我的外部站点上实现身份验证程序？例如，如何确保来网站执行的人特定任务确实是之前招募的同一群人对于这个特殊的任务在 MTurk 上？

当 worker 完成任务后，我应该如何根据他们的表现将付款程序与 MTurk 整合？例如，假设 worker 在我的外部网站上完成任务后被欠 3 美元，我是否可以告诉 MTurk 以编程方式向他/她支付这笔款项？

如果这些细节很重要，外部站点将使用 Python 构建。

任何基于您使用 MTurk 的经验和见解的建议和意见将不胜感激!

Answer 1

我正在考虑我的一个类似项目。我自己作为一名 worker 进行过实验。这是我的计划，希望对你有用。 (我还没有实现它。它基于我作为 worker 参加的学术 HIT。)这里是:

A. 创建一个具有如下语言的模板:

1. Please open this web site in a new browser window:
   http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste 
   it here: [________]

B. 为您的 Mechnical Turk 数据文件创建一些随机标记:

1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...

(从您的应用程序生成这些 token ；它需要交叉引用它们。)

C. 你的应用程序从 URL 中提取 token ，查找任务，并执行它需要做的任何事情。我个人不担心人们偶然发现 URL，因为它是一次性使用 token 。

D. 用户在外部网站完成任务后，外部应用程序给出确认码。确认码应该是随机且不透明的。只有您的应用程序会知道任何特定代码是否对应于正确或不正确的答案。事实上，如果您愿意，甚至可能无法实时确定正确性——它可能是多个提交的聚合和/或比较的结果。

E. 编写一些代码以编程方式进行交互。从 MTurk 结果中获取 token 和确认码，并确保它们与您的外部应用程序匹配。如果它们不匹配，则拒绝 HIT。如果它们匹配，请检查您的外部应用程序中的正确性并批准或拒绝。您可能会考虑奖金支付结构。

因此，要回答您的特定问题:

我预计我描述的方法不会出现问题。也就是说，Mechanical Turk 既是一门艺术，也是一门科学。也许更多的艺术。写出好的问题并适本地支付给 Turkers 是你必须结合常识、市场研究和实验来解决的问题。

见上文 (C)。 token 设计为只能使用一次。使用足够长的 token ，碰撞的概率变得非常低。

见上文 (E)。 Mechanical Turk Developer Guide是一个很好的起点。

请分享您的结果。或者让 Turkers 向 StackOverflow 发送数百张明信片。 :)

笔记:

我目前正在探索资格测试。我怀疑它们可能非常有用。

我想在我的外部应用程序中获得一个 Turker 的 Worker ID，但我还没有弄清楚那部分。我正在阅读它；例如:Getting workerId by assignmentId

我正在考虑使用 ExternalQuestion API 的功能:“...您可以使用“外部”问题将问题托管在您自己的网站上。...带有外部问题的 HIT 在 Worker's web 的框架中显示您网站的网页浏览器。您的网页显示一个表格供 worker 填写和提交。 worker 使用您的表格提交结果，您的表格将结果提交回 Mechanical Turk。使用您的网站显示表格可以让您的网站控制问题如何出现以及如何收集答案。”