个人中心
文章发布
退出
作者热门文章
- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框，下拉多选树，多级节点
- 【学习笔记】基础数据结构：猫树
58
4
这是 人工评估 系列文章的第一篇《基础概念》，全系列包括
- 基础概念
- 人工标注员
- 技巧与提示
人工评估是指让人类评价模型输出回答的好坏。 本文讨论的都是后验评估，即模型已经完成训练，给定一个任务让人类进行评估.
系统化的人工评估主要有 3 种方式:
如果你手头 没有现成的数据集，但还是想测试一些模型的能力，可以采用人工评估：提供一个任务说明和打分指南 (例如：尝试与模型交互，迫使模型输出不当语言，即包含冒犯性、歧视性、暴力等。如果模型输出了不当语言，则得分为 0，反之为 1。)，以及可供交互的测试模型，然后就可以让标注员人工操作并评分，同时列出评分理由.
如果你手头 已经有数据集 (例如 收集了一组 prompt，并确保这些 prompt 不会迫使模型输出不当回答)，可以自行将 prompt 输入模型得到输出，然后将输入 prompt、输出回答、打分指南一起提供给标注员评估 (如果模型意外输出不当，则得分为 0，反之为 1).
如果你手头 既有数据集也有评分结果，可以让人工标注员通过 错误注释 的方法 (这种方法同样可以作为评估系统，适用于上面的情况) 来对评估进行审查。在测试新评估系统时，这一步非常重要，但是技术测层面属于对评估系统的评估，因此略微超出本文的讨论范围.
注:
基于人类的评估方法还有两种不那么正式的方法:
Vibes 检查 是一种使用非公开数据进行人工评估的方法，用来在多个场景用例 (如代码编程和文学创作等) 上测试来把握整体效果。评估结果通常会被当作轶事证据而分享在 Twitter 和 Reddit 上，不过它们很容易受到主观认知偏差的影响 (换句话说，人们往往只相信自己相信的结果)。尽管如此，这些结果依然能作为 你自己测试的一个不错起点.
Arenas 是一种众包人工评估的方法，用来给多个模型表现排名。 一个知名的例子是 LMSYS 聊天机器人 Arena 评估, 社区用户通过与多个模型对话来分辨孰优孰劣并投票。总的投票结果将汇总为 Elo 排名 (这场多个模型比赛的排名)，来评判出 “最优模型”.
优势:
劣势:
系统化人工评估 (尤其是付费的人工) 的优势:
缺点:
优势:
劣势:
原文链接: https://github.com/huggingface/evaluation-guidebook/blob/main/contents/human-evaluation/basics.md 。
译者: SuSung-boy, clefourrier, adeenayakup 。
最后此篇关于人工评估|基础概念的文章就讲到这里了,如果你想了解更多关于人工评估|基础概念的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
58
4
0
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题？ Update the question所以它是on-topic对于堆栈溢出。 10年前关闭。 Improve this qu
我正在开发一个 Android 应用程序。在此应用程序中， Logo 栏显示在所有页面( Activity )上，或者我们可以说它在所有页面上都有标题。这个 Logo 栏有几个图标，如主页、登录、通知
我正在使用 hadoop 使用开源接口(interface) HVPI 处理视频。然而，inputsplit 的实现，更准确地说是在 isSplitableobContext (context, Pa
1. 是什么？ MySQL 是最流行的关系型数据库管理系统，在 WEB 应用方面 MySQL 是最好的 RDBMS(Relational Database Management System
有没有办法使用 c++20s 的概念来检查一个值是否满足某些要求？ 假设我正在编写某种使用分页的容器，并且我想让页面大小成为模板参数。 template class container; 我可以使用带
如何在 ArrayList 中循环遍历 ArrayList？ 例如，如果我有一个名为 Plants of Plant 对象的 ArrayList。每个 Plant 对象内部都有一个随机数量的花名。我如
如何在UML类图中绘制C++概念？ 具体来说，我有以下代码: template concept Printable = requires(T a, std::ostream &where) {
我有兴趣制作一个网站，在访问者访问时闪现整个网络历史记录。我计划使用 JavaScript 来获取每个观看者计算机上的历史记录，并根据他们拥有的内容以不同的速度对其进行动画处理。我的想法是使用 his
有一个模板定义，例如: template void foo( void ) { /* ... */ } 如何定义一个概念，以便N必须为非零正值(N> = 1)？ 就像是: template con
封装是信息隐藏还是导致信息隐藏？ 正如我们所说，封装将数据和函数绑定(bind)在单个实体中，因此它为我们提供了对数据流的控制，并且我们只能通过一些定义良好的函数来访问实体的数据。因此，当我们说封装导
下面有一个简单的代码片段，它使用以下方式进行编译: g++-9 -std=c++2a -fconcepts 这是试图定义一个需要存在函数的概念。我希望输出是"is"，但事实并非如此……知道为什么吗？谢
我有一个普通二元运算符的概念 template concept is_binary_operation = requires (const T& t1, const T& t2) // e.g
我正在c++ 20中实现具有启发式功能的搜索算法。 我试图用类似这样的概念来约束我的算法可以使用的功能: template concept Heuristic = requires(SelfType
我需要了解 SAS 如何读取/执行数据步骤。当我查找有关 SAS 如何读取数据步骤的信息时，我似乎只找到有关它如何读取以进行合并的信息，我不了解与常规数据步骤相关的信息。比方说，我有这行代码: dat
最近我看到一个关于“框架”的问题，如果“框架”有不同的类型或概念。那么，存在不同“类型”的“框架”吗？ 例如:NodeJS 是一种“类型”(概念)，而 Hibernate ORM 是另一种“类型”(概
如何使用任何技术禁用或清除客户端浏览器 Cookie 我认为使用 javascript 可以用于任何技术 最佳答案 var cookies = document.cookie.split(";");
我正在使用 target = "_blank" 单击链接时生成新选项卡。但是，浏览器会将焦点移至该选项卡。 有没有办法让焦点保持在当前标签页上？ 回答摘要 基本上，只需发送一个模拟控件点击的当前事件。
我正在尝试在我的 android/firebase(cloud firestore) 应用程序上添加一项需要其他用户批准/拒绝的功能。例如，当 Air&BnB 上的用户想要预订一个地方时，所有者必须批
这个问题在这里已经有了答案: mysql_fetch_array()/mysql_fetch_assoc()/mysql_fetch_row()/mysql_num_rows etc... expec
public class MyClass { public static void main(String[] args) { System.out.println("Hell
我是一名优秀的程序员,十分优秀！