37
4
When should one opt for the Supervised Fine Tuning Trainer (SFTTrainer) instead of the regular Transformers Trainer when it comes to instruction fine-tuning for Language Models (LLMs)? From what I gather, the regular Transformers Trainer typically refers to unsupervised fine-tuning, often utilized for tasks such as Input-Output schema formatting after conducting supervised fine-tuning. There seem to be various examples of fine-tuning tasks with similar characteristics, but with some employing the SFTTrainer and others using the regular Trainer. Which factors should be considered in choosing between the two approaches?
当涉及到语言模型(LLM)的教学微调时，什么时候应该选择有监督的微调培训器(SFTTrainer)而不是常规的Transformers培训器？据我所知，常规的Transformers培训人员通常指的是无人监督的微调，通常用于在进行有监督的微调之后进行输入-输出模式格式化之类的任务。似乎有各种具有相似特征的微调任务的例子，但有些使用SFTTrainer，另一些使用常规训练器。在选择这两种方法时，应该考虑哪些因素？
I looking for Fine Tuning a LLM for generating json to json transformation (matching texts in json) using huggingface and trl libraries.
我寻找精调生成JSON到JSON转换(匹配JSON中的文本)使用HuggingFace和Trl库的LLM。
Welcome to Stackoverflow, please take a look at stackoverflow.com/help/how-to-ask. Most probably people are going to close this issue since it's not coding related. Try asking it on datascience.stackexchange.com, folks might be nicer there to ML recommendations.
欢迎来到Stackoverflow，请访问Stackoverflow.com/Help/How-to-Ask。人们很可能会关闭这个问题，因为它与编码无关。试着在data cience.stackexchange.com上问一下，人们可能会对ML的推荐更友好。
Thanks @alvas. I asked it there datascience.stackexchange.com/questions/122164/…
谢谢@阿尔瓦斯。我在那里问的，datascience.stackexchange.com/questions/122164/…
37
4
0
我是 Mercurial 的新手，并且不知何故仍处于评估过程中，所以这四个概念对我来说有点困惑。有些被提到等同于 Git 的 Staging/Index 概念，有些甚至比 Git 的 Staging
关闭。这个问题需要更多focused .它目前不接受答案。 想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post . 6 个月前关闭。 Improve this ques
任何人都可以给我详细信息吗？ 例如？ #ID 是属性、特性、选择器还是 anchor ？ 默认属性和默认属性是不同的东西吗？ 这些都是标签还是元素？ 我们将对此说些什么 这个 ..... 还有这些
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗？ 更新问题，使其只关注一个问题 editing this post . 关闭 8 年前。 Improve this qu
我有一个由 Javascript 填充的下拉列表。 在决定加载时显示的默认值时，我意识到以下属性显示的值完全相同: innerText innerHTML label text textContent
我可以知道每个 Exec 之间有什么区别吗？ , ExecWait , ExecShell , nsExec::Exec , nsExec::ExecToLog, nsExec::ExecToStac
当您处于版本 1 和版本 2 之间时，您会如何维护您的软件？ 从我的角度来看，“补丁”、“修补程序”、“维护版本”、“服务包”等术语都很模糊，根据与您交谈的对象不同，定义也不同。 您如何称呼版本之间的
我刚刚发现在 ES6 中有一个新的数学方法:Math.trunc . 我在 MDN article 中阅读了它的描述。 , 听起来像使用 |0 . 此外，>0 , &-1 , ^0也做类似的事情(感谢
我想知道我的 StackPanel 所有项目的高度。 有什么区别: Height - 获取或设置元素的建议高度。 ActualHeight - 获取该元素的渲染高度。 (只读) ExtentHeigh
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题吗？ Update the question所以它是on-topic用于堆栈溢出。 关闭 9 年前。 Improve this
我对所有声称以某种方式阻止计算的内置 Mathematica 函数感到困惑:Unevaluated、Defer、Hold ，以及超过 6 个 Hold* 形式。 Mathematica 文档只是单独解
我什至不确定正确的术语，所以让我从我的目标开始:拥有一个简单的应用程序(“Data Doler”)，它只会将大量数据从文件读取到内存中，然后提供服务将该数据切片到名为“Data Lapper”的单个多
我刚刚开始在我的项目中使用 Elasticsearch，我想像 sql 关键字一样搜索 '喜欢%' 做。 谁能解释一下 之间的区别通配符 , 前缀 , 查询字符串和 正则表达式 ? 哪个可以搜索最好性
由于我对任何主流浏览器(Firefox、Chrome、Opera)都不太满意，而且我尝试过的不太受欢迎的浏览器(近十几种)都没有，所以我决定 DIY 并制作一个网页我想要最好的浏览器。 主要目标是让它
我知道如何使用 Python 解析页面。我的问题是哪种方法是所有解析技术中最快的，其他方法的速度有多快？ 我知道的解析技术有Xpath、DOM、BeautifulSoup，还有使用Python的fin
我试图从正在解析的命令行中找出哪个函数最适合将十进制、十六进制或八进制数转换为 int 最好——在不知道输入的情况下事先。 目标是使用一个函数来识别不同类型的输入并将其分配给它的整数 (int) 值，
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持，但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the
我们需要在我们的网站上显示酒吧、餐馆和剧院等各种场所的元信息(例如，地址、姓名)。 理想情况下，用户会输入地点名称以及邮政编码，我们会提供最接近的匹配项。 人们将哪些 API 用于类似的地理定位目的？
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
我正在创建我的第一个 Web 应用程序，我真的很困惑应该使用什么技术。 我的应用程序需要看起来很严肃(像一个应用程序)，它不需要很多色彩缤纷的图形界面。它只需要一个工具栏、一个标签栏、一个拆分面板(最
个人中心
文章发布
退出
我是一名优秀的程序员,十分优秀！