现代言情《音乐的每个细节问题为什么》,讲述主角蒙选璟于昀帜的甜蜜故事,作者“终随用”倾心编著中,主要讲述的是:答案例即:根据用户评论,来回答有关华为耳机产品相关问题,如下所示目标是对大模型输出结果进行评级❝用户评论:华为耳机pro是一款特别优秀的耳机,音质特别好...
《音乐的每个细节问题为什么》是作者“终随用”的代表作,书中内容围绕主角蒙选璟于昀帜展开,其中精彩内容是:也可以是一组分数,可以是宽泛的,也可以是细粒度的,具体情况具体分析。例如...
热门章节免费阅读
第一章
答案例。
即:根据用户评论,来回答有关华为耳机产品相关问题,如下所示。
目标是对大模型输出结果进行评级。
❝用户评论:华为耳机pro是一款特别优秀的耳机,音质特别好,可以听到音乐的每个细节。
问题:为什么华为耳机pro是一款好耳机?
❞这里假如模型给出的响应结果是:❝因为音频体验超级棒。
❞当遇到此类情况时,有多种方法可以对此响应进行评估,例如:案例对比、评分、A/B测试等,具体如下。
1案例对比评估人员将模型的输出结果与理想案例结果进行对比。
拿上面的示例来说,理想的结果可能是:因为音频体验无与伦比。
基于该结果标注人员对此做出判断。
但这种方法需要事先构建基本事实。
鉴于没有两个用例完全相同,这意味着必须为每个提示和模型应用构建基本事实案例。
此外,基本事实的质量直接影响评估结果—如果构建不正确,可能会产生误导性的结果。
2评分评估人员对模型输出结果进行打分来评估结果的好坏”例如0到10之间的评级”,由于该种情况没有基本事实案例参考,所以评估人员需要自行对输出质量做出判断。
评估分数可以是单个分数,也可以是一组分数,可以是宽泛的,也可以是细粒度的,具体情况具体分析。
例如,创意写作任务可能需要对不同的输出特征进行更细粒度的评分,例如流畅性、趣味性和简洁性。
评估标准可以是按等级划分的分数,也可以是对标志的检查。
例如,摘要任务可能需要检查输出的一致性,并且不会生成实际文档中不存在的内容。
特定任务可能需要检查特定的规则,例如俳句中的音节数。
3A/B测试根据模型应用获得一对模型输出结果,并要求评估人员评估出最好的答案。
这对于比较不同时间点、不同配置参数”prompt、超参数等”的模型质量非常有用。
例如,让评估人员比较下面两个模型输出结果的最优答案:❝因为音频体验超级棒。
因为麦克风品质特别好。
❞对于我们来说,上面两个回答最好的应该是第一个”因为音频体验超...
小说《音乐的每个细节问题为什么》试读结束,继续阅读请看下面!!!