正在读取岗位…

专家人才库、评估与基准

Expert Talent Pool, Evals and Benchmarks

数据与人工智能全职
薪资标准
薪酬依项目、领域和经验水平而定,按工作小时计酬
501.73 – 1,170.69 CNY / 小时原币种 USD 75–175/小时

AI 摘要

该职位面向资深评估专家,负责设计与验证基准、制定评分标准、组织评分及分析模型表现。要求具备至少5年相关评估经验,或5年领域专长并有实际评估经验,以及基准设计、Python和评测工具等相关能力。职位为全远程,项目可能持续一周至数月。

岗位速览

用工形式
全职
工作语言
英语(提及)
经验门槛
至少5年从事评估、测试或考核工作的经验

岗位介绍

关于该职位

加入一个由资深评估专家组成的团队,支持人工智能(AI)研究项目。当项目与您的专业领域相匹配时,您将负责基准测试的设计、验证和评分工作,帮助生成严谨可靠的人工智能模型评估结果。

您的工作内容

  • 设计评估基准,包括其范围、题型、难度级别和评分方法。
  • 编写并审阅评分标准,以确保评分的一致性。
  • 制定符合专家评审要求的黄金标准答案和测试题集。
  • 通过校准评分者、衡量评分一致性以及解决争议来主导评分流程。
  • 分析模型存在的问题,找出根本原因,并提出改进措施。
  • 设计并开展严谨的模型对比研究。
  • 验证评估基准在数据污染、表述模糊性和模型饱和度方面的可靠性。
  • 设计用户研究,了解人们如何对模型输出进行评价和互动。
  • 我们正在寻找什么样的人才
  • 至少5年从事评估、测试或考核工作的经验,或者至少5年相关领域专业知识并结合实际评估工作的经验。
  • 有设计可供他人使用的基准测试、测试计划、考试或评估工具的经验。
  • 有编写或审阅评分标准及参考答案的经验,以及审核或指导评分人员或试题编写人员的经验。
  • 熟练掌握Python编程语言以及Inspect、lm-eval-harness、HELM或promptfoo等评估工具。
  • 有分析模型或测试失败问题并提出修复建议的经验。
  • 具备机器学习评估、质量保证(QA)、测试工程、心理测量学、评估设计、用户体验研究(UX研究)或某一领域深度专业知识的背景。
  • 清晰的书面英语沟通能力。
  • 具备验证基准数据、衡量评分者一致性、进行模型比较或开展用户研究的经验将非常有益。
  • 薪酬与福利

薪酬为每小时75至175美元,具体取决于项目类型、工作领域以及工作经验。工资是根据实际工作时长来计算的。

地点

完全远程办公。项目持续时间可能从一周到几个月不等。

薪资范围:15.6万美元至36.4万美元

最初发布于 Himalayas

查看原岗位