正在读取岗位…

专家人才库、评估与基准(助理)

Expert Talent Pool, Evals and Benchmarks (Associate)

数据与人工智能全职
薪资标准
按工时支付;金额依项目、领域和经验而定
200.69 – 401.38 CNY / 小时原币种 USD 30–60/小时

AI 摘要

该岗位为远程 AI 模型评估项目,工作包括设计评测任务与评分标准、分析模型表现并记录发现。适合有 0 至 5 年相关经验,具备题目编写、评估或数据分析能力的人选。

岗位速览

用工形式
全职
经验门槛
至少 5 年

岗位介绍

关于该职位

加入一个专注于支持人类数据项目的专业人才团队,这些项目旨在评估人工智能(AI)模型的性能。您将参与设计和实施评估工具,以衡量模型的能力,并为AI的安全性和性能研究做出贡献。

您的工作内容

  • 编写问题与任务,以专门测试模型的特定功能。
  • 制定评分标准,明确优秀、中等和较差的答案标准。
  • 创建参考答案及极端案例,用于挑战人工智能模型。
  • 根据评分标准对模型输出进行评估,并解释评分决策。
  • 分析错误的答案,归纳错误模式,并记录分析结果。
  • 使用相同的提示来比较多个模型的表现。
  • 验证评估基准,并标记存在问题或效果不佳的题目。
  • 参与小型用户研究,评估用户对模型输出的评分或互动情况。
  • 我们正在寻找什么样的人才
  • 具备0至5年的专业工作经验。
  • 有QA(质量保证)或测试工程、评估设计、心理测量学、用户体验研究、数据分析、机器学习评估、研究支持等方面的经验,或具备与编写试题相关的工作经验。
  • 有编写测试用例、考试题目、评分标准或评估任务的经验,并能根据书面标准持续审查相关工作的质量。
  • 熟练使用电子表格或Python工具来组织和分析数据,能够识别并记录错误模式。
  • 具备使用Inspect、lm-eval-harness、HELM或promptfoo等评估工具的经验将非常有益。
  • 具备清晰的书面沟通能力,以及对比AI模型输出结果或参与用户调研和评分研究的能力。
  • 薪酬与福利

薪酬为每小时30至60美元,具体取决于项目类型、工作领域及工作经验。报酬按照实际工作小时数计算。

地点

完全远程办公。项目通常持续一周到几个月不等。

薪资范围:62,400美元至124,800美元

最初发布于 Himalayas

查看原岗位