汇集全球远程工作机会,以中文阅读岗位、比较条件,找到适合自己的下一站。
AI QA Trainer – LLM Evaluation
这是一个远程、中高级别的 AI QA 训练师承包岗位,工作包括评估语言模型的准确性、安全性与可靠性,设计测试和回归套件,并记录问题、提出改进建议。相关学历、AI/ML 系统 QA、红队测试及 Python/SQL 自动化经验有助于胜任;承包商需自备安全电脑和高速网络,职位不提供健康保险或带薪休假。
这是一个远程、中高级别的 AI QA 训练师承包岗位,工作包括评估语言模型的准确性、安全性与可靠性,设计测试和回归套件,并记录问题、提出改进建议。相关学历、AI/ML 系统 QA、红队测试及 Python/SQL 自动化经验有助于胜任;承包商需自备安全电脑和高速网络,职位不提供健康保险或带薪休假。
您是否是一位渴望塑造人工智能未来的AI质量保证(QA)专家?大规模语言模型正在从简单的聊天机器人发展成为企业级平台。借助严谨的评估数据,未来的AI将能够普及世界级的教育资源、紧跟前沿研究的发展步伐,并简化世界各地团队的工作流程。这种高质量的表现始于您——我们需要您的专业知识来提升模型的推理能力和可靠性。
我们正在寻找那些专注于模型评估、大型语言模型(LLM)安全性、提示语句的鲁棒性、数据质量保证、多语言及领域特定测试、基础知识验证以及合规性/准备性检查的人工智能质量保证(AI QA)培训师。您需要针对高级语言模型开展一系列测试,包括幻觉检测、事实一致性、提示语句注入与模型抗攻击性测试、偏见/公平性审计、推理链的可靠性、工具使用正确性、检索增强效果的准确性以及端到端工作流程的验证等。您需要详细记录所有可能出现的故障模式,以便我们能够不断提升模型的质量标准。
在正常的工作日中,你需要与模型进行交流,讨论现实世界中的场景和评估任务;验证事实的准确性以及逻辑的合理性;设计和执行测试计划及回归测试;制定明确的评分标准及通过/失败的标准;记录可重现的错误现象,并提出针对错误根源的假设;同时提出对提示系统、安全机制以及评估指标(如精确度/召回率、忠实度、毒性以及延迟指标等)的改进方案。此外,你还需要参与对抗性测试、自动化开发(使用Python/SQL语言)以及数据仪表盘的制作工作,以便持续跟踪系统质量的变化情况。
理想情况下,应聘者应具备计算机科学、数据科学、计算语言学、统计学或相关领域的学士学位、硕士学位或博士学位。具备以下经验将更有优势:负责机器学习/人工智能系统的质量保证(QA)工作,具有安全团队或红队(red-team)的工作经验,熟悉测试自动化框架(如 PyTest),并且有实际操作大型语言模型评估工具(如 OpenAI Evals、RAG 评估工具、W&B 等)的经验。突出的技能包括:评估标准的设计、对抗性测试/红队协作、大规模回归测试、偏见/公平性审计、基础知识验证、提示系统(prompt system)的开发、测试自动化(使用 Python/SQL)以及能够准确报告高严重性的漏洞。此外,清晰、具备元认知能力的沟通能力(即“能够清晰地展示自己的工作成果”)也是必不可少的。
准备好将您的质量保证(QA)专业知识转化为未来人工智能(AI)的质量基石吗?立即申请,开始培养那些将影响整个世界的模型吧。
我们提供的时薪范围为6美元至65美元,具体薪资将根据您的经验、专业技能以及所在地理位置来确定。最终给出的薪资可能与上述范围有所不同。作为承包商,您需要自行提供一台可靠的电脑和高速网络;公司提供的福利(如健康保险和带薪休假)不适用于您。
工作场所类型:远程办公
最初发布于 Himalayas