*Telnyx 是一家行业领导者,我们不仅仅是在构想全球连接的未来,而是在实际行动中将其变为现实。从设计和扩展一个 私有的、全球性的、多云架构的 IP 网络,到通过直观的 API 将 超本地化边缘计算 技术直接带给用户,我们正在塑造一个人、设备与应用之间无缝互联的新时代。*
我们致力于革新和现代化那些过时的传统方式,实现手动操作的自动化,并通过创新的连接解决方案来解决现实世界中的问题。作为我们成功的一个证明,我们自豪地成为一家财务稳定且盈利的企业。强劲的盈利能力不仅使我们能够投资于前沿技术,还为我们团队营造了一个持续学习和成长的环境。
我们的共同愿景是一个互联互通的世界,在这个世界中,无边界的连接性能够激发无限的创新。加入我们,您将有机会为这个充满活力的未来奠定基础。我们目前正在寻找那些对能够在塑造行业的同时提升自己技能和职业发展感到兴奋的热忱人士。
推理基础设施架构师
*高级/职员职位 · 远程办公 — 中国大陆 · 中国团队创始成员*
Telnyx 拥有自己的 B300 硬件集群——这些硬件部署在我们的设施中,从硬件层面开始进行管理,并且正在全球范围内不断扩大。这个职位的设立目的就是将这些硬件资源转化为实际的业务价值:实现 Telnyx 自己的人工智能代理在语音和消息传输网络中的功能,同时处理外部客户通过令牌网关发送的数据,以及相关的推理计算任务。此外,还需要负责硬件的专门部署和模型调优工作。
您有两个主要职责:
- 高效地运营和扩展车队(即计算资源)。 在满足延迟和可靠性服务水平(SLO)要求的同时,最大化每美元GPU成本所能带来的推理吞吐量,并持续降低每个处理单元(token)的成本。
- 确保产品能够在该计算平台上正常运行。 为开放权重目录(open-weight catalog)提供无服务器(serverless)推理服务;同时为企业提供专用且经过优化的模型部署方案。
该技术栈是开源的,从底层硬件(“bare metal”)到与 OpenAI 兼容的终端服务(“endpoint”)都支持开源开发。您将负责该技术栈的上游开发工作(即负责技术栈核心功能的实现和优化)。
- 无服务器服务池(Serverless serving pools): 使用 vLLM/SGLang 引擎,支持连续批量处理、前缀缓存、低精度数据传输(FP8、FP4、INT4)以及 MoE(Massive Ensemble Learning)技术,能够在多租户环境下为开放权重模型目录(open-weight catalog)提供高效的服务。
- 车队层(The fleet layer): 在 Kubernetes Gateway API 上运行 llm-d/NVIDIA Dynamo,具备 KV(键值)缓存感知的路由功能、预填充/解码机制、KV 数据分层(Mooncake 技术),以及多 LoRA(Large Scale Learning with Reinforcement)服务机制,使得数百个客户适配器能够共享同一个基础服务池。
- 底层平台(The platform under it): 在裸机上部署 Kubernetes,配备 GPU Operator、基于拓扑结构的调度系统(LeaderWorkerSet、KQueue),以及用于隔离专用租户的 Kata Containers;同时利用 OpenStack Ironic 管理裸机的生命周期。
- 权重管理及弹性扩展(Weight logistics and elasticity): 采用 P2P 模型进行资源分配(Dragonfly、safetensors 流式传输),通过推理指标(如队列深度、KV 存储利用率、TTFT 等)实现自动扩展,确保系统性能不受 CPU 资源限制。
- 专用层(The dedicated tier): 为每个租户提供专属的服务池,支持 GPU 使用时长计量,设定延迟服务水平目标(Latency SLOs),并采用私有网络进行数据传输;同时包含模型调优的闭环机制:适配器版本管理、灰度发布(canary rollout)以及根据测试结果进行回滚(rollback on outcome regression)。
- 可观测性与成本控制(Observability and economics): 将引擎指标数据收集至 Prometheus/OpenTelemetry 系统;容量规划基于严格的数学模型(如带宽限制、批量处理曲线、资源利用率与成本关系等),以实现高效的成本控制。
- 你将使用的开发技术栈(The development technology stack you'll use)
其中一部分是已经确定的方向:在裸机上部署 Kubernetes、使用 vLLM/SGLang,以及开发一个与 OpenAI 兼容的终端。其余大部分内容则需要由你来评估。你需要挑选、测试并整合那些能够真正应用于生产环境的组件。我们看重的是核心服务栈的深度理解以及合理的架构设计能力,而不是候选人之前参与过哪些具体项目。
- 引擎(Engines): vLLM · SGLang
- 服务技术(Serving Techniques): 预填充/解码(prefill/decode) · 广域专家并行处理(wide expert parallelism) · 推测性解码(speculative decoding,例如 MTP、EAGLE-3) · 低精度计算(FP8、FP4、INT4)
- MoE(模型嵌入)与注意力机制库(MoE & Attention Libraries): DeepEP · DeepGEMM · EPLB · FlashMLA
- 路由与服务系统(Routing & Serving): llm-d · NVIDIA Dynamo · Kubernetes Gateway API · Envoy · Ray Serve / KubeRay
- 键值缓存与权重存储(KV Cache & Weights): Mooncake · HiCache · 3FS · Dragonfly
- 调度与GPU资源共享(Scheduling & GPU Sharing): Kubernetes · Volcano · Kueue · LeaderWorkerSet · HAMi
- 隔离机制与裸机环境(Isolation & Bare Metal): Kata Containers · OpenStack Ironic · NVIDIA GPU Operator
- 可观测性工具(Observability Tools): Prometheus · Grafana · DCGM · OpenTelemetry
- 您拥有过在实际生产环境中运行的大型语言模型(LLM),这些模型需要满足特定的流量和延迟限制。您能够解释该模型的架构、您发现的瓶颈、您所做的调整,以及这些调整对延迟、可靠性或成本带来的改进。系统需要能够处理数千个GPU或每天数百万个请求的规模,但这并非硬性要求。
- 您熟悉在GPU集群上部署Kubernetes的相关技术,包括GPU Operator、设备插件、节点池的配置、基于拓扑结构的资源调度机制(如LeaderWorkerSet、KQueue)、GitOps部署流程,以及能够排查Pod为何会被部署到特定位置的原因。
- 您对vLLM或SGLang有深入的操作经验,包括它们的部署、调优和升级工作(了解如何利用TP/EP实现并行处理、量化技术、批量处理策略、KV缓存设置、数据拆分等),并且清楚了解各个配置参数对系统性能的具体影响。
- 您具备系统层面的性能工程能力:能够解读引擎和DCGM相关的性能指标,从整体系统架构出发分析问题,并通过数据来评估部署方案的有效性。
- 您熟练使用Python和Go语言进行自动化开发;同时具备扎实的Linux系统、网络技术和存储系统知识。虽然不需要编写CUDA代码,但您需要能够判断问题所在,并将其上报给相关团队。
- 您能够用英语和中文与社区成员进行交流,编写实际可用的运行手册和设计文档。
- 操作过类似蚂蚁集团(Ant Group)、阿里云(Alibaba Cloud)、PAI、腾讯(Tencent)、字节跳动(ByteDance)、百度(Baidu)、华为(Huawei)、DaoCloud、Moonshot、DeepSeek等公司规模的推理平台。
- 参与开发或深度使用过以下工具/框架:vLLM、SGLang、llm-d、NVIDIA Dynamo、Ray/KubeRay、Kata Containers、Volcano、Kueue、HAMi、Dragonfly、Mooncake、Envoy等。
- 在 CNCF(云原生计算基金会)/ OpenInfra 社区中有活跃表现:曾在 KubeCon China、OpenInfra Days 以及 vLLM 或 SGLang 等技术会议上发表演讲。
- 微调/强化学习(RL)基础设施:LoRA数据处理流程、评估工具、冠军/挑战者系统的部署。
- 实时语音延迟优化:确保在实时通话中从用户发出语音请求到系统接收到第一个语音数据包的时间控制在秒级以内。
- 多区域部署及数据存储要求。
- 最先进的硬件,从硬件到软件都由我们自主研发。 我们拥有一个全球范围内不断扩展的 B300 系列产品,这些产品完全由 Telnyx 从设计到运营的全过程负责。将您在优化复杂生产工作负载方面的经验应用到这个项目中,您将能够从底层硬件设计到最终客户端产品的整个架构中发挥重要作用。
- 掌控平台,建设团队。 这是一个全新的推理平台,您将有机会塑造未来的发展方向和团队运作模式。作为我们中国团队的创始成员,您还将参与决定下一位团队成员的选拔以及团队的工作方式。
- 优先采用开源技术。 对项目的贡献是工作的重要组成部分,公司会为员工提供参加行业会议的差旅支持。
- 工作地点位于中国大陆,无需搬迁。 您将与一个支持远程协作的全球团队一起工作。如果您将来有搬迁的需求,我们在荷兰、美国、爱尔兰和沙特阿拉伯都设有招聘办公室,并会协助办理签证手续。
请提供您个人改进过的推理系统的简要描述:该系统的瓶颈所在、您所采取的改进措施,以及改进后的实际效果(即测量得到的结果)。提供一个匿名的示例也是可以的。
最初发布于 Himalayas