正在读取岗位…
TASQ Staffing Solutions
11/01 20:35

高级数据工程师(负责AWS及Confluent数据/AI项目)| 远程工作

Senior Data Engineer (AWS & Confluent Data/AI Projects) | Remote

数据与人工智能数据工程全职
薪资标准:原帖未明确标注

AI 摘要

远程数据工程岗位,工作时间为新加坡时间上午10点至下午6点。工作重点是基于 AWS 和 Confluent Kafka 设计、开发及优化批处理与实时数据方案;要求具备3至5年相关经验,并需自备可正常工作的笔记本电脑。

岗位速览

用工形式
全职
经验门槛
3至5年的数据工程工作经验
申请地区
含中国等 54 个地区

岗位介绍

工作安排:远程办公

工作时间: 上午10点至下午6点

职责:

  • 数据解决方案架构师与设计师:负责设计和构建可扩展、安全且高效的数据管道,以支持在 AWS 上进行批量和实时数据处理。工作内容包括数据导入、转换、存储以及数据的使用。
  • Confluent Kafka 专家:利用 Confluent Platform(Kafka、ksqlDB、Kafka Connect、Schema Registry)设计、实现并优化高性能且可靠的数据流解决方案,确保数据能够高效地传输,以支持实时分析和人工智能应用。
  • AWS 云原生开发:利用多种 AWS 服务开发和部署数据解决方案,包括但不限于:
  • 数据存储:S3(数据湖)、RDS、DynamoDB、Redshift、Lake Formation。
  • 数据处理:Glue、EMR(Spark)、Lambda、Kinesis、MSK(用于 Kafka 集成)。
  • 任务编排:AWS Step Functions、Airflow(在 EC2 或 MWAA 上运行)。
  • 分析与机器学习:使用 Athena、QuickSight、SageMaker 进行数据分析与机器学习任务的集成(支持 MLOps,即机器学习操作)。
  • 所需技能和资格:
  • 计算机科学、软件工程或相关定量领域的学士或硕士学位。
  • 3至5年的数据工程工作经验,重点关注基于云的解决方案。
  • 在AWS数据服务(如S3、Glue、EMR、Redshift、Kinesis、Lambda等)方面具有深厚的专业知识。
  • 具有丰富的实践经验,能够使用Confluent Platform/Apache Kafka构建实时数据流应用程序。
  • 熟练掌握Python、PySpark、Scala或Java等编程语言。
  • 擅长SQL,并具备使用多种数据库系统(关系型数据库和NoSQL数据库)的经验。
  • 对数据仓库、数据湖和数据建模概念(如星型架构、雪花型架构等)有扎实的理解。
  • 具有CI/CD管道和DevOps实践的经验(如Git、Terraform、Jenkins、Azure DevOps等)。
  • 拥有AWS认证(例如AWS Certified Data Analytics - Specialty、AWS Certified...等)。
  • 偏好条件(如有更好):
  • 解决方案架构师(助理/专业级别)
  • 具备其他流处理技术(如 Flink)的使用经验
  • 熟悉容器化技术(Docker、Kubernetes)
  • 了解 Data Mesh 或 Data Fabric 的概念
  • 有数据可视化工具(如 Tableau、Power BI、QuickSight)的使用经验
  • 理解机器学习运维(MLOps)的原理及相关工具

候选人必须配备一台可正常使用的笔记本电脑

最初发布于 Himalayas

查看原岗位