正在读取岗位…
Lifted (an Upwork Company
11/01 20:22

#111 - 数据工程师

#111 - Data Engineer

数据与人工智能数据工程兼职/接单
薪资标准:原帖未明确标注

AI 摘要

招聘数据工程师参与大规模数据平台现代化,负责将约 1,000 个数据集迁移至 Snowflake,并推进 Airflow 2 至 3、Hive 至 Iceberg 等迁移工作。远程合同岗位,每周 40 小时,面向符合条件的 EMEA 和 APAC 地区候选人,需覆盖至太平洋时间中午;预计合作至 2027 年 3 月 31 日,具体开始日期待定,共有两个名额。

岗位速览

用工形式
兼职/接单
经验门槛
2年以上的工作经验
申请地区
含中国等 202 个地区

岗位介绍

我们正在寻找一位经验丰富的数据工程师,以支持一个大规模数据平台的现代化项目。您需要将大约1,000个数据集迁移到Snowflake数据库中,调整现有的数据管道,并利用Apache Airflow 3来实现可靠的系统协调管理。项目的架构和技术方案已经确定,您的职责主要集中在实施数据迁移工作,并确保该项目在2027年3月之前顺利完成。

非常优先考虑具有企业工作经验的候选人。

主要职责

  • 将数据管道从 Apache Airflow 2 迁移到 Apache Airflow 3。
  • 迁移跨云区域之间的 Confluent 连接。
  • 使用 Snowpark Connect 将数据管道从 Hive 迁移到 Iceberg。
  • 在保持数据质量和可靠性的同时,将现有的数据管道适配到 Snowflake。
  • 支持在 Apache Airflow 中进行工作流调度和监控。
  • 与团队合作,执行时间敏感的数据迁移任务。
  • 必备技能
  • 2年以上的工作经验。
  • 扎实的软件工程基础知识。
  • 具备实际的Python开发经验。
  • 熟练掌握高级SQL技术,包括复杂的联接(joins)、公共表表达式(CTEs)、窗口函数(window functions)以及性能调优(performance tuning)。
  • 熟悉Snowflake数据建模工具。
  • 具有使用Apache Airflow开发和测试数据管道的经验,熟练掌握Python编程语言。
  • 具有使用Apache Kafka的经验。
  • 具有使用Apache Spark的经验,包括实际操作PySpark的能力。
  • 熟悉Iceberg和Parquet数据格式。
  • 具有AWS使用经验,特别是S3数据湖、数据分区(partitioning)以及数据生命周期管理(lifecycle policies)方面的知识。
  • 具备测试策略制定能力,并能够实际调试和测试代码。
  • 至少有2年在处理大规模数据集方面的行业经验,涉及使用Airflow和Spark等工具。
  • 具备出色的沟通能力。
  • 具备独立工作的能力。
  • 附加技能(非必备但会提升竞争力的技能)
  • 具备实际操作Snowflake数据库迁移的经验,包括数据仓库的现代化改造以及性能和成本优化。
  • 具备Apache Airflow迁移的经验,包括版本升级、执行器配置调整或平台迁移等工作。
  • 具备使用AI工具进行开发的经验。
  • 所需工具与平台
  • 熟练掌握 Python 和 SQL 编程语言。
  • 熟悉 Snowflake、Apache Airflow、Apache Kafka 以及 Apache Spark/PySpark 的使用。
  • 了解 Iceberg 和 Parquet 数据存储格式。
  • 具备 AWS S3 的使用经验。
  • 迁移过程中还需要使用 Confluent、Hive 和 Snowpark Connect 等工具。
  • 地点、时间与工作安排
  • 欢迎来自符合条件的欧洲、中东和非洲(EMEA)以及亚太地区(APAC)地区的候选人申请。
  • 工作覆盖范围需涵盖太平洋时间中午12:00之前的时段。
  • 采用远程办公模式,每周工作40小时。
  • 预计工作期限至2027年3月31日;具体开始日期待确认。
  • 目前有两个职位空缺。
  • 此职位不属于“合同转正式雇佣”(contract-to-hire)的类型。

最初发布于 Himalayas

查看原岗位