仕事内容

• Airflow、Spark、Kafka などの最もスケーラブルで復元力の高いオープンソース ビッグ データ テクノロジを使用してデータ資産を構築および管理します。
• 適切な DevOps 原則と実践を備えたマイクロサービス主導の設計とアーキテクチャを採用することで、拡張性が高く効率的なデータおよび ML インフラストラクチャを構築および管理します。
• リアルタイムおよびバッチのユースケースをサポートするデータレイク上での取り込みと消費を含む、次世代のデータライフサイクル管理スイートのツール/フレームワークを設計して提供します。
• GFG グループの垂直部門全体でさまざまなデータ ソースを統合するチームを支援する
• データ レイクのメタデータ カタログを構築して公開し、探索、プロファイリング、リネージ要件を容易にします。

職務要件

• スケーラブルで安全、フォールトトレラント、回復力のあるミッションクリティカルなビッグデータ プラットフォームの開発における少なくとも 3 年以上の関連経験。
• 高可用性でエコシステムを維持および監視できます。
• すべてのビッグ データ コンポーネントと管理の基礎を十分に理解している必要があります。さまざまなオープンソース テクノロジーを使用して完全なデータ プラットフォームを構築する実践。
• Linux と、Kubernetes を使用して AWS/GCP 上にビッグ データ スタックを構築するための基礎的な実践的な知識が必要です。
• ビッグデータと、HDFS、Spark、Presto、Airflow、Kafka、Apache Atlas などの関連テクノロジーについての深い理解。
• Spark Streaming、Kafka、Apache Flink、Beam などの複雑なイベント処理システムに関する十分な知識。
• データ エコシステムで CI/CD、コンテナ化、Blue-Green デプロイメント、シークレット管理などの Devops のベスト プラクティスを推進できます。
• 上下および垂直方向と水平方向の自動スケール機能を備えたアジャイルなプラットフォームを開発できます。
• データ エコシステムで使用されているすべてのコンポーネントの可観測性と監視エコシステムを開発できます。
• Java、Scala、Python、Go の少なくとも 1 つのプログラミング言語に習熟していること。

利点

• 年次休暇：15日
• 病気休暇/メンタルヘルス日数: 30 日間。
• 臨時休暇：1日。
• 13ヶ月目の給料。
• 年間賞与：給与ベースで最大3ヶ月分（会社業績により異なります）。
• ホーム ワークスペースのサポート: 1 人あたり最大 700 万。
• 学習予算は 1 人あたり最大 500 ユーロです。
• 医療手当：社会保険、医療保険、AON保険。
• MacBookが用意されています。
• 英語の授業をサポートします。
• ジムのメンバーシップをサポートします。
• さらに、フラットな階層構造、楽しく柔軟な作業環境を提供します。