🏗️📊 Архитектор хранилища данных (Data Warehouse Architect)
⸻
📌 Негізгі міндеттері:
• Таралған деректер қоймасының (DWH) архитектурасын әзірлеу 🧱;
• Құрылымдалған, жартылай құрылымдалған және құрылымдалмаған үлкен деректер көлемін өңдеуге арналған инфрақұрылымды жобалау ⚙️;
• Ағындық деректерді өңдеу (streaming) шешімдерін іске асыру 🔄;
• Қолданыстағы немесе жоспарланған технологиялық стек ерекшеліктерін ескере отырып, сыртқы жүйелермен интеграцияны пысықтау 🔗;
• Бизнес талаптарын қанағаттандыру үшін технологиялық стекті дамыту 🚀;
• Шығындарды азайту мақсатында қолданыстағы процестерді оңтайландыру 💡;
• Деректерді алу, түрлендіру және жүктеу үшін ETL/ELT процестерін баптау 📥📤;
• Code review жүргізу және әзірлеу командасына менторлық ету 👨🏫👩🏫.
⸻
🧩 Негізгі талаптар:
• DWH, Data Lake және Data Lakehouse архитектураларын әзірлеу тәжірибесі 🗄️;
• Деректерді модельдеу қағидаларын білу (Kimball, Inmon, Data Vault) 📐;
• Үлкен көлемдегі деректерді (терабайттар/петабайттар) өңдеуге арналған архитектураны оңтайландыру тәжірибесі ⚡;
• S3 объектілік қоймасын Big Data үшін қолдану тәжірибесі ☁️;
• Деректерді ұйымдастыру қағидаларын білу (партициялау, сақтау форматтары) 🧠;
• Үлкен деректерге арналған табличалық форматтарды және олардың қолданылуын түсіну 📊;
• Жоғары өнімді аналитикалық есептеулер үшін SQL және сұраныстарды оңтайландыруды меңгеру 🧮;
• Hadoop экожүйесін терең түсіну (HDFS, YARN, MapReduce), Hadoop кластерлерін баптау және оңтайландыру тәжірибесі 🐘;
• Spark және PySpark негізінде процестерді әзірлеуде үлкен тәжірибе, Spark өнімділігін оңтайландыру ⚡🔥;
• NiFi құралын S3, Hadoop, Spark және басқа жүйелермен интеграциялау үшін баптау тәжірибесі 🔌;
• Spark-пен жұмыс істеу және кастомды интеграциялар үшін Java/Python тілдерін еркін меңгеру 💻;
• Кластерлердің өнімділігін мониторингтеу және профильдеу құралдарын білу (Prometheus, Grafana) 📈.
📩 Бос орынға жауап беру:
https://halykbank.kz/index.php/about/career/vacancies