职位描述：
职责描述：
1、根据需求规划、设计、构建大型数据分析应用平台；
2、基于 spark streaming 和 spark mllib 完成数据挖掘和机器学习工作；
3、使用 spark streaming、spark sql 进行数据处理、查询，统计等工作。
4、通过机器学习和数据挖掘算法，进行数据清洗、统计学习、分类聚类算法，并验证算法效果。
任职要求：
1、 硕士及以上学历，计算机、数学等相关专业毕业，985/211院校优先；
2、一年以上大数据相关开发经验，熟悉 spark/hadoop/kubernetes平台；
3、熟悉常用数据处理和数据分析方法，具备良好的统计学基础，具备大数据处理相关经验，熟悉常用分类和回归算法
4、熟悉spark streaming 和 spark mllib 的相关开发，熟悉spark streaming流式计算技术；
5、熟悉 python，scala，java 其中至少一种语言，具有架构能力者优先；
6、熟悉 nosql（hbase/redis），有过 hbase/hive 调优经验者优先；
7、精通hadoop生态圈相关技术，如hdfs、flume、hbase、hive、spark、zookeeper、mapreduce等；熟悉kafka、es；
8、具有系统设计经验，熟悉geotrellis框架优先；
9、具有较好的沟通理解能力和学习能力，良好的团队合作精神；乐观、踏实、积极上进。