大数据开发工程师岗位的基本职责(精选28篇)
职责:
1、负责业务系统日常运行维护,线上故障紧急处理;
2、配合研发人员,负责大数据平台系统环境(正式、开发、测试)搭建 ,日常变更部署上线 ;
3、根据平时工作能够进行总结抽象,完成大数据运维相关工具研发。
4、分析系统及应用程序的性能问题,形成可实施优化方案并推动落地;
5、负责公司平台的安全性,提供安全保障7*24小时运营
任职要求:
1、5年以上工作经验,本科及以上学历;
2、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、kafka、kylin、prosto等,至少掌握Java/Python//Shell中的两种语言。
3、为团队定位Hadoop群集生态系统故障提供技术支持,负责解决重大技术问题,包括源代码级的问题定位。
4、理解Linux系统、运维体系结构,精于容量规划、架构设计、性能优化。
5、有清晰思维善于总结,有良好的问题定位和排错能力。
职责:
1. 根据公司业务需求,进行数据开发及报表制作;
2. 参与BI、大数据平台体系建设;
3. 文档整理,包括ER图、原型设计、数据字典整理等;
岗位要求:
1. 本科或以上学历,计算机相关专业,2年及以上工作经验;
2. 熟练使用主流数据库(如ORACLE/PostgreSQL/MYSQL等),掌握SQL查询优化方法;
3. 熟悉HADOOP生态,能够熟练使用HIVE/HBASE/SPARK进行数据开发;
4. 掌握JAVA或PYTHON,会TABLEAU/KYLIN/帆软等BI工具者优先;
1.参与业务需求及流程、数据库设计,了解业务流程及需求;
2.按需求及开发计划完成功能模块设计、代码实现及测试;
3.编写开发过程相关测试文档、开发文档等;
4.参与集团信息化项目开发工作;
5.主动学习新技术,参与团队技术交流和分享活动,促进团队共同进步;
6.电商系统的开发;
7.临时交办的其他任务。
职责:
1. 负责公司项目服务端接口的开发;
2. 负责与项目其他端(包括前端、小程序、客户端)完成接口联调;
3. 能够独立完成代码编写并自测;
4. 及时向上级反馈需求和技术上的问题,同时提供合理化建议,并积极推动问题解决;
5. 辅导/组织其他同事开展技术开发工作。
任职资格:
1. 1年以上PHP+MySQL开发经验;
2. 有使用PHP MVC框架(如Yii、ThinkPHP、Laravel等)完成项目开发的经验;
3. 有Restful API开发经验者优先;
4. 具有数据库索引优化、查询优化和存储优化经验,memcache或redis等缓存、静态化设计方面的经验;
5. 有良好的编码习惯,结构清晰、命名规范、逻辑性强;
6. 优秀的沟通能力,积极的工作态度,具有良好的团队协作精神;
7. 可以承受较强的工作压力;
8. 强烈的责任感,勇于承诺,并倾尽全力兑现承诺;
9. 善于分析问题,并用简单的方案解决复杂问题,化繁为简。
1、根据公司信息化发展需要和业务流程要求,对现有系统进行定制化二次开发和功能扩展,制定二次开发方案、计划并实施,分析并解决开发过程中的问题;
2、自主开发满足公司库存管理系统、订单报价系统及WIFI系统对接等,负责软件产品的架构设计、功能模块设计、数据库结构设计及核心代码开发;
3、对内部流程系统及自主开发软件系统进行维护,保障软件系统的稳定运行;
4、负责相关系统的技术支持和内部系统操作培训;
5、完成上级临时交办的其他工作。
职责:
1.有独立工作能力,工作踏实认真,以及较强的团队协作精神。
2.负责日志大数据平台的搭建和规划;
3.在总体架构设计下,完成日志大数据产品的设计、搭建、维护和调优,技术文档的编写与维护;
4.参与业务日志的大数据分析;
5.及时反馈开发中遇到的难点问题,沟通并寻求解决方案,按阶段有计划地完成开发任务
任职资格:
1、计算机等相关专业本科以上学历,2年以上开发经验;
2、熟悉 linux 操作系统,熟悉 shell 脚本语言,精通 Java,有较强的开发能力;
2、熟练使用SQL,熟悉Mysql、MongoDB、Hive等数据库技术的基本操作及原理;
3、熟悉Hadoop/Spark生态系统组件的使用,至少有1年的Spark(Core/Streaming/SQL)开发经验;
4、熟悉Elastic产品线(如 Elasticsearch、Kafka、Kibana、Logstash)的使用方法,了解常见优化方案,熟悉Elasticsearch部署、监控及性能调优;
5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;
1.根据业务需求,进行技术编码,调试,单元测试,能够解决核心技术问题;
2.运用项目开发相关工作技能,及时发现设计工作中的问题,提出解决问题的途径;
3.主动与业务部门保持沟通,根据业务需求分析系统要点及系统开发点;
4.参与技术需求的调研,技术可行性分析,系统架构的设计、优化;
5.完成模块详细设计与开发。
【职位要求】
1.本科及以上学历,计算机或相关专业,5年及以上Java开发经验,有1个以上大中型项目架构设计经验更佳;
2.熟练掌握J2EE体系架构,拥有扎实的数据结构、算法和Java基础;
3.熟练掌握Java MVC开发架构模式,熟练掌握各种开源框架,熟练使用Spring/SpringMVC/SpringBoot/SpringCloud/Mybatis等;
4.熟悉JVM内存管理、类加载机制等,掌握Java系统的故障排查和性能调优;
5.熟练掌握MySQL数据库,熟悉数据库建模,具备深厚的SQL功底,并有着丰富的数据库设计经验,了解MongoDB/Redis等NoSQL的'数据库,熟悉不同类型数据库的底层运行原理和优缺点;
6.具有系统需求分析和设计能力,能快速理解业务需求并进行相关逻辑设计,熟悉UML建模,并熟练使用相关建模工具,并具有规范的开发、设计文档写作能力;
7.具备良好的沟通能力、较强的抗压能力,积极向上,认真负责。
1、基于公司的网站与系统产品设计需求,负责php程序的设计、开发工作;
2、负责公司系统数据库、程序模块的设计与开发;
3、负责协助产品经理进行技术评测,bug处理,代码开发;
4、定期与其他部门沟通,获取反馈信息并进行相应的处理;
5、系统开发文档的编写。
理解交易系统设计,负责交易系统的接口开发、维护和相关应用需求;
负责交易系统优化,包括网络编程、数据库、高性能计算优化等。
1、负责结构化数据和文本的数据处理、建模、分析等工作,如:数据清洗、中文分词、情感分析、文本分类等;
2、负责数据需求的收集、整理和分析,配合其他同事完成结构化数据和文本的需求分析;
3、负责分析结果的可视化展现;
4、负责核心算法的设计与优化。
任职要求:
1、全日制本科毕业;
2、计算机或数学或软件类或统计相关专业;
3、熟悉数据挖掘和文本挖掘的理论基础,掌握统计模型、机器学习相关原理;
4、熟悉r/python/java等编程语言,熟悉常用数据结构和算法,熟悉正则表达式的使用。
职责:
1、负责Java技术领域的开发工作,从事代码开发、程序设计等工作。
2、完成项目的核心编码,配合项目主管做好项目管理
3、参与部分产品的架构预研并做技术分享
4、完成日常项目的维护
职位要求 *
1、2年以上java前后台开发工作经验
2、精通J2ee体系结构,熟悉java语言并进行web开发,熟悉javascript、html、css标签。
3、熟悉Oracle,熟练使用sql语句。
4、熟悉jsp,servlet,java bean, jdbc开发,具有一定的代码规范。
5、了解开源技术框架Struts2,Spring,Hibernate等。
6、熟练掌握Eclipse开发工具,了解SVN等版本工具。
7、良好的协作精神和较强的学习能力。
8、熟练使用was、tomcat等主流中间件。
9、能独立处理技术问题,并有培养新人的经验。
职责:
1、负责PHP项目的分析设计、开发、测试及维护
2、负责完成项目的设计与编写,参与程序模块的编写
3、负责撰写开发文档,包括架构设计文档、数据库设计文档、接口设计文档、概要设计文档、详细设计文档
4、负责大型在线考试系统的开发、实施部署。
5、参与软件项目实施,负责远程或现场的技术支持工作
岗位要求:
1、大专学历以上,两年以上PHP相关经验。
2、精通PHP/MySQL开发,Smarty模板技术;精通JavaScript,html,css,能处理浏览器兼容性问题。
3、能够熟练完成Linux系统下的Apache+ php环境搭建。
4、有良好的学习、沟通、协调能力,具备良好的团队合作精神,对工作积极严谨;
1、清洗设备软件开发及调试;
2、硬件焊接调试,样机制作,可靠性测试与评估;
3、协同测试人员进行BUG跟踪,不断完善软件产品;
4、软件设计文档、生产软件测试文档等的输出。
职责:
1、负责大数据平台的技术和产品的设计、开发、优化和维护;
2、负责大数据平台设计文档编写,线上产品的维护;
3、负责系统性能优化,解决各类潜在系统技术风险,保证系统的安全、稳定、快速运行;
4、负责整个产品平台的搭建、多维数据库建设及管控流程设计;
5、参与指标设计,数据建模,负责将数据模型在系统中实现;
6、负责数据抽取、数据交换、实时计算等框架研究及相关产品的研发;
7、负责追踪整体产品过程及质量把控。
任职要求:
1、专业技能:精通 Hadoop 生态圈中的一项或几项技术,深入了解 Hadoop 及相关组件的部署及调优;设计或开发过大容量,高性能,高可用,易扩展的分布式系统;熟悉实时计算/流式计算系统,至少熟悉一项 Nosql 技术;具有扎实 java 功底及开发能力;对 hadoop,hive,hbase,spark 等相关源码有一定了解;
2、学历背景:计算机相关专业本科及以上学历;
3、工作经验:3年以上JAVA开发经验及1年以上大数据研发经验
4、能力素质:具有出色的抽象设计能力,思路清晰,善于思考,良好的团队合作能力、沟通能力、较好的自学能力,具有敬岗爱业的精神。
5、有团队管理经验者优先。
1、参与应用系统及模块设计;
2、根据系统设计执行代码开发;
3、 参与单元测试或交叉验证;
4、 参与所负责功能点的需求实现确认;
5、 按计划及规范提交可编译通过的代码及相关修正文档;
6、 根据测试负责人要求及提供的测试用例,组织集成测试或BVT测试;
7、 跟踪并修正系统测试过程发现或回归的bug,保障系统达到质量要求;
8、根据部门总监的人员提升规划,对部分人员进行JAVA技术、开发技能等知识普及及能力培养。
职责:
1. 负责产品研发Java后台设计与开发工作、客户现场相关项目的Java后台设计与开发工作;
2. 对自行编制的功能代码进行功能与性能优化,可协助H5、APP端、第三方进行接口联调,及时修改测试、提出BUG,确保代码质量;
3. 撰写相关的技术文档,主要包括设计文档、接口文档、部署文档、使用手册等;
4. 参与项目整个过程的实施工作,并具备独立安装部署和后期实施运维能力;
5. 参与到项目售前技术支持工作,能出差实施项目。
任职资格:
1. 计算机相关专业毕业,有3年以上Java工作经验,至少有1年以上移动应用开发开发经验;
2. 熟练使用SQL语句与SQL优化,熟悉主流数据库MySql、Oracle等;
3. 熟练J2EE主流技术框架:Spring MVC、 Spring Boot、Spring Cloud、Spring JPA、Mybatis、Hibernate等;
4. 精通HTTP通信协议、RESTfull API、HttpClient等接口规范与应用;
5. 熟练Java相关边沿技术与工具:Eclipse、Maven、SVN、Git、JavaScript、Poi、Log4j、freemarker、Quartz、Rabbit MQ等
6. 熟练使用Linux常用命令,可以完成Java服务运行环境的安装、部署、监控等工作;
7. 具有良好的理解能力与沟通能力,能正确理解产品或项目目标与需求,有问题可以积极沟通确认,能做到及时准确的上报下达;
8. 具有良好的职业素质与团队合作精神,可以严格遵守公司与项目组相关规定,有强烈的集体团队意识;
9. 对工作态度主动积极、认真负责、且具有一定的抗压能力。
职责:
1、负责公司大数据基础平台产品开发工作;
2、完成产品/项目划分的研发任务,按需求规范进行研发;
3、具备良好的需求分析能力、业务建模能力,参与产品和项目相关模块的需求讨论,概要、详细设计;
4、具备良好的架构分析能力与设计能力,积极参与前期设计;
5、能根据设计方案和计划进行编码实现,在进度和质量上符合方案和计划的要求;
6、及时对BUG库中的软件问题进行跟踪修正。
岗位要求:
1、三年以上工作经验,一年以上大数据平台架构及ETL相关经验,可独立搭建/运维CDH/Spark整套平台架构;
2、精通Python/Java/Scala/SQL/Shell等语言中两种以上,熟悉Spark/Hadoop/Hive/MR/Hbase/ZK/YARN等三种以上开源框架的原理和源码;
3、熟悉容器平台开发或者开发优先考虑,有docker、kubernetes相关开发经验更佳;
4、学习能力强,适应能力好,有丰富的问题原因定位及运维技术支持经验;
5、有市场上成熟的大数据平台产品实际架构/开发经验优先。
职责:
1.参与基于JAVA技术的应用系统开发;
2.参与需求分析,根据具体的模块需求,独立完成模块的设计编码工作;
3.负责所开发模块的故障修复、性能调优等;
4.根据开发规范与流程完成系统设计、编码、测试以及相关文档的编写;
任职要求:
1.计算机相关专业本科及以上学历,3-5年以上Java开发经验
2.熟练掌握Java、HTML/Javascript/CSS,JSP/Servlet等JAVAEE相关技术,有vue相关经验更佳;
3.熟练掌握MySQL等数据库;
4.熟练掌握Tomcat等应用服务器、nginx等负载均衡软件;
5.精通MVC模式下的B/S开发,熟悉Spring/Springboot/SpringMVC/MyBatis等开源框架;
6.敬业、责任心强,良好的沟通能力。
职责:
参与日常系统的技术支持,运行维护工作。
负责处理过程中问题现象和处理方案的收集编写,形成知识库,并对知识库进行更新。
负责数据仓库、报表平台等BI项目的ETL开发、数据模型设计及应用开发.
负责新 BI 项目的项目执行,负责 BI 可视化报表开发.
岗位要求:
大专及以上学历,计算机及相关专业。
一年以上的数据库开发经验。
熟悉SQL Server、MYSQL等主流数据库中的一种,能熟练运用SQL。
工作细心,主动、具备良好的逻辑思维能力、具有独立分析解决问题的能力、有良好的责任心和团队精神、勇于创新,能承受工作压力。
具有PowerBI的图表制作经验者优先考虑。
职责:
1、负责软件产品的研发工作;
2、负责系统分析、设计以及编码工作,系统瓶颈分析及解决;
3、负责分析并处理系统故障;
4、负责系统重构以及新产品的研发。
任职资格:
1、计算机或相关专业本科及以上学历;
2、5年以上J2EE实际项目的编程经验;
3、有MySQL等主流数据库的实际应用经验;
4、熟悉常用框架,如 struts2、springmvc、spring boot 、hiberante;
5、熟悉并熟练掌握多线程,大数据处理方面技术,以及 Dubbo、MQ、缓存等组件;
6、熟悉Web前端开发,熟悉Javascript、Jquery、JSON、Ajax、CSS+DIV、DHTML、XML等页面处理技术;
7、通过SVN进行团队协作开发;
8、具备良好的沟通能力与独立工作能力;
9、具备较强的学习能力和良好的工作效率。
岗位职责:
1、参与工具平台功能研发与维护;
2、负责系统性能优化和改进;
3、负责系统在云服务器上的部署和维护;
岗位要求:
1、对计算机相关基础知识有较好理解,深刻了解常用数据结构和算法;
2、深刻理解restful api的运作原理、设计及开发;
3、熟练掌握nodejs开发;
4。至少熟练掌握nodejs/java开发之一;
5、熟练掌握后端应用的`部署;
6、掌握关系型数据库及非关系型数据库的使用及设计;
7、熟悉tcp/udp等网络协议,熟悉基于websocket的开发;
8、良好的编码风格;
9、具备良好的沟通和合作的能力,以及开放的心态;
拥有以下经验的候选人,将会被优先考虑:
1、有typescript的使用经验;
2、有支付设备行业经验;
3、有linux相关的使用经验。
职责:
1、负责将设计图转化成页面,并使用HTML,CSS和Javascript 实现交互效果;
2、负责主流浏览器兼容性调整;
3、负责大型Web网站布局,可适配移动端;
4、与UI设计师协作,优化用户交互体验;
5、重新开发公司官网、手机网站等,
岗位要求
1、计算机等相关相近专业大专以上学历,1年以上Web前端开发经验;
2、精通HTML5,CSS3,JavaScript, 精通DIV+CSS网页布局,熟悉W3C网页标准,有开发前端框架经验;
3、熟悉常见JS开发框架源码实现,(如:prototype、jQuery、Mootools),至少熟练其中一种;
4、对常见的浏览器兼容问题有清晰的理解,并有可靠的解决方案;如IE6/7/8/9、Firefox、Safari、Chrome;做到代码效率最高,用户体验好,代码下载量最小;
5、熟悉MVC框架如Backbone、AngularJS、VueJS等;
6、对互联网新产品新技术有着良好的敏感度,对交互体验有较为深入的了解,有分享和总结的习惯;
7、较强的团队协作能力与沟通能力,并与设计人员,程序开发人员进行较好的配合;
8、熟悉前端性能优化,对SEO等有良好的体验;
9、富有创新精神,思路清晰,注重细节,工作努力负责,勇于接受挑战。
职责:
1.学习JavaWeb/Java游戏相关技术,有机会接触客户端游戏开发
2. 按时并独立完成JavaWeb/Java游戏模块的设计、开发任务;
3. 精益求精地开发稳定、高效的代码;
4. 对自己的代码负责,并协助其他同事共同完成开发任务;
5. 维护线上游戏服务器,解决线上出现的bug。
岗位要求:
1、大专及以上学历,计算机软件专业接受优秀应届生和在校实习生,暑假工勿投;
2、良好的主动学习能力,细致、耐心的工作态度,能够承受一定工作压力;
3、热爱计算机技术,热衷于软件开发工作;
4、有团队合作精神,善于沟通与团队合作;
5、求知欲强,工作严谨,积极负责,善于与人沟通。
职责:
1.负责ORACLE、SQLSEVER等数据库的实时数据处理、故障分析出来,性能优化等;
2.定位和解决数据集群组件性能和高可用问题,协助数据集群监控系统的开发;
3.深入探索业务数据,创造性的思考和发现问题,能够提出有效解决方案,协助新项目的预研和开发,数据驱动业务,
4.负责公司内外部各数据的接入和清洗处理。
任职资格:
1、计算机相关专业,本科及以上学历,1年以上hadoop开发经验,对分布式计算理论有深刻理解。
2、熟悉Linux开发环境,熟练Java、scala编程,有良好的编码习惯;
3、熟悉Hadoop、HBase、HIVE、Spark、KAFKA等系统相关技术原理与实现;
4、熟悉mysql、sql server、oracle开发环境,对SQL语句相当熟练,具备sql调优能力;
5、有大数据运维相关经验优先
6、具备良好的沟通能力、学习能力、分析解决问题能力;
7、英语熟练优先
职责:
1、 负责针对业务源系统进行数据抽取、处理、分析等相关工作。
2、 负责项目中涉及到的数据库创建、维护及提供数据接口工作;
3、 负责政府等业务数据库的开发、维护工作。
岗位要求:
1、计算机相关专业,有数据处理、数据库分析、开发经验,条件优秀者可适当放宽要求;
2、熟悉主流数据库的处理、分析、设计工具;
3、熟悉SQL关系数据语言;
4、熟悉常用数据库oracle、sqlserver、db2的管理,有数据库管理经验;
5、有良好的表达沟通能力;品行端正、诚实守信,具备团队合作精神,有强烈的事业心和创新开拓精神;
6、具有较强的学习、分析和判断能力。
职责:
1. 负责设计和实现手机卫士大数据BI平台;
2. 不断完善数据产品的架构设计,应用开发和新技术迭代;
3. 配合业务,产品,根据不同的业务需求,灵活快速地完成具有挑战性的项目,为业务提供有价值的数据分析和预测。
任职要求
1. 计算机软件相关专业本科及以上学历,至少3年以上工作经验;
2. 认可技术与平台在BI的价值,能够深入业务领域,通过使用数据分析和挖据技术,让业务生成的海量数据产生更大价值。
3. 熟练掌握大数据技术:包括Hadoop,Spark,Storm,Hive,Presto,Parquet,Flink,Druid,OLAP, Elastic Search等等。
4. 具备良好的编程能力和代码风格,熟练掌握Java, Python等语言,熟练使用SQL,并具有较强的优化能力。
5. 需要有很强的开发和架构设计能力,特别是在大数据的分布式和实时处理领域,对存储引擎和查询引擎的原理和优化都具备比较深入的理解。
6. 有一定的数据挖掘和机器学习算法能力,包括推荐系统,深度学习等技术领域 。
7. 拥有正直、积极、宽容的品质,学习能力强,并且善于沟通合作。
职责:
1、根据产品设计文档和UI原型,利用HTML5相关技术开发移动端的web前端页面;
2、基于HTML5.0标准进行页面制作,编写可复用的用户界面组件;
3、持续的优化前端体验和页面响应速度,并保证兼容性和执行效率。
岗位要求:
1、计算机或相关专业专科及以上学历,1年以上的HTML5开发经验;
2、具有独立完成前端开发工作的能力;
3、熟悉移动端的前端开发、多浏览器兼容及移动端机型适配方式;
4、熟练掌握web系统开发技术,熟悉javascript、jquery、CSS3、HTML5、Ajax,能快速定位解决浏览器兼容性问题;
5、熟悉常见页面布局方式,移动端响应式页面布局方式,熟悉css性能优化方式。
职责:
1、负责大数据统计平台建设与优化;
2、负责广告效果分析,反作弊平台建设;
3、负责移动广告平台相关系统的设计研发及持续优化。
职位要求:
1、计算机或相关专业本科学历及以上,2年工作经验;
2、精通大数据采集、处理、存储、查询相关技术;
3、熟悉Hadoop/Hbase/Hive/Spark/Storm/Kafka相关技术;
4、至少熟练掌握 Java/Scala/Python 中一门语言;
5、有做过大数据量查询优化的优先;
6、有大数据服务运维、性能调优者优先;
7、熟悉常用的设计模式,对MVC框架有了解;
8、强烈的责任心,对技术充满热情,高效率,良好的沟通能力。