利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析。
数据采集
数据存储
数据处理
课程阶段 | 主要内容 | 核心能力培养 |
大数据开发语言基础 | 基本程序逻辑、面向对象深入、异常处理机制、常用类、集合&泛型、多线程、MySQL基础、远程仓库、DDL/DCL/DML/DQL、SQL优化、批量处理事务DBUtil、Git管理文件版本、pom.xml详解 | 掌握JAVA核心技术、掌握MySQL数据库、掌握利用JDBC操作数据库 |
离线场景下的数据存储和计算 | 企业常用Linux命令、awk,sed,seq,xargs进阶命令、HDFS分布式文件系统、MapReduce并行计算、Yarn资源分配、Hive数据仓库、Flume日志实时采集、Sqoop数据导入导出工具 | 掌握Hadoop生态技术栈:HDFS,MapReduce,Yarn,Zookeeper,Hive,Flume,Sqoop等,掌握ETL技术:Kylin、kettle等、BI工具:Superset、Echarts。 项目实战:企业级电商大数据分析系统之离线数据仓库项目、客快物流大数据项目 |
数仓建设和实时检索 | Redis概述、Redis事务、Jedis和Spring整合、Hbase整体架构、API的使用方式、数据结构检索与搜索原理、search搜索相关算法、kafka安装和使用、kafka运行流程和文件存储、分区原则、消息可靠性 | 掌握No SQL数据库:Redis,HBase,掌握数据仓库设计和建设,掌握实时检索Elastic Search技术 |
Scala编程&Spark分布式计算框架 |
Scala概述、Scala程序逻辑、Scala面向对象编程、 隐式转换、Scala集合、函数式编程、单向环形链表、约瑟夫问题、Spark概述、Spark安装和使用、RDD&算子、Spark SQL、DataSet DataFrame 、SparkStreaming、Spark调优
|
掌握Scala语言和算法,掌握Spark分布式计算框架 |
实时计算与数据挖掘 |
Spark MLlib算法、Spark MLlib统计分析、Spark MLlib分类和回归、Spark MLlib聚类和降维、Spark MLlib关联规则与推荐算法、Flink状态管理与恢复、Flink的Time详解、Flink SQL、Flink的事件处理
|
掌握数据挖掘、掌握Flink计算引擎 |
大数据已渗透到各个领域,无处不在
1金融
高频交易,市场分析,信贷风险分析等
智慧物流,包括成本控制,风险管理等
在线教育、适应性教学,教学规律发现等
4医疗
流行病预测,智慧医疗,健康管理等
用户画像,个性化推荐,广告投放等
智慧交通,城市规划,智能安防等
选择云和数据值得信赖
河南云和数据信息技术有限公司(以下简称“云和数据”)成立于2013年9月,作为规模更大、更具影响力的紧缺、核心ICT人才生态服务国家级高新技术企业,专注ICT职业教育、云计算、大数据、电子商务、跨境贸易、网络安全、AI、VR等领域研究与服务,下设云和技术、云和服务、云和教育、云和国际四大事业部。
云和数据秉持“技术立企,创新驱动”的理念,拥有网络空间安全攻防仿真实验室、云计算聚合研发实训平台、大数据应用技术实训实验室、虚拟现实教学展示平台、电子商务教学管理测评实验室等40多项自主知识产权的学科实验室,服务了郑州大学、河南大学等200多所全国高校。
云和数据发挥技术与人才优势,重点支撑河南省企业上云技术服务的同时围绕软件测试,大数据采集、清洗、存储、分析、可视化、运维,Web前端开发,UI/UE等方向,为东方国信、东软、亚信、航空港智慧城市等企业及应用场景提供驻场技术开发及运维服务。
云和数据作为国家级全民数字素养与技能培训基地、教育部产学合作协同育人项目单位、河南省省级“河南码农”数字人才人力资源品牌培训示范基地、河南省产教融合型企业、河南省企业上云综合云平台服务商、河南省创新型中小企业、世界技能大赛(云计算方向)省、市两级集训基地、郑州市大数据企业、郑州市职业技能等级鉴定评价机构、郑州市数字技能人才培养评价联盟秘书长单位、郑州市云计算企业技术中心、郑州市高技能人才培训示范基地、郑州市电子信息技术高技能人才公共实训基地、郑州市电子商务人才培养示范基地、郑州市服务外包人才培养基地、云计算大师工作室(陈涛),是全国同时拥有华为、腾讯、百度、Amazon、Unity、Oracle、Microsoft 等公司官方教育、认证授权的公司之一,与省内外140多所高校开展了产业学院、产教融合基地、专业共建、师资培训、实习实训、新型学徒制、协同育人、顶岗实习等多维度、多层次的校企合作。
云和数据ICT职业教育发挥公司产业化优势与技术积淀,整合国内外优秀师资,累计自主研发230余项教辅、教材,300余项实践教学案例与实训平台,采用六位一体项目制教学模式,年培养高端ICT技术人才超10000人,累计为企业输送高端泛ICT技术人才超9万人,学员60%来自于口碑推荐。云和数据人才培养技术方向涵盖大数据、JAVA软件工程、UI用户体验设计、前端开发、软件测试、智能制造、虚拟现实、云计算、人工智能九大方向,以九大精品课程为基础,八大就业基地为依托,一次就业率99.02%,61.9%就业薪资超1W,以大数据为首的精品专业平均薪资13.25K。
云和数据ICT职业教育,更大规模、更多人选择;更好的ICT学习、更好的就业;在云和,再出发!
河南省郑州市高新区电子商务产业园3号楼1楼