大数据工程师培训课程体系

阶段    内容    要点    目标    

较好阶段    Java编程基础    Java Core
Java面向对象
MySQL    能够完成基于面向
对象思想JavaSE
项目开发    

第二阶段    Java Web框架    Java Web
Web前端
SSM/SSH框架
爱旅行电商项目    成为具备企业级项
目开发经验的中级
Java开发工程师    

第三阶段    基于分布式微服务的互联网架构    微服
(Dubbox+Spring
Boot+Docker)
基于Spring Cloud的
微服务分布式架构开
发
双十一抢购项目
大觅网在线票务平台    成为中级Java分
布式工程师、系统
架构师     

第四阶段    大数据核心技术    Python爬虫+ELK+分析
Hadoop生态圈
Spark技术栈
构建离线数据分析平台
大数据系统管理与优化
实时流处理平台
互联网直播平台日志分析项目航班飞行网图分析项目
用户交易欺诈分析项目
电子商务消费行为分析项目
舆情分析
垃圾邮件分类项目
用户兴趣系统
股票实时预测系统
在线教育Spark大数据实时分析平台    学完本阶段，可以成
为大数据开发工程师
大数据架构师
Hadoop开发工程师
Spark开发工程师
ETL工程师
Hive工程师
数据仓库工程师
Python开发工程师
爬虫工程师    

第五阶段    数据挖掘技术    R语言
SPSS/SAS
统计分析
机器学习
金融风险控制预测和结
果分析项目
客户与产品关联分析及
系统
     数据挖掘，成为企
业抢手的数据分析师

真实企业级型项目教学，提供真实的业务级+系统级解决方案

课工场大数据有N+1个互联网企业项目，完全基于技术服务于业务的设计理念,提供真实的业务级t系统级解决方案， 所有的项目均采用敏捷方式(Scrum) 进行开发管理，企业流行的IDE: IntelliJ IDEA。

项目名称    技术点    特色    

金融实时股票数据分析项目名称    Kafka Connector+ Confluent +Spark、Streaming+Redis+Tableau
     加入多种流处理框架(Flink、 Storm) 的实现对比
1.实时股票数据展示
2. 实时股票数据过滤，合并，关联和清洗
3.实时股票数据统计计算，如累加，较值，均值等    

电商号店双11抢购    基于Dubbox的分布式微服架构，Spring Boot Dubbox、ZooKeeper MyBatis、 Redis、 ActiveMQ、 Nginx、Docker、Git、 Maven等    1.微服架构(Dubbox) +前后端分离
2.分布式并发处理解决方案
3.采用Docker进行环境搭建和自动化部署
微信登录及微信支付、支付宝支付的接入    

大数据-用户兴趣取向分析    NiFi+Kafka+HBase+SparkML、lib+Hive+Cassandra+T ableau    基条用户日志活动数据建模
1.训练数据集中已包含用户对过去日志活动的兴趣
取向和参加情况;
2.通过训练数据集建立合适的模型
3.运用已建立的模型对数据集中的用户    

旅行一爱旅行系统    分布式集群架构，SSM、 Maven、 Git、 Solr代码生成器、Swagger、 MySQL (主从)、Nginx、Tomcat、Redis、DockerHadoopT engine+LUA+GM    1分布式集群架构+前后端分离
2使用Maven构建多模块项目
3采用代码生成器项目开发效率
4采用Solr为搜索引擎框架实现全文检索
5采用Hadoop完成热门]搜索功能的开发    

爬虫一数据调研平台    垂直架构，SSM、Jsoup网络爬虫、Echart图标分析、lKAnalyzer分词技术Bootstrap    1深入爬虫原理，对应网站爬虫限制
2多线程网络爬虫，实现爬虫
3不同网站规则抽取配置，锻炼学员的空间想象能力