大数据平台核心技术

大数据平台核心技术课程简介：前往报名学习

大数据平台核心技术课程简介：

讲授分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容，突出技术深度和实战性。

前往报名学习

大数据平台核心技术课程目录：

第一讲 大数据和ODPS

--主讲人：武永卫

--主讲人：程永

--QUIZ

第二讲 分布式存储

--大纲

--初步认识大数据对分布式存储系统的需求

--理解大数据对分布式存储系统的需求

--具体说明大数据对分布式存储系统的需求

--大规模分布式存储的挑战

--小概率事件-Raid卡故障

--分布式存储系统举例

--分布式存储系统重要功能设计要点剖析

--链式写正常流程

--写流程的另一种常见方式：主从模式

--链式写异常流程

--写异常处理的另一种方法-Seal and New

--读正常流程

--读流程优化-BackupRead

--IO QoS

--数据正确性：checksum

--数据可靠性-Replication

--数据均衡-Rebalance

--垃圾回收-Garbage collection

--Erasure coding

--Erasure coding（3,2）写入和读取过程

--元数据管理的高可用性和可扩展性

--元数据管理的高可用性

--Paxos概要

--Raft

--元数据管理的可扩展性

--不同存储介质的特性

--盘古混合存储

--QUIZ

第三讲 资源管理与任务调度

--阿里云飞天分布式调度

--任务调度

--资源调度

--容错机制

--规模挑战

--安全域性能隔离

--分布式调度的发展方向

--QUIZ

第四讲 分布式编程模型的设计与演化

--数据格式和抽象

--分布式编程模型

--MapReuduce编程模型

--关系型数据编程模型

--分布式图计算模型

--分布式编程未来展望

--QUIZ

实践1：通过两阶段提交协议完成数据上传

--分布式事务

--分布式一致性算法

--两阶段提交与三阶段提交

--实践--介绍

--HW1：通过两阶段提交协议完成数据上传

第五讲 离线分布式关系型计算

--关系型计算基本原理_1

--关系型计算基本原理_2

--分布式环境中的连接计算和聚合计算

--其他计算和物理优化

--QUIZ

第六讲 全局数据管理与调度

--提纲

--课程背景介绍

--前序知识

--分布式节点距离计算法则

--数据分布策略

--分布式计算调度

--数据就近原则计算如何容错

--ODPS跨集群数据依赖

--QUIZ

实践2：编写MR完成Group By+Join操作

--主讲人：谢德军

--HW2：编写MR完成Group By+Join操作

第七讲 流式计算的系统设计与实现

--增量计算和流式计算

--与批量计算的区别

--业界典型系统技术概要分析

--核心技术

--消息机制

--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制

--StreamSQL

--QUIZ

第八讲 内存计算

--软硬件趋势、分布式计算简史与内存计算

--分布式计算

--内存计算

--统一的计算框架

--业界经典系统技术分析-spark&flink

--QUIZ

第九讲 大规模数据的分布式机器学习平台

--主讲人：褚葳

--QUIZ

实践3：实现MapReduce编程运行时库

--分布式环境下的新问题

--工程实现范例

--课程设计相关问题

--HW3:实现MapReduce编程运行时库

大数据平台核心技术授课教师：

武永卫-教授-清华大学-计算机科学与技术系

清华大学计算机科学与技术系教授。主要从事并行与分布式系统方面的研究，在IEEE ToC、IEEE TPDS、ACM FSE、ACM HPDC、USENIX ATC等期刊和国际会议上发表论文100余篇，其中SCI检索论文40篇；承担了863项目、97课题3、国家自然科学基金重点、欧盟FP6、中法国际合作基金、日本大川基金、Intel、HP等项目；曾获2007年教育部科技进步一等奖，2008年国家科技进步二等奖，2011年中创软件人才奖。

姚文辉--阿里云-

阿里云高级专家。从事阿里云飞天分布式存储系统研发。

陶阳宇--阿里云-

阿里云高级专家。阿里云飞天分布式调度系统研发。

冯骁--阿里云-

阿里云技术专家。阿里云ODPS sql执行引擎研发。

谢德军--阿里云-

阿里云高级技术专家。阿里云分布式系统研发。