讲授分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容,突出技术深度和实战性。
播放:62988次,课程ID:1073583
讲授分布式系统构架、分布式编程、分布式流处理、分布式数据存储管理、内存计算支持等内容,突出技术深度和实战性。
--主讲人:武永卫
--主讲人:程永
--QUIZ
--大纲
--初步认识大数据对分布式存储系统的需求
--理解大数据对分布式存储系统的需求
--具体说明大数据对分布式存储系统的需求
--大规模分布式存储的挑战
--小概率事件-Raid卡故障
--分布式存储系统举例
--分布式存储系统重要功能设计要点剖析
--链式写正常流程
--写流程的另一种常见方式:主从模式
--链式写异常流程
--写异常处理的另一种方法-Seal and New
--读正常流程
--读流程优化-BackupRead
--IO QoS
--数据正确性:checksum
--数据可靠性-Replication
--数据均衡-Rebalance
--垃圾回收-Garbage collection
--Erasure coding
--Erasure coding(3,2)写入和读取过程
--元数据管理的高可用性和可扩展性
--元数据管理的高可用性
--Paxos概要
--Raft
--元数据管理的可扩展性
--不同存储介质的特性
--盘古混合存储
--QUIZ
--阿里云飞天分布式调度
--任务调度
--资源调度
--容错机制
--规模挑战
--安全域性能隔离
--分布式调度的发展方向
--QUIZ
--数据格式和抽象
--分布式编程模型
--MapReuduce编程模型
--关系型数据编程模型
--分布式图计算模型
--分布式编程未来展望
--QUIZ
--分布式事务
--分布式一致性算法
--两阶段提交与三阶段提交
--实践--介绍
--HW1:通过两阶段提交协议完成数据上传
--关系型计算基本原理_1
--关系型计算基本原理_2
--分布式环境中的连接计算和聚合计算
--其他计算和物理优化
--QUIZ
--提纲
--课程背景介绍
--前序知识
--分布式节点距离计算法则
--数据分布策略
--分布式计算调度
--数据就近原则计算如何容错
--ODPS跨集群数据依赖
--QUIZ
--主讲人:谢德军
--HW2:编写MR完成Group By+Join操作
--增量计算和流式计算
--与批量计算的区别
--业界典型系统技术概要分析
--核心技术
--消息机制
--有状态计算、并行DAG、抢占式调度和资源隔离、Failover机制
--StreamSQL
--QUIZ
--软硬件趋势、分布式计算简史与内存计算
--分布式计算
--内存计算
--统一的计算框架
--业界经典系统技术分析-spark&flink
--QUIZ
--主讲人:褚葳
--QUIZ
--分布式环境下的新问题
--工程实现范例
--课程设计相关问题
--HW3:实现MapReduce编程运行时库
清华大学计算机科学与技术系教授。主要从事并行与分布式系统方面的研究,在IEEE ToC、IEEE TPDS、ACM FSE、ACM HPDC、USENIX ATC等期刊和国际会议上发表论文100余篇,其中SCI检索论文40篇;承担了863项目、97课题3、国家自然科学基金重点、欧盟FP6、中法国际合作基金、日本大川基金、Intel、HP等项目;曾获2007年教育部科技进步一等奖,2008年国家科技进步二等奖,2011年中创软件人才奖。
阿里云高级专家。从事阿里云飞天分布式存储系统研发。
阿里云高级专家。阿里云飞天分布式调度系统研发。
阿里云技术专家。阿里云ODPS sql执行引擎研发。
阿里云高级技术专家。阿里云分布式系统研发。