×
img

纪君祥:阿里巴巴实时计算平台 JStorm Turbo

发布者:wx****10
2019-03-21
2 MB 22 页
阿里巴巴 云计算
文件列表:
阿里巴巴实时计算平台 JStorm Turbo 封仲淹(纪君祥).pdf
下载文档
阿里巴巴实时计算平台JStorm Turbojstorm 最大的5个业务方(每日流入1.81PB)Jstorm Turbo 架构在storm的基础上, 在稳定性/性能/功能特性上前进一大步• 全新监控系统• 限流控制• 资源隔离• Nimbus HA(中央控制器HA)• 超大规模部署(突破Storm 不能超过400台上限)• TopologyMasterWordCount: 是storm的5~6 倍, 比flink 快10% ~ 20%1. 重新设计数据结构2. 多级batch机制3. 增加线程池单独处理反序列化4. 去掉总发送线程和总接受现场,降低瓶颈5. 在spout内部读写分离6. 解决disruptor和spout 空数据cpu 空跑问题.7. 降低采样对性能影响.8. 优化所有复杂函数, 比如rotatingmap/acker9. GC调优在api上, jstorm是storm的超集管控平台koala与Twitter Heron 区别Twitter Heron 架构

加载中...

本文档仅能预览20页

继续阅读请下载文档

网友评论>

开通智库会员享超值特权
专享文档
免费下载
免广告
更多特权
立即开通

发布机构

更多>>