文件列表:
阿里巴巴实时计算平台 JStorm Turbo 封仲淹(纪君祥).pdf |
下载文档 |
资源简介
>
阿里巴巴实时计算平台JStorm Turbojstorm 最大的5个业务方(每日流入1.81PB)Jstorm Turbo 架构在storm的基础上, 在稳定性/性能/功能特性上前进一大步• 全新监控系统• 限流控制• 资源隔离• Nimbus HA(中央控制器HA)• 超大规模部署(突破Storm 不能超过400台上限)• TopologyMasterWordCount: 是storm的5~6 倍, 比flink 快10% ~ 20%1. 重新设计数据结构2. 多级batch机制3. 增加线程池单独处理反序列化4. 去掉总发送线程和总接受现场,降低瓶颈5. 在spout内部读写分离6. 解决disruptor和spout 空数据cpu 空跑问题.7. 降低采样对性能影响.8. 优化所有复杂函数, 比如rotatingmap/acker9. GC调优在api上, jstorm是storm的超集管控平台koala与Twitter Heron 区别Twitter Heron 架构
加载中...
本文档仅能预览20页