Intel大数据 钟翔：Gearpump基于Akka的新一代流处理引擎

讲师： 钟翔钟翔，Intel大数据技术部工程师, Storm PMC Member。2011年加入Intel，2014年前是Intel大数据发行版开发(IDH)的核心力量，开发了IDH的几个核心功能，比如MapReduce NativeTask，HBase 大对象存储, Storm streaming等。现在主要关注实时流处理，创办了基于akka的新流处理引擎Gearpump。演讲:Gearpump是一个基于Akka Actor的轻量级的实时流计算引擎。今天的流平台需要能处理来自各种移动端和物联网设备的海量数据，系统要能不间断的提供服务，对数据的处理要能做到不丢失不重复，对各种软硬件错误能平滑处理，对用户的输入要能实时响应。除了这些系统层面的需求外，用户层面的接口还要能做到丰富而灵活，一方面，平台要提供足够丰富的基础设施，能最简化应用程序的编写；另一方面，这个平台应提供具有表现力的编程API，让用户能灵活表达各种计算，并且整个系统可以定制，允许用户选择调度策略和部署环境，允许用户在不同的指标间做折中取舍，满足特定的需求。Akka Actor提供了通信、并发、隔离、容错的基础设施， Ge