TalkingData阎志涛：Spark在TalkingData的应用

2013年9月份，TalkingData开始尝试使用Spark解决数据挖掘性能问题。随着对Spark的逐渐了解，TalkingData开始将Spark应用到整个移动大数据平台的建设中。在移动大数据平台中，ETL过程、计算过程、数据挖掘、交互式数据提取等等都依赖于Spark。 让数据说话-Spark在TalkingData的应用，阎志涛，TalkingData研发副总裁目录 关于TalkingData 为什么使用Spark？ Spark在TalkingData的使用场景？ 目前面临的问题? 关于DMP 为什么使用Spark为什么使用Spark 2013年初，从Strata大数据大会了解了Spark 2013年8月，公司数据积累到一定规模，尝试数据利用 2013年10月，尝试使用Spark做机器学习 2014年5月，数据利用全面转向Spark Spark在TalkingData的使用场景 数据落盘 清洗加工 批量计算 数据探索 机器学习 Spark很不错，不过从数据的视角看，需要更多 数据资产可以管理，数据世代可以追踪 数据质量的管理和控制 方便的数据加工流程编织 数据访问的认证、授权、安