大规模机器学习在蚂蚁+阿里的应用

大规模机器学习在蚂蚁+阿里的应用蚂蚁金服-人工智能部 西亭设计理念Big Data EraBig Data Era―how to use data?用户在不同场景下有不同的相应，结合这些数据，通过机器学习得到模型，然后进行智能决策（个性化推荐、搜索个性化等）。Big Data Big Model 训练数据：1T―1P 特征：百亿―千亿级别 样本：百亿―千亿级别 Big Model -> Distributed Learning System 在大数据上，利用机器学习从中学习到知识，是人工智能取得突破的主要手段，也是系统架构师面临的重要挑战之一 许多模型和抽象先后用于这一任务：早期的MPI，后来的MapReduce，当前使用较多的Graph 、Spark等 Distributed Learning SystemCombine the complexities of machine learning with system designDistributed Learning System(Cont.) MapReduce：迭代式计算低效，节点之间通信效率不高 MPI：无法支撑大数据，任意