腾讯SNG：大规模主题模型建模及其在腾讯业务中的应用

大规模主题模型建模及其在腾讯业务中的应用Rickjin(靳志辉)腾讯SNG效果广告平台部Outline•主题模型背景介绍•大规模主题模型学习系统 Peacock•Peacock 在腾讯业务中的应用Doc-Topic StructureLDA Topic ModelingStep1: 随机初始化每个词的 topicStep2: 重新采样每个 topic, 更新计数Step3: 重新采样每个 topic, 更新计数Step4: 重复 step2&3, 直到模型收敛Large-scale LDA ModelingPeacock: Large-scale Topic ModelingQ1: 采样速度SparseLDAQ2: 十亿篇文档，百万词汇，百万 TopicsAD-LDA (Data Parallelism)Model Parallelism - 1Model Parallelism - 1Lock-free SynchronizationLock-free SynchronizationModel Parallelism + Data ParallelismQ3: 优化模型质量Peaco