携程：基于Hadoop的携程集中式日志及其周边生态系统介绍

在携程我们基于Hadoop实现了面向大数据的日志收集、分析系统。有了这个系统，我们可以做到对网站的日志数据进行实时的收集和处理，并且统一提供一组周边的服务，可以为公司各相关部门提供数据支持。对于收集后日志数据，我们同时支持日志数据的实时处理，以及基于Map/reduce的非实时处理。高效的日志数据实时处理，使得我们能够及时掌握整个网站的运行状况和趋势走向，快速发现、定位系统正在出现的或潜在的问题，做到防范于未然。而对于非实时处理，我们会将日志数据存储到HBase和HDFS上，采用Map/reduce方式，用于深入分析和理解系统性能瓶颈、了解用户的行为，为业务决策、开发优化、系统调优等提供统一的数据支持。在这里，我想分享一下携程是如何做大数据量的日志收集，如何分别实现日志数据的实时/非实时处理，以及如何开发周边的生态系统，协同提供一组高效的服务，以支持公司内不同的团队。 演讲嘉宾：Bruce Li (李欣)　携程技术开发框架部任架构师 Bruce有丰富的开发经验，曾在eBay担任principle software engineer以及data architect。他在消息系统、搜索引擎