文件列表:
Wing新一代百度大数据查询引擎.pptx |
下载文档 |
资源简介
>
讲师: 刘成刘成,毕业于北京大学计算机系,2013年加入百度,现任百度大数据部资深研发工程师。在硕士期间我一直在做大数据处理、云计算方向的研究。2011年利用在腾讯实习机会,我参与了台风系统MapReduce框架的开发,此后就对大数据领域保持浓厚兴趣,后来还参与了key-value存储系统、网络通信框架研发工作。
来到百度后,我在百度biglog平台做QueryEngine服务的研发。QueryEngine服务是百度SQL类离线数据处理的基础,此前一直使用Hive作为查询引擎。在QueryEngine服务长期的运营和开发期间,我积累了许多宝贵的数据处理经验。在这里我作为核心人员参与开发了百度新一代查询引擎――Wing。通过一年的开发,Wing项目已经能够基于MR框架完成替换现有Hive框架的能力,并保证了足够的灵活性来适配其他框架以满足不同场景的查询需求。演讲:查询引擎(QueryEngine)是大数据处理的利器,极低的学习成本和高效的查询实现极大提高了数据分析的效率,将数据分析领入大数据时代。
Wing是百度自研的查询引擎,提供SQL-Like的HQL接口和以关系操作为API的C++
加载中...
本文档仅能预览20页