海量数据处理与大数据技术实战

目前，学术研究领域和产业界对大数据并没有一个严格的定义，也没有一个严格的界限。通常来说，数据只要超过了单台服务器或者少数几台服务器的存储和处理能力，或者超出了常规软件的存储和处理能力，都可以称为大数据或海量数据。 掌握大数据的关键不仅是拥有大量的数据，还要能基于这些数据做出进一步的挖掘和分析，从海量的数据中挖掘出对人类有价值的信息，提供更加友好的服务和体验。 现实生活中，大数据的来源有很多种渠道∶网页数据、客户端调用接口产生的数据、访问日志数据、金融系统交易产生的数据、服务器内部系统之间互联产生的数据等。 从以上描述中可以看出，大数据并不是一个能够简单描述清楚的概念，下面从数据量（Volumn）、数据的速度（Velocity）、数据的多样性（Variety）、低价值密度（Value）和真实性（Veracity）5个维度对大数据进行分析。