大数据与传统数据

大数据为企业提供了巨大的机遇，包括更深入地了解客户行为，更准确地预测市场活动，以及提高整体效率。

个人和企业每年都在生成越来越多的数据。根据国际数据公司(IDC)的一份报告，2010年全球仅创造了1.2 zettabytes(1.2万亿g)的新数据。到2025年，它可能会增加到175泽字节(175万亿千兆字节)或更多。

随着企业通过预测分析和数据挖掘利用这一繁荣的资源，大数据市场也将增长。Statista研究据预测，大数据市场的价值将在2018年至2027年间翻一番，从1690亿美元增至2740亿美元。

但大数据和传统数据之间的关键区别是什么?它们对当前的数据存储、处理和分析技术有什么影响?在这里，我们将解释每种类型的数据服务的不同目的，同时强调利用大数据和传统数据成功计划的战略的重要性。

什么是传统数据?

传统数据是结构化的，关系数据组织已经存储和处理了几十年。传统数据仍占全球数据的大部分。

企业可以使用传统数据跟踪销售或管理客户关系或工作流程。传统数据通常更容易操作，可以用传统的数据处理软件进行管理。然而，与大数据相比，它通常提供不那么复杂的见解和更有限的好处。

什么是大数据?

大数据既可以指庞大而复杂的数据集，也可以指用于处理这类数据的方法。大数据有四个主要特征，通常被称为“4v”:

• 体积:大数据是……大的。虽然大数据不仅通过大小来区分，但它在本质上也通常是非常大的容量。
• 各种:大数据集通常包含结构化、半结构化和非结构化数据。
• 速度:大数据生成速度快，处理往往是实时的。
• 真实性:大数据本身并没有比传统数据更好的质量，但它的准确性(准确性)是极其重要的。异常、偏差和噪声会严重影响大数据的质量。

大数据与传统数据的区别

大数据和传统数据有几个特点。这些包括:

• 数据的大小
  
• 数据是如何组织的
  
• 管理数据所需的体系结构
  
• 数据的来源
  
• 用于分析数据的方法
  

大小

传统的数据集往往以千兆字节和兆兆字节为单位。因此，它们的大小可以允许集中存储，甚至在一台服务器上。

大数据的特点不仅在于它的大小，还在于它的体积。大数据通常以拍字节、泽字节或艾字节为单位。越来越大的大数据集是对更现代、大容量、基于云的数据存储解决方案需求的主要驱动因素之一。

组织

传统数据通常是组织在记录、文件和表中的结构化数据。传统数据集中的字段是关系型的，因此可以计算出它们之间的关系并相应地操作数据。传统的数据库，如SQL、Oracle DB和MySQL，使用固定的静态和预配置的模式。

大数据使用动态模式。在存储方面，大数据是原始的、非结构化的。访问大数据时，对原始数据应用动态模式。考虑到Cassandra和MongoDB在文件中存储数据的方式，现代非关系型或NoSQL数据库是非结构化数据的理想选择。

体系结构

传统数据通常使用集中式架构进行管理，对于较小的结构化数据集来说，这种架构更具成本效益和安全性。

通常，集中式系统由连接到中心节点(例如服务器)的一个或多个客户端节点(例如计算机或移动设备)组成。中央服务器控制网络并监控其安全性。

由于其规模和复杂性，集中管理大数据是不可能的。它需要一个分布式的体系结构。

分布式系统通过网络将多个服务器或计算机连接起来，作为相等的节点运行。体系结构可以横向扩展(向外扩展)，并且即使单个节点发生故障也能继续工作。分布式系统可以利用商品硬件来降低成本。

来源

传统数据通常来自企业资源规划(ERP)、客户关系管理(CRM)、在线交易和其他企业级数据。

大数据来源于更广泛的企业和非企业级数据，其中包括从社交媒体、设备和传感器数据以及视听数据中提取的信息。这些源类型每天都是动态的、不断发展和增长的。

非结构化数据源还可以包括文本、视频、图像和音频文件。使用传统数据库的列和行来利用这类数据是不可能的。由于越来越多的数据是非结构化的，并且来自多个来源，因此需要大数据分析方法来从中提取价值。

分析

传统的数据分析是以增量方式进行的:事件发生，数据生成，在事件发生后对数据进行分析。传统的数据分析可以帮助企业了解给定战略或变化对特定时期内有限范围指标的影响。

大数据分析可以实时进行。因为大数据是以秒为单位生成的，所以分析可以在收集数据的同时进行。大数据分析为企业提供了更动态、更全面的需求和战略理解。

例如，假设一家企业为员工投资了一个培训计划，并希望衡量其影响。

在传统的数据分析模型下，企业可能会着手确定培训计划对其特定业务领域(如销售)的影响。企业记录培训前后的销售额，并排除任何外来因素。从理论上讲，它可以看到培训带来了多少销售增长。

在大数据分析模型下，企业可以将培训计划如何影响其运营的任何特定方面的问题放在一边。相反，通过分析整个业务实时收集的大量数据，它可以确定受到影响的特定领域，如销售、客户服务、公共关系等。

大数据vs.传统数据:未来的重要考虑

大数据和传统数据服务于不同但相关的目的。虽然大数据似乎有更大的潜在好处，但它并非在所有情况下都适合(或必要)。大数据:

• 可以对市场趋势和消费者行为进行更深入的分析。传统的数据分析可能更狭隘，也太受限制，无法提供大数据所能提供的有意义的见解。
  
• 提供更快的见解。企业可以从大数据中实时学习。在大数据分析的背景下，这可以提供竞争优势。
  
• 效率更高。我们社会日益数字化的本质意味着个人和企业每天甚至每分钟都在产生大量的数据。大数据让我们能够利用这些数据，并以一种有意义的方式解释它们。
  
• 需要提前准备。利用这些优势需要组织通过新的安全协议、配置步骤和增加可用的处理能力来为大数据做准备
  

大数据的兴起并不意味着传统数据正在消失。传统的数据:

• 更容易保护，这可能使它更适合高度敏感、个人或机密数据集。因为传统数据更小，不需要分布式架构，也不太可能需要第三方存储。
  
• 可以使用常规的数据处理软件和正常的系统配置进行处理。处理大数据通常需要更高的配置设置，这可能会不必要地增加资源使用和成本，而传统的数据方法已经足够了。
  
• 更容易操作和解释。因为传统数据本质上更简单、更有关系，所以可以使用普通函数对其进行处理，甚至非专业人士也可以访问。
  

归根结底，这不是大数据和传统数据之间的选择问题。随着越来越多的公司生成大型非结构化数据集，他们将需要合适的工具。了解如何使用和支持这两种模型是更新策略以迎接大数据未来的必要部分。