[商业信息]壹看板CEO赵乾坤博士：新时代商业智能需要全新解读

商业智能是一套完整的解决方案，用于有效整合企业现有数据，快速准确地提供报告，提出决策依据，帮助企业做出明智的商业决策。在当今大数据、人工智能等技术的时代，我们应该如何解读适应时代发展的商业智能？

一切都是数字

随着大数据的深入，越来越多的企业意识到了数据的价值。而人们的统一认知，或者说大部分商业智能从业者的认知，仅限于结构化数据的逻辑。也就是说，他们认为所有的数据最终都可以存储在数据库中，或者经过收集、清理、整合后都是高质量的数据。

其实目前数据的定义已经完全超越了数据库的存储逻辑。无论是关系数据库还是最新的nosql或graph 数据库，目前存储在数据库外部的数据量远远超过存储在数据库中的数据量。

在商业智能分析中，网页、pdf、图片、音频、视频等数据源。很有价值。例如，在新的零售场景中，我们对离线商品展示和商品包装等相关数据的分析需求越来越大。 一件商品的销量和它的位置以及它的包装颜色有什么关联？怎么分析？我们是否需要提前收集所有相关信息，然后以结构化的方式进行清理和存储以供分析？

收集和存储是必要的，但是仍然很难通过传统的商业智能来清理和构建这些数据。随着技术的发展，我们可以通过成熟的相关分析工具和自定义脚本灵活分析上述问题，甚至有第三方支持基于图片中的颜色模式和对象相似度进行检索和分析。

话说回来，在商业智能的新时代，我们应该如何理解一切都是数字？数据不再是传统数字或数据库的逻辑。数据是必须添加到所有项目中的新维度或属性。【/h/】同时，商业智能分析要突破传统的数据仓库和数据库的思维，提出商业逻辑下各种开脑的数据需求和分析需求。

数据架构的供应链思维

数据架构在商业智能中非常重要，是所有商业分析的基础。所谓数据架构就是如何存储和管理你的数据，存储在哪里，为什么要使用这个管理逻辑。 人们通常将这个问题直接局限于传统数据库中的数据建模(关系和数据结构的设计)，但数据架构的核心任务是设计一套数据供应链逻辑，使数据在整个生产、收集、集成、分发和消费过程中具有高效的逻辑，这往往不仅仅是一个数据建模问题。

而数据架构也需要解决不同业务场景下数据科学相关的数据分析和数据处理的支撑设计。所以数据架构更重要的是梳理和设计一套完整的逻辑，这是这个抽象层次下的具体存储和管理，有了目标之后更容易做出好的数据架构。

说到商业智能数据架构，不得不说传统的数据仓库。数据仓库本质上解决了数据湖的问题，将异地的数据进行整合关联是数据分析的基础。一般数据仓库项目周期比较长，从半年到几个月到几年不等。不难理解，数据仓库建设过程中数据的打开、清理、关联、建模并不是一个短时间就能完成的任务，它关系到数据仓库项目的整体目标。如果想要构建一个完整的满足各种业务分析需求的复杂系统，还需要依赖于现有的业务逻辑和数据生产。

现实是不同的数据源甚至数据维度或者片段对于业务分析的价值是不同的。在这个过程中，缺乏对不同数据的预测导致了对整个etl的过度投资。后来hadoop产生后，大家还在想着一个数据中心，所有的数据都是用hadoop写的，以后应该还能再找到。会有一些问题。例如，在数据流场景中，您会发现很难在数据库中连续存储大量的流数据，因为数据收集和数据查询是两个不同的场景和阶段。

【/h/】总体而言，数据架构的设计包括四个不同的维度:数据生产、收集与整合、分发与消费。梳理它们之间的逻辑，达到数据供应链顺畅的目的。 其中任何一部分都可以灵活支持各种方法，比如数据分发。与线下零售系统相比，我们会有不同的配送系统来支持不同的渠道，如中心仓库和本地仓库、电子商务仓库和渠道仓库。所以新时代的数据架构可以是多线并行架构，不一定是完全集中式的数据仓库设计逻辑。

商业智能和数据科学

传统商业智能的核心目标是数据的可重用性，通过星型结构和范式的抽象，支持各种数据存储、查询和报表服务。商业智能本质上解决的是数据访问和部分数据探索的目的，但是他们所能支持的问题并没有太大的变化，所以相应的报表设计是相对固定的。但是在数据科学中，很难有这样一个恒定的数据结构或计算模型来支持各种算法，甚至算法本身也在不断进化。

在商业智能系统的设计过程中，所有的东西都是用基本的数据结构来描述的，而背后的业务逻辑并不关心，往往是通过通用的描述模型来实现的。例如，我们不知道一种商品的总销售额意味着什么，但我们支持对这种度量进行求和、平均等一系列操作。传统的数据仓库设计主要基于需求背后的统一计算模型和逻辑进行抽象。

与数据科学相关的分析问题很难用统一的抽象结构和计算模型来描述。简单来说，你需要做更多的统计计算，比如一些相关系数的计算，从向量到矩阵的基本运算等等。不仅这些计算的复杂度和资源消耗发生了很大的变化，而且不同算法背后可以抽象出的标准计算模型也非常有限。这就是为什么以前有大量的数据科学家做特征工程，就是基于不同的算法和对业务的理解做特征提取，然后再做基于特征提取的各种算法的对比实验。特征工程的本质是从抽象存储到抽象计算模型的过渡。

【/h/】本质上，数据科学的数据架构逻辑和传统商业智能的架构设计可以相似。随着数据仓库和商业智能的发展，很多方法和框架已经非常成熟，所以企业选择商业智能和数据科学还有一个中间的途径:把数据仓库(business intelligence)作为数据科学的数据可访问中间件，然后基于商业智能和数据科学设计不同的数据存储抽象和数据模型抽象，以支持各自的数据架构。

关于作者:

赵干坤是看板 的创始人兼CEO

【/h/】数据挖掘专家赵干坤博士，毕业于华中科技大学和新加坡南洋理工大学，在宾夕法尼亚大学完成搜索引擎博士后研究。其相关研究和应用在国际知名学术会议(www、kdd、aaai、cikm 等)上发表论文和讲座20余篇，发表国际专利技术2项。)。他曾经是叶昊广告北京的总设计师，西班牙电信的大数据科学家，中国aolchina 的创始人，后来创立了Pulse Network和37degree。他有着深厚的数据挖掘技术背景和十几年的互联网行业经验，是传统企业大数据和互联网广告应用的设计者和实践者。