数据分析专家对冠状病毒到暗数据的分析与研究

这两种科学确实存在一些非常大的差异。数据科学是关于创新过程，例如数据科学谈论的是创新源于从失败中吸取的教训。我认为，如果没有失败，那么就不会学习，通过尝试可以获取更多的数据和理解，应该询问更多的问题，而不是寻找更多的答案。

因此，数据科学家似乎提出了很多问题，而用户又对数据提出了更多问题。用户得到的每个答案都只是提出更多问题的机会。因此，这是另一种思维方式。我认为，考虑将来自任何来源的数据带到任何问题，而不是试图找到答案，这是一种不同的思维方式。因此，数据科学家如何看待创新机会的思维方式确实存在根本性的差异。将数据视为永远没有最终答案，并且总是提出更多问题。而商业智能专家寻求答案，因为他们的业务需要开展，这是他们需要的重要内容。

因此，这种创新理念与经营业务无关。这是我看到的最大差异之一，它在诸如预先部署、精心计划与按需添加数据源等方面非常出色。

由于在商业智能中，知道要问的是什么问题，所以知道打算通过数据科学来规划该数据集。因此需要能够引入新的数据集，并在运行中不断丰富。其中遇到的一些问题确实将数据科学的概念锁定在了创新和问题上。我认为这是一种非常有趣的观察方式。”

Schmarzo说：“我再补充两点。第一，商业智能专家真正关心的是了解发生的情况以及发生的领域。数据分析科学家是试图了解它为什么会发生，当将它们组合在一起时，它会变得功能强大。

另一件事，我认为在商业智能专家将逐渐变得成熟。真正了解数据和分析可以在何处以及如何推动业务发展。他们具有更强的业务敏锐度，并且擅长进行价值工程，识别、验证和确定价值创造的来源。

然后将它们与数据科学相结合，这将成为一个强大的团队。有人曾问我，商业智能和数据科学有什么区别?我花了很长的时间来认真思考，研究这二者在工作中是如何思考和处理的，以及如何改变事情的思维方式。然后得出的结论是团队需要这两方面的人才。”

Mann说:“这让我想到的另一件事，就是让人工智能在很大程度上完成人类的工作。商业智能专家具有深厚的商业知识，这也许是数据科学家不具备的能力，因此需要了解他们的业务，利用他们的智慧来了解他们试图解决的问题。

而数据科学家通常会因为处理海量的数据集之类的东西，而经常会使用机器学习和人工智能技术。因为人类确实不善于观察，但机器确实擅长于此。因此，当接触到巨大的数据集时，使用机器学习几乎成为获得洞察力的必然选择，而商业智能专家不一定需要采用机器学习，只需要获得正确的数据集，并以正确的方式使用它们来获得所需的洞察力。”

Schmarzo说：“但是有趣的是，当我们考虑到冠状病毒疫情带来的影响，必须能够使用这些机器来帮助我们对客户、员工、产品、服务、运营的每一个方面进行非常细化的洞察。正是这种粒度级别可以使我们从中获得更多收益，我们只是追求采用更少的钱做更多的事情。

传统上，商业智能一直专注于聚合数据的分类，在聚合水平上看待事物以及做出一些决定。当我们试图用更少的钱做更多的事情时，我们需要那些机器来告诉哪些患者患有哪种疾病的风险，哪些人面临患病的最大风险。”

为什么“暗数据”很重要?针对暗数据的有效策略应该是什么?

Mann说：“这是我们真正感兴趣的东西。Splunk公司是一家分析和处理数据的公司，客户使用我们提供的数据分析平台处理他们的数据。因此，数据确实非常重要，并且我们有一个理论，即无论使用什么数据，使用的数据越多，就越能做得更好。因此，我们与一家独立分析机构Enterprise Strategy Group合作，要求他们验证我们有关此暗数据的一些想法。收集更多数据，使业务做得更好，这是我们的基本假设，这成为了事实。

ESG公司分析师考察了企业如何更好地经营。因此，他们着眼于收入、盈利能力和效率之类的指标，研究了使用和查找数据的含义。他们还围绕企业的IT预算和支出用于数据分析的问题，对发现暗数据的承诺，以及对其进行操作的效率提出了疑问。因此，当查看可以在组织中使用更多数据的团队与最后使用且对数据的忠诚度较低团队之间的差异时，确实有显著的不同结果。

当我们谈到这些人使用他们的暗数据时，所有这些隐藏在数据库、日志流或边缘设备、或各种涡轮机、生产线中的数据，就会发现，当收集更多的数据时，就可以更多获得，并且花费更少。而用更少的钱做更多的事，这很适合。

他们也能够领先于竞争对手，开发和推出产品的可能性是竞争对手的两倍。而且，在未来几年内，超过客户关注目标的可能性是竞争对手的两倍，从新产品和服务中获得20%以上收入的可能性是竞争对手的10倍。所以数据直接推动了创新。这很吸引人。”

这都是关于挖掘未使用的数据，但问题是如果数据已经被使用了，那么如何找到资源来挖掘那些额外的数据呢?

Mann说: “我们实际上是与我们的客户一起进行数据源评估。例如数据在哪里，有什么数据，用途是什么。而且，不一定非得寻求外部机构的帮助来处理。可以让组织内部的数据科学家解决诸如此类的问题，因为正如之前所讨论的那样，数据科学家的作用在于发现尚未获得的见解。因此，能够使其数据科学家找到暗数据，并开始围绕如何​​利用这些未知因素使组织的业务更好地制定策略，这是另一种看待世界的方式。”

Schmarzo说：“在有关暗数据的话题上，有一些非常有趣的事情。如何确定数据是否有价值?怎么知道应该尝试返回并找到这些数据源并将其引入?我们发现，如果让用例驱动它，这些用例将帮助人们区分哪些数据具有价值。它最终将帮助区分数据中的噪声和信号。因此，许多方法都非常以用例为中心。

选择一个用例，了解要执行的操作，然后集思广益，可能想查看哪些数据源。这包括挖掘一些原有的数据。当然，当今最可能使用暗数据的例子是冠状病毒疫情所发生的情况，以及韩国如何立即使用SARS和猪流感数据。他们收集了大量数据，做出了一些正确的预测，那是10年前的数据，那是无用的数据。谁会再需要这些数据?但这非常有价值，可以帮助他们真正做出精细的决策。

（编辑：济源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!