数据分析专家对冠状病毒到暗数据的分析与研究

在与两位顶级数据分析思想领袖的广泛对话中，行业媒体提出了当今数据分析中的一些关键问题。以下的主题包括：

在冠状病毒疫情持续蔓延的情况下，如何看待当前疫情影响数据分析部门或数据分析的工作实践?

商业智能专家和数据科学家在角色和关键优势方面有哪些不同?

为什么“暗数据”很重要?针对暗数据的有效策略应该是什么?

很多高管表示他们的企业在数据分析方面面临很多困难。为什么数据分析仍然如此困难?

为了提供对数据分析的深入了解，行业媒体与Hitachi vantara公司首席创新官Bill Schmarzo和Splunk公司首席技术倡导者Andi Mann为此进行了探讨。

如何看待当前持续蔓延的疫情正在影响数据分析行业和数据分析实践?

Mann说：“数据分析很有趣，现在必须从数据分析获得更多的洞察力。数据分析的方法之一就是尝试了解在疫情这个经济低迷期间能够更有效地将资源分配到何处。很多企业的员工在家远程工作，实际上并没有中断业务，这真的很重要。

零售、在线服务、数字服务、营销服务等行业受到了疫情的不同影响。他们可以采用更好的一种方法是使用数据分析，将其用于目标营销和与客户进行有针对性的接触。当然，对于非营利组织和政府机构来说，能够使用数据为处于经济低迷时期最需要的人员提供服务，例如失业人员或者无家可归的人员。

因此，可以使用数据分析来确定目标。例如Splunk公司正在提供数据集并向公共服务机构提供分析服务。我们正在与大学开展合作以尝试追踪传播，我们正在与企业和政府合作以尝试追踪冠状病毒疫情和其他事物的发展。因此，数据分析不仅可以帮助研究冠状病毒的毒性和传播机制，而且还可以帮助人们对抗冠状病毒。

因为Splunk是一种数据分析平台，我们不是自己创建数据，而是从其他来源获取数据，并将其提供给各个州和联邦政府机构，以便他们可以使用Splunk对数据集进行分析。它真的很强大。”

Schmarzo说：“实际上，数据分析不仅可以用于抗击冠状病毒的蔓延，而且可以分析疫情结束之后的发展情况，这实际上都是非常重要的。考虑到全球各国为了应对疫情而花费难以估量的费用，我们必须在某个时间点进行偿还。

因此，我认为我们必须使用数据分析来采用更少的资源做更多的事情。我们将不得不非常微观地关注营销活动和治疗活动。一切都将变得高度个性化。

例如医疗保健领域。很多政府部门现在就医疗保健和整体福利作出全面的政策决定。很多组织在这方面有太多浪费，因此需要从根本上获得更多收益，或者说‘少花钱多办事’的想法变得更加微观化，这对于分析行业来说将是一件好事，因为我们非常擅长利用非常详细的分析资料和数字趋势，来真正了解每个客户、老师、学生、设备之间的独特差异。

所以我认为，大多数组织都必须具备这样一种心态，即‘少花钱多办事’，因为这是组织在面临严峻的利润压力时能够改变其经济价值曲线的唯一途径，可以大幅增加税收，而世界上没有免费的午餐。”

您是否听说过在这个困难时期如何进行分析的事情?

Schmarzo说：“制药领域的企业肯定是全天候不间断运营。我上周和来自制药商葛兰素史克的机器学习工程师一起参加了一个小组讨论，他们表示正在致力于研发抗击冠状病毒的药物和疫苗。

我们作为数据行业人士，对关于疫情的数据缺乏更多的了解，这是一个悲剧。我们没有进行足够的测试，有时甚至对其结果没有信心。现在发生的一切是就是没有进行数据科学的典型例子。当一些人只通过收集的少量数据进行预测和推断时，这在某种程度上过度乐观或者有些过于消极，人们只是没有对这些问题应用良好的数据科学严谨性。即使是一个很小的数据集，人们也可以深思熟虑，但必须清楚说明这些数据集的约束条件和假设。

小数据集并不是随机样本，没有采用分析工作。有些人只是通过少量数字，然后推断到某些极端情况。在许多情况下，这样做只是因为他们自己的个人日程。”

Mann说：“我和很多客户进行了沟通，他们的数据科学家正在开展工作，但是在医疗保健领域，有很多人长期进行数字运算工作，只是想弄清楚如何应对和遏制病毒传播，也有许多人试图弄清楚该病毒的传播方式。

因此，我看到金融界人士为了了解业务而采用数据分析。因此，使用数据科学来衡量他们的业务指标，就像我之前说的那样，试图尝试并理解将资源放在哪里。

此外，我看到另一个数字处理的领域是保险业，需要进行保险索赔。保险行业将面临很多挑战，因此他们进行了大量的精算数字运算，正在将数据科学应用于他们的精算实践。在使用数据分析的效果方面存在很多缺陷，我认为有些人并没有意识到这一点。”

商业智能专家和数据科学家在角色和关键优势方面有哪些不同?

Schmarzo说：商业智能专家和数据科学家这二者都很重要。如果没有报告可以告诉正在发生的事情，那么不知道将资源和数据科学工作重点放在哪里，因此它们是非常互补的。这个信息图表可能使商业智能领域厂商付出的代价比其他事情都要多，因为人们误解为数据科学就是BI 3.0。

这二者非常不同，商业智能专家确实在努力清晰地传达组织用来衡量进度和成功的指标和关键绩效指标(KPI)。

然而，数据科学家正试图找出那些变量和指标，可能是更好的业绩预测指标。这是一条探索性很强的路线，将以失败为中心，需要不断尝试，不断失败，不断学习，人们无法在数据科学方面衡量多少时间的进展，如果了解错误肯定和错误否定的代价，那么实际上只能衡量自己在建立模型方面的效率，因此实际上这是两个不同的世界。而这二者并没有一个比另一个好的问题。

在数据科学领域，所有这些都集中于真正理解试图证明的假设，例如，需要衡量成功和进步的指标是什么，业务实体、利益相关者以及所有那些指标非常不同。”

Maguire说：“谈论这二者的区别很有趣，很显然，我认为企业在选择商业智能专家和数据科学家的简历时，很多人都可能会选择数据科学家，因为听起来很好。而且我认为，以失败为中心的数据科学专家也很有趣，这实际上可能是真正的学习。也许一些企业高管会说：“我们为什么为这个以失败为中心的专家支付这么高的薪酬?”

Schmarzo说：“如果没有足够的失败，那就意味着尝试并不足够，也就是努力并不够。失败是一种有效的学习方法。在商业智能方面，如果构建的架构无法正常工作，那么这样的失败将不会被接受。不断尝试不同的数据和数据元素的组合、转换和扩充，试图找出这些变量和组合中哪一个确实能提供更好的预测。”

（编辑：济源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!