行业新闻

Smartbi解锁“预测未来”秘笈,开启“数据挖掘”新时代!

日期:2019-04-04

  各位亲爱的麦粉,今天小麦有重要的事情宣布:经过研发工程师的不懈努力,Smartbi终于解锁“预测未来”秘笈了!从此,Smartbi又多了一项技能傍身,而且这项技能堪称“必杀技”:助您神机妙算,未卜先知!听着是不是觉得很神奇呢?究竟是怎么回事?且听小麦为您细细道来...k8凯发真人娱乐Ulg

  其实,预测未来,并不是靠什么法术或天书,而是用科学的方法,去发现隐藏在大量数据里面的规律,揭示数据之间的关系,从而对以后的趋势进行判断。问题的关键是:用什么科学的方法?答案就是:数据挖掘Ulg

  小麦同时为大家准备了视频讲解:Ulg

  什么是数据挖掘Ulg

  数据挖掘就是从大量的数据中去发现有用的信息,然后根据这些信息来辅助决策。听起来是不是跟传统的数据分析很像呢?实际上,数据挖掘就是智能化的数据分析,它们的目标都是一样的。但是,又有很大的区别。Ulg

  传统的数据分析和数据挖掘最主要的区别就是在揭示数据之间的关系上。传统的数据分析揭示的是已知的、过去的数据关系,数据挖掘揭示的是未知的、将来的数据关系。它们采用的技术也不一样,传统的数据分析采用计算机技术,而数据挖掘不仅采用计算机技术,还涉及到统计学、模型算法等技术,相对来说会复杂很多。因为数据挖掘发现的是将来的信息,所以最主要就是用来:预测!预测公司未来的销量,预测产品未来的价格等等。Ulg

  数据挖掘的流程Ulg

  数据挖掘是如何做到预测的?因为数据挖掘有一套标准的流程,可以对数据进行各种科学的处理和测试,从而发现数据本身隐藏的规律。这套流程概括起来包括业务理解、数据准备、建立模型和评估模型4个步骤,我们以“预测银行零售客户流失”这个应用场景为例进行说明:Ulg

  第1步:业务理解Ulg

  确定目标,明确分析需求Ulg

  预测哪些银行零售客户将会流失,提前做好营销挽留。Ulg

  第2步:数据准备Ulg

  收集原始数据、检验数据质量、整合数据、格式化数据Ulg

  初步判断客户可能会流失的情况,如银行卡交易量逐月下降、客户投诉持续不断,对跟这些情况有关的数据进行采集、格式化。Ulg

  第3步:建立模型Ulg

  选择建模技术、参数调优、生成测试计划、构建模型Ulg

  客户是否会流失,是一个分类问题,所以选择分类算法建立模型并进行训练。Ulg

  第4步:评估模型Ulg

  对模型进行全面的评估,评估结果、重审过程Ulg

  对建立好的模型进行评估,并且要根据预测结果不断调整模型参数,实现模型的最优化。Ulg

  整个流程最关键是模型的迭代优化过程,模型算法有分类算法、回归算法、聚类算法等,每种算法类型又包含多种不同的算法,例如分类算法,就包含逻辑回归、朴素贝叶斯、决策树等,使用的编程语言有Java语言、Python,大家听了是不是觉得很专业、很复杂?其实这些细节我们统统不用管,全部交给Smartbi帮我们实现就可以了!Ulg

  Smartbi Mining实现数据挖掘Ulg

  Smartbi在以前也有数据挖掘的功能,但是功能不是很完善。如今,Smartbi“数据挖掘”蝶变重生,推出独立产品Smartbi Mining,旨在为个人、团队和企业所做的决策提供预测性分析。Ulg

  Smartbi Mining具有流程化、可视化的建模界面,内置实用的、经典的统计挖掘算法和深度学习算法,并支持Python扩展算法,基于分布式云计算,可以将模型发送到Smartbi统一平台,与BI平台完美整合。还是以预测银行零售客户流失为例,我们看看Smartbi Mining是怎么实现的吧。Ulg

  1、设置数据源,把左边对应的节点拖过来,再从右边区域配置参数:Ulg

1.jpgUlg

  2、按照这种方式,可以不断增加新的节点并连接起来:Ulg

2.jpgUlg

  3、这里是关键的一步,选择算法。我们选择“逻辑回归”算法,并对其进行配置:Ulg

3.jpgUlg

  4、加完“评估”节点,整个流程就配置完了,接下来就是运行,并不断调优:Ulg

4.jpgUlg

  5、最后看一下预测的准确率,一般是看“加权F1值”,这个值是综合考虑结果的质量和完整性计算出来的,在这个例子中加权F1值达到了84.62%,预测效果已经很不错了:Ulg

5.jpgUlg

5.jpgUlg

  大家现在可以看出来,通过Smartbi Mining实现“数据挖掘”是不是很简单呢?Ulg

  Smartbi Mining应用场景Ulg

  Smartbi Mining可广泛应用于各个领域,包括企业运营、生产控制、市场分析、工程设计、城市规划和科学探索等,从大量的数据中挖掘出有用的信息和知识,以更好地指导我们的工作。在这里小麦为大家列举几个企业运营领域的应用场景:Ulg

  1、精准营销Ulg

  分析客户的属性和消费行为,为客户推荐最合适的产品信息,提高营销的效果。Ulg

  2、客户保留Ulg

  分析客户在购买产品方面的行为变化和满意度情况,预测可能会流失的客户,提前做好挽留工作。Ulg

  3、销量预测Ulg

  分析产品的历史销售数据,预测未来一段时间的产品销量,为生产、库存提前做好准备。Ulg

  4、价格预测Ulg

  收集市场上影响产品价格的各种数据进行分析,预测产品价格的发展趋势,抢占市场先机。Ulg

  5、信用评分Ulg

  分析客户的基本信息和消费、还贷等记录,对客户信用进行评分,防范信用风险,减少损失。Ulg

  Smartbi Mining典型案例Ulg

  广州市城市规划勘测设计研究院采用Smartbi Mining实现时空大数据云平台的数据挖掘部分,主要研究地理信息数据与大数据、人工智能技术结合的方法,用于城市功能区识别,分析城市各个区域的交通热点、消费热点、人流状况,为城市的科学规划提供依据。Ulg

  1、 基于广州POI数据,展示城市热点区域Ulg

6.jpgUlg

  在Smartbi Mining里面,主要将广州POI数据进行处理,然后对建筑的经纬度进行聚类,以找出建筑最密集的多个区域,确定为广州的建筑热点区域。整个流程处理完成后,可以点击数据探索,查看数据聚类的结果(散点图):Ulg

7.jpgUlg

  2、基于上海出租车数据,根据上下车点的位置,提取城市功能区(住宅区、商业区、办公区等)Ulg

8.jpgUlg

  1)上车点Ulg

  上海出租车数据,取7:30-9:30的数据做上车点的聚类上车点聚类。基本可以确定,该时间段出发的热点区域,应该是住宅区。与上海地图对照,图示三个最大的热点区是上海的老城区(主要集中在南京路、淮海路一带):Ulg

9.jpgUlg

  2)下车点Ulg

  上海出租车数据,取7:30-9:30的数据做下车点的聚类下车点聚类。基本可以确定,该时间段下车的热点区域,应该是商业区和办公区。与上海地图对照,图示几个最大的热点区除了南京路一带外添加了上海南站、五角场、上海国际金融中心等地方) :Ulg

10.jpgUlg

  对大规模地理信息数据,使用聚类计算,可以得到用户感兴趣的热点区域,真实的反映了城市运行中的热点区域是否与规划相同,对城市规划设计,有一定的指导意义。Ulg

  一直以来,市面上有很多的数据挖掘工具,但基本上都是国外厂商把持,操作复杂,要熟悉算法和编程语言,对数据分析者的要求很高,所以很难普及开来。如今,随着Smartbi Mining的推出,必将开启一个“数据挖掘”新时代!相信以其简单易用、预测率高的产品优势和专业的咨询团队,一定能够在市场中迅速推广,帮助各行各业的客户挖掘数据价值,创造更多的效益,让我们拭目以待吧!Ulg