1. 大数据挖掘算法分类
据的处理过程可以分为大数据采集、存储、结构化处理、隐私保护、挖掘、结果展示(发布)等,各种领域的大数据应用一般都会涉及到这些基本过程,但不同应用可能会有所侧重。对于互联网大数据而言,由于其具有独特完整的大数据特点,除了共性技术外,采集技术、结构化处理技术、隐私保护也非常突出。
有很多算法和模型可以解决这些处理过程中的技术问题,并且为了最终用户的使用方便,它们大都被进一步的封装,形成了比较简单易用的操作平台。目前大数据技术平台有很多,归纳起来可以按照以下方式进行分类:
(1)从大数据处理的过程来分:包括数据存储、数据挖掘分析、以及为完成高效分析挖掘而设计的计算平台,它们完成数据采集、ETL、存储、结构化处理、挖掘、分析、预测、应用等功能。
(2)从大数据处理的数据类型来划分:可以分为针对关系型数据、非关系型数据(图数据、文本数据、网络型数据等)、半结构化数据、混合类型数据处理的技术平台。
(3)从大数据处理的方式来划分:可以分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行一次性处理,而实时处理(流处理)对处理的延时有严格的要求,综合处理是指同时具备批量处理和实时处理两种方式。
(4)从平台对数据的部署方式看:可以分为基于内存的、基于磁盘的。前者在分布式系统内部的数据交换是在内存中进行,后者则是通过磁盘文件的方式。
此外,技术平台还有分布式、集中式之分,云环境和非云环境之分等。阿里云大数据平台构建在阿里云云计算基础设施之上,为用户提供了大数据存储、计算能力、大数据分析挖掘、以及输出展示等服务,用户可以容易地实现BI商业智能、人工智能服务,具备一站式数据应用能力。
不同的大数据技术平台提供了对这些处理过程的支持,有的平台可能会支持多个过程,但是侧重点也不同,支持的深度也有所不同,因此有必要熟悉各种平台的功能,并做出比较分析,以便在实际应用中选择适合于自己需求的技术平台。
选择一个合适的大数据技术平台是非常重要的,它能够使得大数据应用开发更加容易、让开发人员更集中精力在业务层面的数据分析与处理上。一些共性的基础问题,例如数据如何存储、如何检索、数据统计等,就可以由平台来完成。选择合适的大数据技术平台应当考虑以下因素:
(1)平台的功能与性能:由于不同平台侧重的功能不同,平台的性能也就有很多需要考察的方面。比如对于存储平台来说,数据的存储效率、读写效率、并发访问能力、对结构化与非结构化数据存储的支持,所提供的数据访问接口等方面就是比较重要的。对于大数据挖掘平台来说,所支持的挖掘算法、算法的封装程度、数据挖掘结果的展示能力、挖掘算法的时间和空间复杂度等,是比较重要的指标。
(2)平台的集成度:好的平台应该具有较高的集成度,为用户提供良好的操作界面,具有完善的帮助和使用手册、系统易于配置、移植性好。同时随着目前软件开源的趋势,开源平台有助于其版本的快速升级,尽快发现其中的bug,此外,开源的架构也比较容易进行扩展,植入更多的新算法,这对于最终用户而言也是比较重要的。
(3)是否符合技术发展趋势:大数据技术是当前发展和研究的热点,其最终将走向逐步成熟,可以预见在这个过程中,并非所有的技术平台都能生存下来。只有符合技术发展趋势的技术平台才会被用户、被技术开发人员所接受。因此,一些不支持分布式、集群计算的平台大概只能针对较小的数据量,侧重于对挖掘算法的验证。而与云计算、物联网、人工智能联系密切的技术平台将成为主流,是技术发展趋势。
技术迭代更新速度加快,当我们花很多时间去掌握熟悉某种技术平台后,可能新的更好的技术平台出现了,导致我们受累奔波于各种技术平台,因此,最好的策略就是全面系统地掌握大数据技术的原理和实现方案,这样学习新的技术平台就很容易上手。
2. 数据挖掘算法分类包括
KNN,全称k-NearestNeighbor。
算法的核心思想是:未标记样本的类别由距离其最近的K个邻居投票来决定。
可解决分类或者回归问题。由其思想可以看出,KNN是通过测量不同特征值之间的距离进行分类,而且在决策样本类别时,只参考样本周围k个“邻居”样本的所属类别。因此比较适合处理样本集存在较多重叠的场景,主要用于聚类分析、预测分析、文本分类、降维等,也常被认为是简单数据挖掘算法的分类技术之一。
3. 数据挖掘算法分类的用途
数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。
数据挖掘对象
1.数据的类型可以是结构化的、半结构化的,甚至是异构型的。发现知识的方法可以是数学的、非数学的,也可以是归纳的。最终被发现了的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。
2.数据挖掘的对象可以是任何类型的数据源。可以是关系数据库,此类包含结构化数据的数据源;也可以是数据仓库、文本、多媒体数据、空间数据、时序数据、Web数据,此类包含半结构化数据甚至异构性数据的数据源。
3.发现知识的方法可以是数字的、非数字的,也可以是归纳的。最终被发现的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。
数据挖掘步骤
在实施数据挖掘之前,先制定采取什么样的步骤,每一步都做什么,达到什么样的目标是必要的,有了好的计划才能保证数据挖掘有条不紊地实施并取得成功。很多软件供应商和数据挖掘顾问公司投提供了一些数据挖掘过程模型,来指导他们的用户一步步地进行数据挖掘工作。比如,SPSS公司的5A和SAS公司的SEMMA。
数据挖掘过程模型步骤主要包括定义问题、建立数据挖掘库、分析数据、准备数据、建立模型、评价模型和实施。下面让我们来具体看一下每个步骤的具体内容:
(1)定义问题。在开始知识发现之前最先的也是最重要的要求就是了解数据和业务问题。必须要对目标有一个清晰明确的定义,即决定到底想干什么。比如,想提高电子信箱的利用率时,想做的可能是“提高用户使用率”,也可能是“提高一次用户使用的价值”,要解决这两个问题而建立的模型几乎是完全不同的,必须做出决定。
(2)建立数据挖掘库。建立数据挖掘库包括以下几个步骤:数据收集,数据描述,选择,数据质量评估和数据清理,合并与整合,构建元数据,加载数据挖掘库,维护数据挖掘库。
(3)分析数据。分析的目的是找到对预测输出影响最大的数据字段,和决定是否需要定义导出字段。如果数据集包含成百上千的字段,那么浏览分析这些数据将是一件非常耗时和累人的事情,这时需要选择一个具有好的界面和功能强大的工具软件来协助你完成这些事情。
(4)准备数据。这是建立模型之前的最后一步数据准备工作。可以把此步骤分为四个部分:选择变量,选择记录,创建新变量,转换变量。
(5)建立模型。建立模型是一个反复的过程。需要仔细考察不同的模型以判断哪个模型对面对的商业问题最有用。先用一部分数据建立模型,然后再用剩下的数据来测试和验证这个得到的模型。有时还有第三个数据集,称为验证集,因为测试集可能受模型的特性的影响,这时需要一个独立的数据集来验证模型的准确性。训练和测试数据挖掘模型需要把数据至少分成两个部分,一个用于模型训练,另一个用于模型测试。
(6)评价模型。模型建立好之后,必须评价得到的结果、解释模型的价值。从测试集中得到的准确率只对用于建立模型的数据有意义。在实际应用中,需要进一步了解错误的类型和由此带来的相关费用的多少。经验证明,有效的模型并不一定是正确的模型。造成这一点的直接原因就是模型建立中隐含的各种假定,因此,直接在现实世界中测试模型很重要。先在小范围内应用,取得测试数据,觉得满意之后再向大范围推广。
(7)实施。模型建立并经验证之后,可以有两种主要的使用方法。第一种是提供给分析人员做参考;另一种是把此模型应用到不同的数据集上。
4. 大数据挖掘常用的算法有哪些
K均值聚类:最适合处理大数据,适用于大样本的个案聚类,分类数明确,适用于连续性变量; 系统聚类:适用于个案或变量聚类,对分类数没有要求,连续性和分类型变量均适用; 两步聚类:
1)分类变量和连续变量均可参与二阶聚类;
2)可自动确定分类数;
3)适用于大数据集;
4)用户可自己定制用于运算的内存容量
5. 大数据分析与挖掘有哪些算法
数据筛选中数据挖掘的算法分析主要有以下几种。
分类算法分析
分类数据挖掘是通过找出共同事物的相同属性及不同事物间的差异。利用找出的相同点或者不同点将事物分类。决策树的优点在于,其描述简单,当数据量较大时仍能够快速的将数据进行分类。分类算法通常是基于决策树来实现,设定的分类种类都用叶子节点表示,而中间的节点用来表示事物的属性。在构造决策树时候,决策树并不是完全不变的,而是在不断变化的、完善的。通常会对建立的决策树进行实验,如果决策树对所有给定对象分类结果达不到预期要求,就要通过增加些特殊的例子对其进行完善,这一过程会在后续实验中不断进行,直到决策树能够将给定事物进行准确分类,形成较为完善的决策树。
分类算法在构建模型中使用广泛,常用于信用、客户类别分析模型中。在邮件营销中可以使用此分类算法依据已有客户以往的消费信息进行分析,得出购买力较高的客户特征列表,从而对此类客户进行精准营销以获得更多客户。在构建模型时,使用决策树的方法对于以往信息进行分类,得到以前进行消费客户的共同点,收集其共同特征,得出消费用户的主要特性。最后得出一个可以对客户进行判别的决策树,这样就可以对其余客户进行判定,得到较有价值的潜在客户列表。这种基于对已有信息进行分析、判断分类的方法,将已有信息分为不同类别,使得企业更有针对性的为不同类群提供针对性的服务,从而提高企业的决策效率和准确度。
聚类算法分析
聚类算法的作用是将具有相同特征的事物进行分组,又称为群分析。聚类算法可以用来大致判断将对象分为多少组,并提供每组数据的特征值。在聚类分析中可以将给定实例分成不同类别,相同类别中的实例是相关的,但是不向类别之间是不相关的。聚类算法中的重要之处就是分类步骤,在将给定实例分类时,需要先任选一个样本,作为样本中心,然后选定中心距,将小于中心距的实例归入一个集合,将剩下的距中心样本距离大于中心距的归入另一个集合。再在剩余样本中选出新的中心,重复上面步骤,不断形成新的类别,直至将所有样本都归入集合。
从上面步骤可以看出,聚类算法在归类时速度的快慢,受给定中心距的影响。如果给定中心距较小,类别就会相对增多,降低归类速度。同样在聚类算法中,确定将实例分成的类别数也是十分重要的,如果类别较多不但在分类时会耗费太多时间,也会失去分类的意义。但是具体应该分出多少类,并没有一个最优的方法来判定,只能通过估算来计算。通过聚类算法处理过后的数据,同一类中的数据都非常接近,不同类就有种很大差异性。在聚类算法中判断数据间间隔通常利用距离表示,也就是说可以利用函数将数据间任意距离转换成一个实数,通常实数越大表示间距越远。
关联算法分析
关联算法用于表示两事物间关系或依赖。事物问关联通常分为两种,一种是称为相关性,另一种称为关联性。两者都用来表示事物间的关联性,但是前者通常用来表示互联网内容及文档上的关联性,后者通常用于表示电子商务间各网站商品间的关系,但两者并无本质区别。关联算法既然是用来表示两事物问关系或依赖度,那么就需要用定量会来衡量相关度,这一概念被称为支持度,即当某个商品出现时另一商品伴随出现的概率。
关联算法的数据挖掘通常分为两步,第一步就是在集合中寻找出现频率较高的项目组,这些项目组相当于整体记录而言必须达到一定水平。通常会认为设置要分析实体间支持度,如果两实体问支持度大于设定值,则称二者为高频项目组。第二步是利用第一步找出的高频项目组确定二者间关系,这种关系通常由二者间概率表示。即计算A事件出现时B事件出现的概率,公式为(A与B同时出现的概率)/(A出现的概率),当比值满足既定概率时候,才能说明两事件相关联。关联分析能够从数据库中找出已有数据间的隐含关系,从而利用数据获得潜在价值。
6. 大数据挖掘算法分类标准
本书是国内绝大多数高校采用的知名教材《云计算》(1-3版)的姊妹篇,是中国大数据专家委员会刘鹏教授联合国内多位专家历时两年的心血之作。大数据领域一直缺乏一本权威教材,希望本书能够填补空白。[1]
本书系统地介绍了大数据的理论知识和实战应用,包括大数据采集与预处理、数据挖掘算法和工具和大数据可视化等,并深度剖析了大数据在互联网、商业和典型行业的应用
7. 数据挖掘算法分类方法
数据挖掘的方法:
1.分类 (Classification)
2.估计(Estimation)
3.预测(Prediction)
4.相关性分组或关联规则(Affinity grouping or association rules)
6.复杂数据类型挖掘(Text,Web ,图形图像,视频,音频等)数据挖掘数据挖掘(英语:Data mining),又译为资料探勘、数据采矿。它是数据库知识发现(英语:Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性(属于Association rule learning)的信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。
8. 大数据挖掘算法分类包括
应该是有很多方向的吧,大体可以分类为 1. 计算机技术方面的方向,比如提高机器处理性能等。
2. 算法方向,关于算法的修正和提升等 3. 应用方向,比如商业中应用,政府中应用,制造业中应用等。