数据挖掘环节(数据挖掘基本任务)

1. 数据挖掘基本任务

SPSS(Statistical Product and Service Solutions)，"统计产品与服务解决方案"软件。最初软件全称为"社会科学统计软件包"(SolutionsStatistical Package for the Social Sciences)，但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为"统计产品与服务解决方案"，标志着SPSS的战略方向正在做出重大调整。为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称SPSS，有Windows和Mac OS X等版本。

1984年SPSS总部首先推出了世界上第一个统计分析软件微机版本SPSS/PC+，开创了SPSS微机系列产品的开发方向，极大地扩充了它的应用范围，并使其能很快地应用于自然科学、技术科学、社会科学的各个领域。世界上许多有影响的报刊杂志纷纷就SPSS的自动统计绘图、数据的深入分析、使用方便、功能齐全等方面给予了高度的评价。

2. 数据挖掘的主要任务

可视化分析，数据挖掘算法，预测性分析能力，语义引擎等

3. 数据挖掘任务有哪几项

（1）计算时间：较简单的数据，即经过数据归约后的结果，可减少数据挖掘消耗的时间。

（2）预测/描述精度：估量了数据归纳和概括为模型的好坏。

（3）数据挖掘模型的描述：简单的描述通常来自数据归约，这样模型能得到更好理解。

数据归约算法特征：

（1）可测性

（2）可识别性

（3）单调性

（4）一致性

（5）收益增减

（6）中断性

（7）优先权

二、数据归约方法：

1、特征归约：

用相应特征检索数据通常不只为数据挖掘目的而收集，单独处理相关特征可以更有效，我们希望选择与数据挖掘应用相关的数据，以达到用最小的测量和处理量获得最好的性能。特征归约处理的效果：

（1）更少的数据，提高挖掘效率

（2）更高的数据挖掘处理精度

（3）简单的数据挖掘处理结果

（4）更少的特征。

和生成归约后的特征集有关的标准任务有两个：

（1）特征选择：基于应用领域的知识和挖掘目标，分析者可以选择初始数据集中的一个特征子集。特征排列算法，最小子集算法

（2）特征构成：特征构成依赖于应用知识。

特征选择的目标是要找出特征的一个子集，此子集在数据挖掘的性能上比得上整个特征集。特征选择的一种可行技术是基于平均值和方差的比较，此方法的主要缺点是特征的分布未知。最优方法的近似：

（1）只对有前景的特征子集进行检查

（2）用计算简单的距离度量替换误差度量

（3）只根据大量数据的子集选择特征。

4. 数据挖掘基本任务是什么

大数据产生的背景：

1、随着物联网、社交网络、云计算等技术不断融入我们的生活以及现有的计算能力、存储空间、网络带宽的高速发展，人类积累的数据在互联网、通信、金融、商业、医疗等诸多领域不断地增长和累积。

2、互联网搜索引擎支持的数十亿次web搜索每天处理数万TB字节数据。全世界通信网的主干网上一天就有万TB字节数据在传输。现代医疗行业如医院、药店等也都每天产生庞大的数据量如医疗记录、病人资料、医疗图像等。数据的量级不断升级、应用的不断深入和大数据不可忽视的价值让我们不得不探索如何才能让我们更好的受益于这些数据。

3、大数据是一次对国家宏观调控、商业战略决策、服务业务和管理方式以及每个人的生活都具有重大影响的一次数据技术革命。大数据的应用与推广将给市场带来千万亿美元收益的机遇，称为数据带来的又一次工业革命。

4、随着高速发展的信息技术，不断扩张的数据库容量，互联网作为信息传播和再生的平台，“信息泛滥”、“数据爆炸”等现象不绝于耳，海量的数据信息使得人们难以做出快速的抉择。

5、信息冗余、信息真假、信息安全、信息处理、信息统一等问题也随着大数据给人们带来价值的同时也造成了一系列的问题。人们不仅希望能够从大数据中提取出有价值的信息，更希望发现能够有效支持生产生活中需要决策的更深层次的规律。

6、在现实情况的背景下，人们意识到需要有效地解决海量数据的利用问题具有研究价值和经济利益。面向大数据的数据挖掘的特有两个最重要的任务。一是实时性，如此海量的数据规模需要实时分析并迅速反馈结果。二是准确性，需要我们从海量的数据中精准提取出隐含在其中的用户需要的有价值信息，再将挖掘所得到的信息转化成有组织的知识以模型等方式表示出来，从而将分析模型应用到现实生活中提高生产效率、优化营销方案等。

5. 数据挖掘基本任务的具体应用

大多数关联规则挖掘算法通常采用的一种策略是，将关联规则挖掘任务分解为如下两个主要的子任务：

频繁项集产生（Frequent Itemset Generation）

其目标是发现满足最小支持度阈值的所有项集，这些项集称作频繁项集。

规则的产生（Rule Generation）

其目标是从上一步发现的频繁项集中提取所有高置信度的规则，这些规则称作强规则。

关联分析的目标

发现频繁项集；

由频繁项集产生强关联规则，这些规则必须大于或等于最小支持度和最小置信度。

6. 数据挖掘基本任务和应用

spss

SPSS（Statistical Product and Service Solutions），“统计产品与服务解决方案”软件。最初软件全称为“社会科学统计软件包”（SolutionsStatistical Package for the Social Sciences），但是随着SPSS产品服务领域的扩大和服务深度的增加，SPSS公司已于2000年正式将英文全称更改为“统计产品与服务解决方案”，这标志着SPSS的战略方向正在做出重大调整。SPSS为IBM公司推出的一系列用于统计学分析运算、数据挖掘、预测分析和决策支持任务的软件产品及相关服务的总称，有Windows和Mac OS X等版本。

Excel释义：

vt. 超过；擅长

vi. （在某方面）胜过（或超过）别人

例句：

No one knows what this mysterious person excels in.

没人知道这个神秘人擅长什么。

词组：

excel inv. 在……方面胜过；在……方面很擅长

excel at突出；擅长于

7. 数据挖掘有哪些挖掘任务

1) 爆破:爆破对遗物、遗迹有所损害，不用爆破应该会更稳妥一些，但当时觉得爆破既省时又省力

　　2)“打格分方、按水平层”: 好处: 记录非常详细，每件化石都有编号。我们只要看标本上的号码，查一下平面图和剖面图，就可以知道这件标本是在哪一层、哪一“方格”里发现

　　3)地球化学分析方法: 分析某一种脊椎动物的骨、牙齿化石中的碳氧同位素组成，就可知道这种动物当时的生活环境，甚至还可以了解到当时该动物是以被子植物还是以裸子植物作为食料来源

　　4)Desmond Clark带来了非洲露天遗址的发掘方法: 1平方米一个方，每5厘米一个发掘层， 标本保留原地，并在出露最高点标记号，还做指北箭头标记，然后水准仪测量水平经纬坐标和海拔高度，标本出露的长短以及产状的倾向和倾角都要测量，最后绘图照相记录好处: 有利于分析标本的原始埋藏情况。

8. 数据挖掘基本任务举例

物流信息管理是指运用计划、组织、指挥、协调、控制等基本职能对物流信息搜集、检索、研究、报道、交流和提供服务的过程，并有效地运用人力、物力和财力等基本要素以期达到物流管理的总体目标的活动。物流信息管理就是对物流信息资源进行统一规划和组织，并对物流信息的收集、加工、存储、检索、传递和应用的全过程进行合理控制，从而使物流供应链各环节协调一致，实现信息共享和互动，减少信息冗余和错误，辅助决策支持，改善客户关系，最终实现信息流、资金流、商流、物流的高度统一，达到提高物流供应链竞争力的目的，其主要内容如下：信息政策制订为了实现不同区域、不同国度、不同企业、不同部门间物流信息的相互识别和利用，实现物流供应链信息的通畅传递与共享，必须确定一系列共同遵守和认同的物流信息规则或规范，这就是物流信息政策的制订，如信息的格式与精度、信息传递的协议、信息共享的规则、信息安全的标准、信息存储的要求等等，这是实现物流信息管理的基础。信息规划即从企业或行业的战略高度出发，对信息资源的管理、开发、利用进行长远发展的计划，确定信息管理工作的目标与方向，制订出不同阶段的任务，指导数据库系统的建立和信息系统的开发，保证信息管理工作有条不紊地进行。信息收集即应用各种手段、通过各种渠道进行物流信息的采集，以反映物流系统及其所处环境情况，为物流信息管理提供素材和原料。信息收集是整个物流信息管理中工作量最大、最费时间、最占人力的环节，操作时注意把握以下要点：首先，收集工作前要进行信息的需求分析。明确了解企业各级管理人员在进行管理决策和开展日常管理活动过程中何时、何处以及如何需要哪些信息，确定信息需求的层次、目的、范围、精度、深度等要求，实现按需收集，避免收集的信息量过大，造成人、财、物的浪费，或收集的信息过于狭窄影响使用效果等。其次，收集工作要具有系统性和连续性。要求收集到的信息能客观地、系统地反映物流活动的情况，并能随一定时间的变化，记录经济活动的状况，为预测未来物流发展提供依据。第三，要合理选择信息源。信息源的选择与信息内容及收集目的有关，为实现既定目标，必须选择能提供所需信息的最有效信息源。信息源一般较多，应进行比较，选择提供信息数量大、种类多、质量可靠的信息源，建立固定信息源和渠道。第四，信息收集过程的管理工作要有计划，使信息收集过程成为有组织、有目的的活动。信息处理信息处理工作，就是根据使用者的信息需求，对收集到的信息进行筛选、分类、加工及储存等活动，加工出对使用者有用的信息。信息处理的内容如下： 1．信息分类及汇总。按照一定的分类标准或规定，将信息分成不同的类别进行汇总，以便信息的存储和提取。 2．信息编目（或编码）。所谓编目（或编码）指的是用一定的代号来代表不同信息项目。用普通方式（如资料室、档案室、图书室）保存信息则需进行编目，用电子计算机保存信息则需确定编码。在信息项目、信息数量很大的情况下，编目及编码是将信息系统化、条理化的重要手段。 3．信息储存。应用电子计算机及外部设备的储存介质，建立有关数据库进行信息的存储，或通过传统的纸质介质如卡片、报表、档案等对信息进行抄录存储。 4．信息更新。信息具有有效的使用期限，失效的信息需要及时淘汰、变更、补充等，才能满足使用者的需求。 5．数据挖掘。信息可区分为显性信息和隐性信息，显性信息是可用语言明确表达出来的、可编码化的信息，隐性信息则存在于人头脑中的个人的行为、世界观、价值双和情感之中，往往很难以某种方式直接表达出来或直接发现，也难于传递与交流，但隐性信息具有可直接转化为有效行动的重要作用，其价值高于和广于显性信息。因此，为了充分发挥信息的作用，需要对显性信息进行分析、加工和提取等，挖掘出隐藏在后面的隐性信息，这就是数据挖掘的任务。数据挖掘包括数据准备、数据挖掘、模式模型的评估与解释、信息巩固与应用等几个处理过程。首先通过数据准备对数据库系统中的积累数据进行处理，包括选择、净化、推测、转换、缩减等操作，然后进入数据挖掘阶段，依据有关目标，选取相应算法参数，分析数据，得到形成隐性信息的模式模型，并通过模式模型的评估与解释，依据评估标准完成对模式模型的评估，剔除无效、无用的模式模型，最后在隐性信息的巩固与运用中，对形成模式模型的隐性信息做一致性检查，消除其中的矛盾与冲突，然后运用数据分析手段对挖掘出的信息做二次处理，形成专业化、可视化、形象化的数据表现形式，这个过程是一个不断循环、反馈、完善的过程。信息传递信息传递是指信息从信息源发出，经过适当的媒介和信息通道输给接收者的过程。信息传递方式有许多种，一般可从不同的传递角度来划分信息传递方式。（1）从信息传递方向看，有单向信息传递方式和双向信息传递方式。单向信息传递是指信息源只向信息接收源传递信息，而不双向沟通交流信息；双向信息传递是指信息发出者与信息接收者共同参与信息传递，双方相互交流传递信息，信息流呈双向交流传递。（2）从信息传递层次看，有直接传递方式和间接传递方式。两种传递方式的区别是信息源与信息接收者之间，信息是直接传递，还是经其它人员或组织进行传递。（3）从信息传递时空来看，有时间传递方式和空间传递方式。信息的时间传递方式指信息的纵向传递，即通过对信息的存贮方式，实现信息流在时间上连续的传递。空间传递方式指信息在空间范围的广泛传递。由于现代通信技术的发展，电视传真、激光通讯、卫星通讯等等手段，为信息的空间传递创造了条件。（4）从信息传递媒介看，有人工传递和非人工的其它媒体传递方式。信息服务与应用服务与应用是物流信息资料重要的特性，信息工作目的就是将信息提供给有关方面使用。物流信息的服务工作主要内容有以下几方面： 1．信息发布和传播服务。按一定要求将信息内容通过新闻、出版、广播、电视、报刊杂志、音像影视、会议、文件、报告、年鉴等形式予以发表或公布，便于使用者搜集、使用。 2．信息交换服务。通过资料借阅、文献交流、成果转让、产权转移、数据共享等多种形式进行信息的交换，以起到交流、宣传、使用信息的作用。 3．信息技术服务。包括数据处理、计算机、复印机等设备的操作和维修及技术培训、软件提供、信息系统开发服务等活动。 4.信息咨询服务。包括公共信息提供、行业信息提供、政策咨询、管理咨询、工程咨询、信息中介、计算机检索等，实现按用户要求收集信息、查找和提供信息，或就用户的物流经营管理问题，进行针对性信息研究、信息系统设计与开发等，帮助用户提高管理决策水平，实现信息的增殖和放大，以信息化水平的提高带动用户物流管理水平的提高。