1. 简述数据挖掘的方法
本科或硕士以上学历，数据挖掘、统计学、数据库相关专业。熟练掌握关系数据库技术，具有数据库系统开发经验；熟练掌握常用的数据挖掘算法；具备数理统计理论基础，并熟悉常用的统计工具软件。国内一批大学，211或者985最好。
2. 数据挖掘的主要方法有()
八种常见的数据分析方法
1数字和趋势
采用数字和趋势图进行数据信息的展示最为直观，从具体的数字和趋势走向中可以更好地得到数据信息，有助于提高决策的准确性和实时性。
2维度分解
当单一的数字或趋势过于宏观时，我们可以通过不同维度对数据进行分解，以获取更加精细的数据洞察。在进行维度选择时，需要考虑此维度对于分析结果的影响。
3用户分群
用户分群即指针对符合某种特定行为或具有共同背景信息的用户，进行归类处理。也可通过提炼某一类用户的特定信息，为该群体创建用户画像。用户分群的意义在于我们可以针对具有特定行为或特定背景的用户，进行针对性的用户运营和产品优化，比如对具有“放弃支付或支付失败”的用户进行对应优惠券的发放，以此来实现精准营销，大幅提高用户的支付意愿和成交量。
4转化漏斗绝大部分商业变现的流程，都可归纳为漏斗。漏斗分析是常见的一种数据分析手段，比如常见的用户注册转化漏斗，电商下单漏斗。整个漏斗分析的过程就是用户从前到后转化的路径，通过漏斗分析可以得到转化效率。这其中包含三个要点：其一，整体的转化效率。其二，每一步（转化节点）的转化效率。其三，在哪一步流失最多，原因是什么，这些流失的用户具有什么特征。
5行为轨迹
数据指标本身只是真实情况的一种抽象，通过关注用户的行为轨迹，才能更真实地了解用户的行为。例如只看到常见的uv和pv指标，是无法理解用户是如何使用你的产品的。通过大数据手段来还原用户的行为轨迹，可以更好地关注用户的实际体验，从而发现具体问题。如果维度分解依旧难以确定某个问题所在，可通过分析用户行为轨迹，发现一些产品及运营中的问题。
6留存分析人口红利逐渐消退，拉新变得并不容易，此时留住一个老用户的成本往往要远低于获取一个新用户的成本，因此用户留存成为了每个公司都需要关注的问题。可以通过分析数据来了解留存的情况，也可以通过分析用户行为找到提升留存的方法。常见的留存分析场景还包括不同渠道的用户的留存、新老用户的留存以及一些新的运营活动及产品功能的上线对于用户回访的影响等。
7A/B测试 A/B测试通常用于测试产品新功能的上线、运营活动的上线、广告效果及算法等。
进行A/B测试需要两个必备因素：第一，足够的测试时间；第二，较高的数据量和数据密度。当产品的流量不够大时，进行A/B测试很难得到统计结果。
8数学建模涉及到用户画像、用户行为的研究时，通常会选择使用数学建模、数据挖掘等方法。比如通过用户的行为数据、相关信息、用户画像等来建立所需模型解决对应问题。
3. 简述数据挖掘的特点
数据挖掘起源于多种学科，其中最重要的是统计学和机器学习。统计学起源于数学其强调的是数学的精确性；机器学习主要起源于计算机实践其更倾向于实践，主动检测某个东西，来确定它的表现形式。
4. 简述一种数据挖掘方法并举例说明它的应用
“大数据”时代的数据挖掘的应用与方法
数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。所以它所得到的信息应具有未知,有效和实用三个特征。因此数据挖掘技术从一开始就是面向应用的，目前数据挖掘技术在企业市场营销中得到了比较普遍的应用。它包括：数据库营销、客户群体划分、背景分析、交叉销售等市场分析行为，以及客户流失性分析、客户信用记分、欺诈发现等。审计部门的数据挖掘以往偏重于对大金额数据的分析，来确实是否存在问题，以及问题在数据中的表现，而随着绩效审计的兴起，审计部门也需要通过数据来对被审计单位的各类行为做出审计评价，这些也都需要数据的支撑。
数据挖掘的方法有很多，它们分别从不同的角度对数据进行挖掘。其中绝大部分都可以用于审计工作中。1. 数据概化。数据库中通常存放着大量的细节数据,
通过数据概化可将大量与任务相关的数据集从较低的概念层抽象到较高的概念层。数据概化可应用于审计数据分析中的描述式挖掘,
审计人员可从不同的粒度和不同的角度描述数据集, 从而了解某类数据的概貌。大量研究证实, 与正常的财务报告相比,
5. 简述数据挖掘的概念与过程
知识发现过程的多种描述．它们只是在组织和表达方式上有所不同，在内容上并没有非常本质的区别。知识发现过程包括以下步骤：
1.问题的理解和定义：数据挖掘人员与领域专家合作．对问题进行深入的分析．以确定可能的解决途径和对学习结果的评测方法。
2．相关数据收集和提取：根据问题的定义收集有关的数据。在数据提取过程中，可以利用数据库的查询功能以加快数据的提取速度。
3．数据探索和清理：了解数据库中字段的含义及其与其他字段的关系。对提取出的数据进行合法性检查并清理含有错误的数据。
4．数据工程：对数据进行再加工．主要包括选择相关的属性子集并剔除冗余属性、根据知识发现任务对数据进行采样以减少学习量以及对数据的表述方式进行转换以适于学习算法等。为了使数据与任务达到最佳的匹配．这个步骤可能反复多次。
5．算法选择：根据数据和所要解决的问题选择合适的数据挖掘算法．并决定如何在这些数据上使用该算法。
6．运行数据挖掘算法：根据选定的数据挖掘算法对经过处理后的数据进行模式提取。
7．结果的评价：对学习结果的评价依赖于需要解决的问题．由领域专家对发现的模式的新颖性和有效性进行评价。数据挖掘是KDD 过程的一个基本步骤．它包括特定的从数据库中发现模式的挖掘算法。KDD过程使用数据挖掘算法根据特定的度量方法和阈值从数据库中提取或识别出知识，这个过程包括对数据库的预处理、样本划分和数据变换。
6. 简述数据挖掘方法和技术
大家都知道，在进行数据分析的时候需要先挖掘数据和存取数据，这样才能够为数据分析工作打好基础。
但是在一般情况下，数据挖掘出来之后是有很多无用重复的数据的，如果将这些数据直接分析的时候会影响分析结果，这就需要对数据进行加工。如果加工得好，那么出来后的数据是一个简洁、规范、清晰的样本数据。
数据加工的步骤通常包括数据抽取、数据转换、数据计算。
7. 简述数据挖掘常见的几种研究方法及特点
数据挖掘：Data mining，又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性（属于Association rule learning）的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。 举例：爬虫软件就是简单的数据挖掘 数据分析：数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。这一过程也是质量管理体系的支持过程。在实用中，数据分析可帮助人们作出判断，以便采取适当行动。 数据分析的数学基础在20世纪早期就已确立，但直到计算机的出现才使得实际操作成为可能，并使得数据分析得以推广。数据分析是数学与计算机科学相结合的产物。 举例：通过对大量数据的分析马云知道了杭州地区的女性的...
8. 简述数据挖掘的方法和技巧
您是否想更好地了解传统数据与大数据之间的区别，在哪里可以找到数据以及可以使用哪些技术来处理数据?
这些是处理数据时必须采取的第一步，因此这是一个不错的起点，特别是如果您正在考虑从事数据科学职业!
“数据”是一个广义术语，可以指“原始事实”，“处理后的数据”或“信息”。为了确保我们在同一页面上，让我们在进入细节之前将它们分开。
我们收集原始数据，然后进行处理以获得有意义的信息。
好吧，将它们分开很容易!
现在，让我们进入细节!
原始数据(也称为“ 原始 事实”或“ 原始 数据”)是您已累积并存储在服务器上但未被触及的数据。这意味着您无法立即对其进行分析。我们将原始数据的收集称为“数据收集”，这是我们要做的第一件事。
什么是原始数据?
我们可以将数据视为传统数据或大数据。如果您不熟悉此想法，则可以想象包含分类和数字数据的表格形式的传统数据。该数据被结构化并存储在可以从一台计算机进行管理的数据库中。收集传统数据的一种方法是对人进行调查。要求他们以1到10的等级来评估他们对产品或体验的满意程度。
传统数据是大多数人习惯的数据。例如，“订单管理”可帮助您跟踪销售，购买，电子商务和工作订单。
但是，大数据则是另外一回事了。
顾名思义，“大数据”是为超大数据保留的术语。
您还会经常看到它以字母“ V”为特征。如“大数据的3V ”中所述。有时我们可以拥有5、7甚至11个“ V”的大数据。它们可能包括– 您对大数据的愿景，大数据的价值，您使用的可视化工具或大数据一致性中的可变性。等等…
但是，以下是您必须记住的最重要的标准：
体积
大数据需要大量的存储空间，通常在许多计算机之间分布。其大小以TB，PB甚至EB为单位
品种
在这里，我们不仅在谈论数字和文字。大数据通常意味着处理图像，音频文件，移动数据等。
速度
在处理大数据时，目标是尽可能快地从中提取模式。我们在哪里遇到大数据?
答案是：在越来越多的行业和公司中。这是一些著名的例子。
作为最大的在线社区之一，“ Facebook”会跟踪其用户的姓名，个人数据，照片，视频，录制的消息等。这意味着他们的数据种类繁多。全世界有20亿用户，其服务器上存储的数据量巨大。
让我们以“金融交易数据”为例。
当我们每5秒记录一次股价时会发生什么?还是每一秒钟?我们得到了一个庞大的数据集，需要大量内存，磁盘空间和各种技术来从中提取有意义的信息。
传统数据和大数据都将为您提高客户满意度奠定坚实的基础。但是这些数据会有问题，因此在进行其他任何操作之前，您都必须对其进行处理。
如何处理原始数据?
让我们将原始数据变成美丽的东西!
在收集到足够的原始 数据之后，要做的第一件事就是我们所谓的“数据预处理 ”。这是一组操作，会将原始数据转换为更易理解且对进一步处理有用的格式。
我想这一步会挤在原始 数据和处理之间!也许我们应该在这里添加一个部分...
数据预处理
那么，“数据预处理”的目的是什么?
它试图解决数据收集中可能出现的问题。
例如，在您收集的某些客户数据中，您可能有一个注册年龄为932岁或“英国”为名字的人。在进行任何分析之前，您需要将此数据标记为无效或更正。这就是数据预处理的全部内容!
让我们研究一下在预处理传统和大原始数据时应用的技术吗?
类标签
这涉及将数据点标记为正确的数据类型，换句话说，按类别排列数据。
我们将传统数据分为两类：
一类是“数字” –如果您要存储每天售出的商品数量，那么您就在跟踪数值。这些是您可以操纵的数字。例如，您可以计算出每天或每月销售的平均商品数量。
另一个标签是“分类的” –在这里您正在处理数学无法处理的信息。例如，一个人的职业。请记住，数据点仍然可以是数字，而不是数字。他们的出生日期是一个数字，您不能直接操纵它来给您更多的信息。
考虑基本的客户数据。*(使用的数据集来自我们的 SQL课程)
我们将使用包含有关客户的文本信息的此表来给出数字变量和分类变量之间差异的清晰示例。
注意第一列，它显示了分配给不同客户的ID。您无法操纵这些数字。“平均” ID不会给您任何有用的信息。这意味着，即使它们是数字，它们也没有数值，并且是分类数据。
现在，专注于最后一列。这显示了客户提出投诉的次数。您可以操纵这些数字。将它们加在一起以给出总数的投诉是有用的信息，因此，它们是数字数据。
我们可以查看的另一个示例是每日历史股价数据。
*这是我们在课程Python课程中使用的内容。
您在此处看到的数据集中，有一列包含观察日期，被视为分类数据。还有一列包含股票价格的数字数据。
当您使用大数据时，事情会变得更加复杂。除了“数字”和“分类”数据之外，您还有更多的选择，例如：
文字数据
数字图像数据
数字视频数据
和数字音频数据
数据清理
也称为“ 数据清理” 或“ 数据清理”。
数据清理的目的是处理不一致的数据。这可以有多种形式。假设您收集了包含美国各州的数据集，并且四分之一的名称拼写错误。在这种情况下，您必须执行某些技术来纠正这些错误。您必须清除数据;线索就是名字!
大数据具有更多数据类型，并且它们具有更广泛的数据清理方法。有一些技术可以验证数字图像是否已准备好进行处理。并且存在一些特定方法来确保文件的音频 质量足以继续进行。
缺失值
“ 缺失的 价值观”是您必须处理的其他事情。并非每个客户都会为您提供所需的所有数据。经常会发生的是，客户会给您他的名字和职业，而不是他的年龄。在这种情况下您能做什么?
您是否应该忽略客户的整个记录?还是您可以输入其余客户的平均年龄?
无论哪种最佳解决方案，都必须先清理数据并处理缺失值，然后才能进一步处理数据。
处理传统数据的技术
让我们进入处理传统数据的两种常用技术。
平衡
想象一下，您已经编制了一份调查表，以收集有关男女购物习惯的数据。假设您想确定谁在周末花了更多钱。但是，当您完成数据收集后，您会发现80%的受访者是女性，而只有20%是男性。
在这种情况下，您发现的趋势将更趋向于女性。解决此问题的最佳方法是应用平衡技术。例如，从每个组中抽取相等数量的受访者，则该比率为50/50。
数据改组
从数据集中对观察结果进行混洗就像对一副纸牌进行混洗一样。这将确保您的数据集不会出现由于有问题的数据收集而导致的有害模式。数据改组是一种改善预测性能并有助于避免产生误导性结果的技术。
但是如何避免产生错觉呢?
好吧，这是一个详细的过程，但概括地说，混洗是一种使数据随机化的方法。如果我从数据集中获取前100个观察值，则不是随机样本。最高的观察值将首先被提取。如果我对数据进行混洗，那么可以肯定的是，当我连续输入100个条目时，它们将是随机的(并且很可能具有代表性)。
处理大数据的技术
让我们看一下处理大数据的一些特定于案例的技术。
文本数据挖掘
想想以数字格式存储的大量文本。嗯，正在进行许多旨在从数字资源中提取特定文本信息的科学项目。例如，您可能有一个数据库，该数据库存储了来自学术论文的有关“营销支出”(您的研究主要主题)的信息。大数据分析技术有哪些https://www.aaa-cg.com.cn/data/2272.html如果源的数量和数据库中存储的文本量足够少，则可以轻松找到所需的信息。通常，尽管数据巨大。它可能包含来自学术论文，博客文章，在线平台，私有excel文件等的信息。
这意味着您将需要从许多来源中提取“营销支出”信息。换句话说，就是“大数据”。
这不是一件容易的事，这导致学者和从业人员开发出执行“文本数据挖掘”的方法。
数据屏蔽
如果您想维持可靠的业务或政府活动，则必须保留机密信息。在线共享个人详细信息时，您必须对信息应用一些“数据屏蔽”技术，以便您可以在不损害参与者隐私的情况下进行分析。
像数据改组一样，“数据屏蔽”可能很复杂。它用随机和假数据隐藏原始数据，并允许您进行分析并将所有机密信息保存在安全的地方。将数据屏蔽应用于大数据的一个示例是通过“机密性保留数据挖掘”技术。
完成数据处理后，您将获得所需的宝贵和有意义的信息。我希望我们对传统数据与大数据之间的差异以及我们如何处理它们有所了解。
https://www.toutiao.com/i6820650243210609166/