1. spark 分析
1、spark和scala真的是非常完美的配搭，RDD的很多思想与scala类似，如完全相同概念List的map、filter等高阶算子，很短的
代码就可以实现java很多行的功能；类似于fp中的不可变及惰性计算，使得分布式的内存对象rdd可以实现，同时可以实现pipeline；
2、scala善于借力，如设计初衷就包含对于jvm的支持，所以可以很完美的借java的生态力量；spark一样，很多东西不要自己写，直接使用、借鉴，如直接部署在yarn、mesos、ec2，使用hdfs、s3，借用hive中的sql解析部分；
3、还有akka方便开发高效的网络通讯。
2. spark 数据处理
数据库的功能，一是持久化数据，二是对外提供查询接口，应用场景在小数据时比较多。spark是大数据处理方法的内存模式，流式计算是其特点。
3. spark 数据
从速度的角度看，Spark从流行的MapReduce模型继承而来，可以更有效地支持多种类型的计算，如交互式查询和流处理。速度在大数据集的处理中非常重要，它可以决定用户可以交互式地处理数据，还是等几分钟甚至几小时。Spark为速度提供的一个重要特性是其可以在内存中运行计算，即使对基于磁盘的复杂应用，Spark依然比MapReduce更有效。
从通用性来说，Spark可以处理之前需要多个独立的分布式系统来处理的任务，这些任务包括批处理应用、交互式算法、交互式查询和数据流。通过用同一个引擎支持这些任务，Spark使得合并不同的处理类型变得简单，而合并操作在生产数据分析中频繁使用。而且，Spark降低了维护不同工具的管理负担。
Spark被设计的高度易访问，用Python、Java、Scala和SQL提供简单的API，而且提供丰富的内建库。Spark也与其他大数据工具进行了集成。特别地，Spark可以运行在Hadoop的集群上，可以访问任何Hadoop的数据源，包括Cassandra。
Spark 核心组件
Spark核心组件包含Spark的基本功能，有任务调度组件、内存管理组件、容错恢复组件、与存储系统交互的组件等。Spark核心组件提供了定义弹性分布式数据集(resilient distributed datasets，RDDs)的API，这组API是Spark主要的编程抽象。RDDs表示分布在多个不同机器节点上，可以被并行处理的数据集合。Spark核心组件提供许多API来创建和操作这些集合。
Spark SQLSpark SQL是Spark用来处理结构化数据的包。它使得可以像Hive查询语言(Hive Query Language, HQL)一样通过SQL语句来查询数据，支持多种数据源，包括Hive表、Parquet和JSON。除了为Spark提供一个SQL接口外，Spark SQL允许开发人员将SQL查询和由RDDs通过Python、Java和Scala支持的数据编程操作混合进一个单一的应用中，进而将SQL与复杂的分析结合。与计算密集型环境紧密集成使得Spark SQL不同于任何其他开源的数据仓库工具。Spark SQL在Spark 1.0版本中引入Spark。
Shark是一个较老的由加利福尼亚大学和伯克利大学开发的Spark上的SQL项目，通过修改Hive而运行在Spark上。现在已经被Spark SQL取代，以提供与Spark引擎和API更好的集成。
Spark流(Spark Streaming)Spark流作为Spark的一个组件，可以处理实时流数据。流数据的例子有生产环境的Web服务器生成的日志文件，用户向一个Web服务请求包含状态更新的消息。Spark流提供一个和Spark核心RDD API非常匹配的操作数据流的API，使得编程人员可以更容易地了解项目，并且可以在操作内存数据、磁盘数据、实时数据的应用之间快速切换。Spark流被设计为和Spark核心组件提供相同级别的容错性，吞吐量和可伸缩性。
MLlibSpark包含一个叫做MLlib的关于机器学习的库。MLlib提供多种类型的机器学习算法，包括分类、回归、聚类和协同过滤，并支持模型评估和数据导入功能。MLlib也提供一个低层的机器学习原语，包括一个通用的梯度下降优化算法。所有这些方法都可以应用到一个集群上。
GraphXGraphX是一个操作图(如社交网络的好友图)和执行基于图的并行计算的库。与Spark流和Spark SQL类似，GraphX扩展了Spark RDD API，允许我们用和每个节点和边绑定的任意属性来创建一个有向图。GraphX也提供了各种各样的操作图的操作符，以及关于通用图算法的一个库。
集群管理器Cluster Managers在底层，Spark可以有效地从一个计算节点扩展到成百上千个节点。为了在最大化灵活性的同时达到这个目标，Spark可以运行在多个集群管理器上，包括Hadoop YARN，Apache Mesos和一个包含在Spark中的叫做独立调度器的简易的集群管理器。如果你在一个空的机器群上安装Spark，独立调度器提供一个简单的方式;如果你已经有一个Hadoop YARN或Mesos集群，Spark支持你的应用允许在这些集群管理器上。第七章给出了不同的选择，以及如何选择正确的集群管理器。
谁使用Spark?用Spark做什么?
由于Spark是一个面向集群计算的通用框架，可用于许多不同的应用。使用者主要有两种：数据科学家和数据工程师。我们仔细地分析一下这两种人和他们使用Spark的方式。明显地，典型的使用案例是不同的，但我们可以将他们粗略地分为两类，数据科学和数据应用。
数据科学的任务数据科学，近几年出现的一门学科，专注于分析数据。尽管没有一个标准的定义，我们认为一个数据科学家的主要工作是分析和建模数据。数据科学家可能会SQL，统计学，预测模型(机器学习)，用Python、MATLAB或R编程。数据科学家能将数据格式化，用于进一步的分析。
数据科学家为了回答一个问题或进行深入研究，会使用相关的技术分析数据。通常，他们的工作包含特殊的分析，所以他们使用交互式shell，以使得他们能在最短的时间内看到查询结果和代码片段。Spark的速度和简单的API接口很好地符合这个目标，它的内建库意味着很多算法可以随时使用。
Spark通过若干组件支持不同的数据科学任务。Spark shell使得用Python或Scala进行交互式数据分析变得简单。Spark SQL也有一个独立的SQL shell，已经为大家精心准备了大数据的系统学习资料，从Linux-Hadoop-spark-......，需要的小伙伴可以点击它可以用SQL进行数据分析，也可以在Spark程序中或Spark shell中使用Spark SQL。MLlib库支持机器学习和数据分析。而且，支持调用外部的MATLAB或R语言编写的程序。Spark使得数据科学家可以用R或Pandas等工具处理包含大量数据的问题。
4. spark做数据分析
目前加米谷大数据培训的课程约有两种：
1、大数据开发：Ja-va、大数据基础、Hadoop体系、Scala、kafka、Spark等内容；
2、数据分析与挖掘：Python、关系型数据库MySQL、文档数据库MongoDB、内存数据库Redis、数据处理、数据分析等。
5. 基于spark的大数据分析是什么
大数据与审计专业主要学习：统计学、数学、计算机三大支撑性学科；生物、医学、环境科学、经济学、社会学、管理学应用六大拓展性学科。
此外还需学习数据采集、分析、处理软件，学习数学建模软件及计算机编程语言等，知识结构是二专多能复合的跨界人才（有专业知识、有数据思维）。
扩展资料：
大数据岗位：
1、大数据系统架构师：
大数据平台搭建、系统设计、基础设施。
技能：计算机体系结构、网络架构、编程范式、文件系统、分布并行处理等。
2、大数据系统分析师：
面向实际行业领域，利用大数据技术进行数据安全生命周期管理、分析和应用。
技能：人工智能、机器学习、数理统计、矩阵计算、优化方法。
3、hadoop开发工程师：
解决大数据存储问题。
4、数据分析师：
不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。
5、数据挖掘工程师：
做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++。有时用MapReduce写程序，再用Hadoop或者Hyp来处理数据，如果用Python的话会和Spark相结合。
6. spark笔记
出国必备十大APP1. Dictionary.com
即使不是词汇牛人也懂得欣赏这款应用。这是一款与iPhone、黑莓、安卓等手机兼容的词典，它的词库能有近200万词汇。U.S.News和世界报道将它评为第一名的学生应用软件。不需要网络连接，此应用的词库可离线访问。
出国留学必备十大APP2. Chegg
不想在书店排队?更是实在承受不住高昂的书本费用?这款能通过iPhone、iPad和touch为你租赁书籍的软件会正是你的首选。这款应用能为你比较不同书店的出售价格以及租赁价格。是不是很酷?TheDailyBest.com，一个致力于爆炸性新闻和犀利评论的网站，将此应用评为14款最佳苹果应用之一。
出国留学必备十大APP3. Sleep Cycle Alarm Clock
睡眠不足会影响第二天早上的课程。有了这款应用，你的早晨将不再昏昏欲睡。此软件用加速计监控你的睡眠进程，在你的轻度睡眠周期叫醒你，理论上，你早上上课的时候就不会那么困了。这款应用于苹果系统兼容，被148Apps.com，一个为应用和游戏提供评论的网站，评为五星软件。
出国留学必备十大APP4. Mental Case
在智能手机和先进技术的帮助下，快闪学习游戏也进行了高科技升级。这款应用叫做“Mental Case”，可以帮你速记，并提供更多的装饰物。虚拟元素包括文本、图片和音频。他们可通过幻灯片展示，也可以通过苹果手机或电脑与他人分享。这款软件被phillyBurbs.com，一个费城郊区的新闻网，评为7款最佳返校学生应用软件。
出国留学必备十大APP5. EZ Read
有了这款软件，你就不必再担心学习莎士比亚了。这款软件在iPhone和iPad上帮你分析文学经典。这款免费应用包含SparkNotes.com的链接，SparkNote提供文学、诗歌以及其他学术和文化课程的学习指导。这款软件使你能浏览章节总结和人物介绍，也可以进行一个小测试，测试内容从George Orwell到几何证明应有尽有。
出国留学必备十大APP6. Wikipanion
这款软件让你能轻松访问在线百科全书——维基百科，且能快速、精确地查询维基百科的任意词条。这款软件的功能包括浏览记录、定义音频回放、收藏单独页面等。TheDailyBeast.com将这款软件描述为“学术研究的第一助手”。
出国留学必备十大APP7. Wi-Fi Finder
你是否在外疯狂寻找过wifi热点?这款应用将成为网络接入的神奇软件。这款应用为iPhone、安卓和其他设备搜寻免费的或以付费的公共wifi热点。据苹果在线商店介绍，这款应用可搜寻全球144个国家约545,000个wifi热点。对需要网络进行研究或完成家庭作业的活跃学生来说，这款软件就如猎人的忠实猎犬，灵敏地搜寻网络宽带。
出国留学必备十大APP8. Share Your Board
用这个软件拍下教室的白色书写板，转换成PDF格式，写上你的笔记再发给朋友。
出国留学必备十大APP9. Exam Support
用这个软件来集中注意力，并用“冥想引导音频”来缓解考前焦虑。
出国留学必备十大APP10. Diigo
用这用这个软件来阅读和强调文本和图片中的信息，在页面上创建注释和在线对话，整理和分享资源。