1. mapreduce数据处理
MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。即使是发布过论文实现分布式计算的谷歌也只是实现了这种思想，而不是自己原创。
Map负责“分”，即把复杂的任务分解为若干个“简单的任务”来并行处理。
可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。
Reduce负责“合”，即对map阶段的结果进行全局汇总。
2. mapreduce数据处理在哪两个类
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。
3. mapreduce数据处理引擎是由什么组成
MapReduce数据预处理，从数据进入到处理程序到处理完成后输出到存储中，整个过程分为如下 5 个阶段：
Input Split 或 Read 数据阶段 Input Split，是从数据分片出发，把数据输入到处理程序中。
Read 则是从处理程序出发反向来看，把数据从文件中读取到处理程序中来。这个阶段表达的是我们数据从哪里来。这是整个过程的开始。
Map阶段 当数据输入进来以后，我们进行的是 map 阶段的处理。例如对一行的单词进行分割，然后每个单词进行计数为 1 进行输出。
Shuffle 阶段 Shuffle 阶段是整个 MapReduce 的核心，介于 Map 阶段跟 Reduce 阶段之间。
Reduce 阶段 数据经过 Map 阶段处理，数据再经过 Shuffle 阶段，最后到 Reduce ，相同的 key 值的数据会到同一个 Reduce 任务中进行最后的汇总。
Output 阶段 这个阶段的事情就是将 Reduce 阶段计算好的结果，存储到某个地方去，这是整个过程的结束。
4. mapreduce数据处理代码
这个问题不需要mapreduce来做 （如果每个key都不一样。） map阶段根据每个key 进行逻辑处理。reduce根据key聚合处理。 这里每个key都不一样 。也就是不需要mapreduce。或者是 只需要map过程即可，map函数中。将传入的line 分割开。 把名字作为key ， 后面三个参数累加。然后 context.wrire (key, 累加后的值 即可。
5. mapreduce数据处理将IP地址去重
竞赛赛制】
实践赛以培养和考察大学生ICT理论知识储备量、上机实践能力和团队协作能力为目标，分为云和网络两个技术赛道：
云赛道：考察云服务、大数据、存储、AI等IT领域知识技能
网络赛道：Datacom、Security、WLAN等IP领域知识技能
大赛分为资格赛、晋级赛、全球决赛三个阶段。
云赛道初赛考试大纲
一、资格赛（初赛）概况
二、考试比例分布
三、考试内容
云赛道考试内容包括但不限于云服务、大数据、存储和人工智能四个方向。具体内容包 括：华为云Stack的基础和解决方案；华为公有云的基础与解决方案；华为云服务的基础和 解决方案；大数据基础知识、常用大数据组件基本原理与工作机制；华为云服务 （MapReduce Service，MRS）基础与解决方案；华为存储的基础和解决方案；人工智能基础知识。每个方向都包括对业界通用知识的测试，以及对华为产品、解决方案和服务的测试。
四、考点描述
<1>云服务模块
包括云计算基础技术、配置和维护，包括云计算理论、云计算关键技术、 华为云计算软硬件架构、部署管理等。华为云服务也包括在内，涵盖云服务的概念和价 值、华为公有云的架构和生态系统、华为云服务的运营/管理/应用、存储服务、网络服 务、安全服务、云监控服务、RDS服务。此外，一些高级服务如云应用与云桌面、容器服 务、迁移服务等也是华为云服务的考点。
<2>大数据模块
包括大数据行业发展趋势和大数据特点；华为MapReduce服务（MRS）解决 方案的体系结构、功能和成功案例；大数据常用组件和必备组件的基本技术原理（包括 HDFS、HBase、Hive、Loader、MapReduce、Yarn、Spark、Flume、Kafka、ZooKeeper、 Streaming and Flink等）；华为MRS集群操作维护；大数据平台开发。
<3>存储模块
包括存储基础知识；RAID技术；存储协议基础知识；备份和容灾基础知识；OceanStor Dorado V6系列产品技术。
<4>人工智能模块
包括人工智能概述、Python编程与实验、TensorFlow或Pythorch的介绍 与实验、深度学习的知识与概述、华为云EI概述、图像识别、语音识别、自然语言处理实 验。
五、模块知识点描述
<1>云服务知识点
1. 云计算的基本概念和价值；
2. 云计算的基础知识和技术理论；
3. 虚拟化技术的原理、特点及相关应用；
4. 云服务简介；
5. 华为云服务——计算服务；
6. 华为云服务——存储服务；
7. 华为云服务——网络服务；
8. 华为云服务——云安全服务；
9. 华为云服务——云监控服务；
10. 华为云服务——关系数据库服务；
11. 华为云服务——应用；
12. 华为云服务——云桌面服务；
13. 华为云服务——容器服务；
14. 华为云服务——无服务计算；
15. 华为云服务——迁移服务。
<2>大数据知识点
1. HDFS——分布式文件系统技术；
2. MapReduce——分布式离线批处理与Yarn-资源协调；
3. Spark2x——内存分布式计算引擎；
4. Hive -分布式数据仓库；
5. HBase——分布式NoSQL数据库；
6. Streaming——分布式流计算引擎；
7. Flink——流处理和批处理平台；
8. Loader\Sqoop\Kettle——数据转换工具；
9. Elasticsearch——分布式、支持多租户的全文搜索引擎；
10. Redis——分布式键值数据库；
11. Flume——海量日志聚合；
12. Kafka——分布式消息订阅系统；
13. ZooKeeper——分布式协调服务；
14. 华为MapReduce服务（MRS）——华为MRS集群操作维护；
15. 华为数据湖探索（DLI）——DLI是一个完全兼容Apache Spark和Apache Flink生态的无服务器大数据计算分析服务，支持批量流化；
16. 华为云服务（包括ECS、EIP、VPC、DIS、OBS、CSS、RDS、DWS、CDM、DLV）的基本选项；
17. MRS和DLI相关的华为云服务如ECS、EIP、VPC、DIS、OBS、CSS、RDS、DWS、CDM、
DLV等。
<3>存储知识点
1. 存储基本原理：
（1） 存储系统组件、存储介质类型和特性、HDD和SSD基础知识、备份和容灾的概念；
（2） RAID原理和不同的RAID级别（0、1、5、6、10）功能和典型应用场景；
（3） DAS、SAN、NAS的概念、功能和体系结构；SCSI、FC、iSCSI、CIFS、NFS技术。
2. 存储产品知识：
（1） 华为存储产品介绍及典型应用；
（2） 融合存储技术；
（3） OceanStorDorado V6产品功能、硬件、接口和典型组网；存储配置（LUN、主机、映射等）；
（4） 与Linux操作系统平台的存储连接、UltraPath安装和配置；
（5） 华为OceanStorDorado V6产品增值功能的介绍。
3. 存储解决方案：
（1） 备份和容灾技术；
（2） 主备容灾方案；
（3） 双活容灾解决方案；
（4） 数据迁移解决方案。
<4>AI知识点
1. Python编程基础，包括列表、元组、字符串、字典、条件、循环语句、函数、面向对象编程、日期和时间、正则表达式、文件操作等；
2. 数学基础知识，包括线性代数、概率论、信息论和数值计算；
3. Tensorflow/pytorch介绍；
4. 机器学习算法；
5. 深度学习知识：深度学习概述，如深度学习的基础知识和应用场景；
6. 华为云EI概述；
7. CNN、RNN、GAN、LSTM，强化学习，神经网络结构，梯度下降，超参数，网络优化；
8. 计算机视觉、语音处理、自然语言处理相关知识；
9. 使用ModelArts平台进行开发。
网络赛道初赛考试大纲
一、资格赛（初赛）概况
二、考试比例分布
三、考试内容
网络赛道考试内容包括但不限于数通、安全、无线局域网等技术方向的基础知识，具体内容包括：路由协议基本原理和实现、二层交换技术原理、IPv6基础、华为防火墙安全策略、VPN技术原理、WLAN相关组网及配置。
四、考点知识点描述
<1>路由交换知识点
1. 数通基础知识，TCP/IP协议栈基础知识；
2. STP、RSTP和MSTP原理，应用和配置；
3. TCP/IP协议栈基础，PPP等广域网协议基本原理，以及这些协议在华为路由器上的实现；
4. 以太网技术、VLAN、Eth-Trunk、iStack等技术原理及实现；
5. IPv6基础、无状态自动配置、DHCPv6、IPv6过渡等技术原理及实现；
6. OSPF、OSPFv3、ISIS (IPv4)、ISIS (IPv6)、BGP、BGP4+等路由协议基本原理和实现；
7. MPLS、MPLS VPN、GRE VPN、L2TP、VRRP、BFD技术的原理与配置；
<2>安全知识点
1. 信息安全标准与规范、网络基础概念与常用网络设备、常见信息安全风险、风险防范与信息安全发展趋势；
2. 网络安全基础知识、防火墙基础知识。基本防火墙技术和安全策略。
3. 防火墙原理，如高可靠性技术、包过滤技术、虚拟系统和NAT技术，以及这些技术在华为防火墙中的实现；
4. 华为防火墙用户管理及认证原理，IPSec、SSL等VPN技术原理以及在华为防火墙中的实现；
5. 加解密机制。PKI证书系统及密钥技术的应用；
6. 安全运营、数据监控与分析、数字取证、网络安全应急响应的基本概念；
7. SSL VPN技术：虚拟网关概念及配置、web代理配置、文件共享配置、端口转发配置、网络扩展配置。
<3>无线局域网知识点
1. WLAN基础知识及相关原理；
2. WLAN拓扑结构，802.11协议，802.11物理层技术，CAPWAP基础；
3. WLAN相关组网及配置、漫游、双机热备、安全配置；
4. WLAN服务质量以及网络优化。
6. mapreduce数据处理原理
1、MapReduce 易于编程
它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。
2、良好的扩展性
当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。
3、高容错性
MapReduce设计的初衷就是使程序能够部署在廉价的机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。
4、适合PB级以上海量数据的离线处理
可以实现上千台服务器集群并发工作，提供数据处理能力。
7. mapreduce数据处理流程
从磁盘读入数据 --> map函数 --> combine结果（非必需的过程）--> 结果写回磁盘。
map阶段中，当输出数据达到一定的值（阈值）时，会从内存写到磁盘；若小于阈值，则会缓存起来，可以减小磁盘IO开销。所以，可以通过设置适当的阈值大小，来优化性能。
8. mapreduce数据处理方法实现
map的数量 map的数量通常是由hadoop集群的DFS块大小确定的，也就是输入文件的总块数，正常的map数量的并行规模大致是每一个Node是10~100个，对于CPU消耗较小的作业可以设置Map数量为300个左右，但是由于hadoop的每一个任务在初始化时需要一定的时间，因此比较合理的情况是每个map执行的时间至少超过1分钟。
具体的数据分片是这样的，InputFormat在默认情况下会根据hadoop集群的DFS块大小进行分片，每一个分片会由一个map任务来进行处理，当然用户还是可以通过参数mapred.min.split.size参数在作业提交客户端进行自定义设置。
还有一个重要参数就是mapred.map.tasks，这个参数设置的map数量仅仅是一个提示，只有当InputFormat 决定了map任务的个数比mapred.map.tasks值小时才起作用。
同样，Map任务的个数也能通过使用JobConf 的conf.setNumMapTasks(int num)方法来手动地设置。
这个方法能够用来增加map任务的个数，但是不能设定任务的个数小于Hadoop系统通过分割输入数据得到的值。
当然为了提高集群的并发效率，可以设置一个默认的map数量，当用户的map数量较小或者比本身自动分割的值还小时可以使用一个相对交大的默认值，从而提高整体hadoop集群的效率。
2 reduece的数量 reduce在运行时往往需要从相关map端复制数据到reduce节点来处理，因此相比于map任务。
reduce节点资源是相对比较缺少的，同时相对运行较慢，正确的reduce任务的个数应该是0.95或者1.75 *（节点数 ×mapred.tasktracker.tasks.maximum参数值）。
如果任务数是节点个数的0.95倍，那么所有的reduce任务能够在 map任务的输出传输结束后同时开始运行。
如果任务数是节点个数的1.75倍，那么高速的节点会在完成他们第一批reduce任务计算之后开始计算第二批 reduce任务，这样的情况更有利于负载均衡。
同时需要注意增加reduce的数量虽然会增加系统的资源开销，但是可以改善负载匀衡，降低任务失败带来的负面影响。
同样，Reduce任务也能够与 map任务一样，通过设定JobConf 的conf.setNumReduceTasks(int num)方法来增加任务个数。
3 reduce数量为0 有些作业不需要进行归约进行处理，那么就可以设置reduce的数量为0来进行处理，这种情况下用户的作业运行速度相对较高，map的输出会直接写入到 SetOutputPath(path)设置的输出目录，而不是作为中间结果写到本地。
同时Hadoop框架在写入文件系统前并不对之进行排序。