1. 数据探索和数据预处理
首先登录网站，查看网页内容及数据格式(使用代码查看内容)，选择两个城市及对应月份，爬取对应天气数据，进行数据预处理(如缺失值处理、数据类型转换、字符串截取等)，数据的初步探索性分析(如描述性统计、数据可视化查看数据分布特征等)
然后将处理后天气属性数据存储到数据库表和本地文件。存入成功后，使用代码读取数据检验是否正确。
2. 数据探索和数据预处理的比较
1、探索性调查 是在调研专题的内容与性质不太明确时，为了了解问题的性质，确定调研的方向与范围而进行的搜集初步资料的调查 2、描述性调查 是指对所研究的市场现象的客观实际情况，搜集、整理、分析其资料，反应现象的表现 3、因果性调查 是为了研究市场现象与影响因素之间客观存在的联系而进行的市场调查。
4、预测性调查 是对市场未来情况所做的调查研究，事实上是调查研究方法在市场预测中的应用。
3. 数据探索和数据预处理的关系
病历
case history
病历(case history)是医务人员对患者疾病的发生、发展、转归，进行检查、诊断、治疗等医疗活动过程的记录。也是对采集到的资料加以归纳、整理、综合分析，按规定的格式和要求书写的患者医疗健康档案。病历既是临床实践工作的总结，又是探索疾病规律及处理医疗纠纷的法律依据，是国家的宝贵财富。病历对医疗、预防、教学、科研、医院管理等都有重要的作用。
4. 数据探索和数据预处理的心得体会
统计学是新世纪最有前途的学科
"语言学、心理学和统计学是21世纪中国最有发展前途的三大学科。"这是教育部社政司司长、中国人民大学博士生导师顾海良教授在一次重要会议上发表的观点。
"语言学、心理学和统计学是21世纪中国最有发展前途的三大学科。"这是教育部社政司司长、中国人民大学博士生导师顾海良教授在一次重要会议上发表的观点。为什么统计学是最有前途的学科之一，这个观点的依据是什么，这个判断对我国统计学、乃至我国统计工作的发展意味着什么?
统计学在我国是亟待发展和具有辉煌前景的学科，这样讲主要有三点依据。首先，20世纪后半个世纪，人文社会科学的发展与统计学的关系越来越紧密，统计学的发展已经渗透到人文社会科学的许多领域，并由此产生许多新的学科，如人口统计学、历史统计学、教育统计学、心理统计学、社会统计学，等等。统计学与人文社会科学的结合，改变了原有单一学科发展的思路、视野和应用功能，对人文社会科学的发展具有极大的支撑作用；反过来，这种结合又促进了统计学的发展。但是，最根本的是统计学对人文社会科学巨大的推动作用，这种推动作为一个大趋势还将在21世纪得到更充分的体现。第二，21世纪是信息经济时代，信息经济时代的特征是计算机的普及应用，但是，从本质上讲，信息经济所依赖的不只是信息处理手段的先进性，更重要的是信息收集、整理的准确性，而准确的信息收集、整理离不开统计学学科的发展。因此，统计学对信息经济的发展同样具有重要的支撑作用。第三，目前在中国，统计学的发展还处于"肢体不全"的状态。一说到统计，人们总想到的就是报表，而不是从学科角度认识它。实际上，统计学不仅在物理、化学等自然科学领域广泛应用，而且在政治、经济、文化、历史等社会实践和学科发展中都有深入的应用。但在我国，统计学在政治、文化等领域的发展还较弱。因此，统计学在这些领域的发展余地越大，它未来发展的前景就越好。目前在我国，人们对统计学的认识还不全面，在高校，财会、金融、国际贸易等专业都很"火"，而统计专业却在萎缩。这与国外有很大不同，在一些发达国家如法国等，统计学是大学里最受重视的学科，统计学发展得如何是衡量某一大学学术水平的标志。在这些国家，统计学是强势学科，而在我国，统计学仍是弱势学科，这个现状也决定了统计学在我国应有更大的发展空间。
随着我国经济体制改革的快速推进以及经济全球化趋势的日益显著，人们逐步认识到统计在信息时代中的重要作用。站在二十一世纪的起跑线上，统计工作的发展将紧跟时代前进的步伐，以系统、科学的统计理论及信息技术为基础，以改革和创新的思维寻求突破，逐步构筑起统计现代化之路。
统计是一门融合自然科学和社会科学的学问，同时也是一项严谨细致的工作。从基础数据的采集到综合处理，从数据的分析研究到最终服务于社会，各个环节紧密相连，牵一发而动全身。其涉及层面之广，处理流程之严密，可以认为统计工作本身就是一项复杂的系统工程。如果以中等城市为研究对象，按照统计工作的规律，以系统工程的理论为基础去探讨建立现代统计系统，该系统可以由四个"子系统"组成，即：数据源子系统、数据处理子系统、数据分析研究子系统和统计服务子系统。该系统涵盖并拓展了诸如加强统计队伍组织建设、建立统计信息自动化系统、繁荣统计科学研究、提供统计优质服务等方面内容。可以说，建立并衔接好这四个"子系统"，统计数据的质量才有可靠的保证、统计工作的效率才可以大大提高、统计工作的职能才能得到充分的发挥。
一、建立数据源子系统。准确、全面、及时地采集基础数据是开展统计工作之本。没有一个健全和高素质的基层统计组织体系，就不可能快、精、准地收集统计基础数据；没有高质量的基础数据，据此而从事的所有后续的工作，都将会是精力上的浪费并进而可能导致决策上的失误。因此，建立数据源子系统是现代统计系统中最基本和最重要的一部分。具体地说，在巩固和加强市、县统计机构的基础上，重点要建立起镇、村级及企事业单位等基层的数据源统计组织机构，各有关同级部门也必须建立自己的统计组织，由此形成上下贯通、纵横交织、完整高效的统计数据收集的组织网络。各统计组织机构要配备充足的素质优良的统计人员，并保持其稳定性，应采用先进的数据采样方法、技术及装备，同时还要辅以统计法制手段来确保上报数据的质量。
二、建立数据处理子系统。当收集到纷繁庞杂的原始数据后，数据处理子系统就要启动。在该子系统中要实行"软硬兼施"。从应用和处理功能出发，在市级统计局内构建适度超前并有良好扩展功能的计算机数据处理中心及延伸至数据源子系统基层组织的计算机网络系统，这就是数据处理子系统的硬件环境。而该子系统的灵魂在于软件，也就是说要下大力气开发应用于统计信息处理和网络信息平台的各种通用和专用软件，从而实现统计数据处理的自动化。
三、建立数据分析研究子系统。数据分析研究是对统计数据的深加工和精加工，是实现统计优质服务的基础，统计工作水平的高低由此可以充分体现出来。因此，要有一批精通统计学、经济学、社会学的专家参与该研究工作，使计算机辅助分析和人工智能分析充分结合。研究工作要紧密结合上级领导决策及制定有关政策的需要、结合地方经济发展状况及社会热点难点问题展开。
四、建立统计服务子系统。体现统计工作的价值关键在于服务。服务对象不仅局限于各级领导部门，也包括社会各界及各行各业。要逐步变被动服务为主动服务，大力开辟统计服务的新内容、新形式和新领域。以服务为导向，向前述的三个子系统及时反馈信息和提出新的课题，从而推动整个系统的高效运作。
二十一世纪是信息的时代。现代的统计系统就是一个基于现代信息技术，实施网络化运行和管理的庞大复杂的开环及闭环复合系统。随着统计方法制度改革的深化、信息技术的日益进步和统计组织机构的不断优化，统计的工作链将逐步缩短，各子系统就有可能达到最佳的运行状态，整个统计系统的综合效率就可以大为提高，统计工作在社会中的地位和作用就更加显要了。因此，在建设现代统计系统的过程中，我们应对各子系统的平衡发展以及系统的整体状况不断地进行有益的探索，寻找其中的薄弱环节并加以改进。但需要强调的是，统计的基层组织建设和信息化建设必须走在前面。
中国统计学的更大发展必然对我国的统计工作产生重要影响和推动作用。就我国统计学界来讲，重要的是改变原有的思维方式，树立先进的统计理念，或者叫作统计学的哲学理念。"统计就是图表"，这是计划经济遗留的陈旧理念。所谓先进的统计理念，是讲对统计学的功能作一个明确的判断，为什么人口统计学、社会统计学等学科主要源于国外的发展，这是因为国外统计学的发展不仅仅研究数据的采集和整理，研究资料的甄别及方法，而是有意识地将资料和方法服务于各学科和各领域，在促进这些学科和领域发展的同时自身也获得极大的发展。
结合我国统计学发展的现状、未来及发展理念，我国"十五"期间统计学发展的趋势：主要是大力发展应用统计领域，特别是在人文社科领域如宏观经济、金融、税收、保险、管理、社会、环境、旅游、人口、新闻舆论、政策等领域，建立这些应用领域的统计研究平台，提高应用统计总体研究水平；同时，推进数据统计分析方法与计算机技术的有机结合。在重点研究课题方面，要加强 宏观经济计量模型的建立和应用研究，抽样技术在社会经济统计调查中的应用研究，现代统计在教育、法律中的应用研究，等等。
5. 数据探索和数据预处理一样吗
Quick BI诞生于中国阿里巴巴集团自身对数据分析的需求过程。从自研报表，到自研BI可视化，再到现在所使用的智能Quick BI，集团经历了多年的探索。
主要优势是：使用成本很低；能够对海量数据进行实时在线分析，无需提前进行大量的数据预处理；拖拽式操作，简单便捷，学习成本较低。
Quick BI也存在很多槽点，如数据准备或数据建模能力较差，无法在BI中完成建模，通常需依赖阿里云上的开发工具，如Dataphin建模+QuickBI展示。在可视化方面，Quick BI支持的图表样式和可视化效果不够丰富，数据大屏做的也很差，同时Quick BI不支持在移动端编辑。
6. 数据预处理是数据分析和数据挖掘的基础吗
大数据处理的基本流程有几个步骤
1.
大数据处理的第一个步骤就是数据抽取与集成。 这是因为大数据处理的数据来源类型丰富,大数据处理的第一步是对数据进行抽取和集成,从中提取出关系和实体,经过关联和聚合等操作,按照统一定义的格式对数据进行存储。现有的数据抽取和集成方法有三种,分别是基于物化或ETL方法的引擎、基于联邦数据库或中间件方法的引擎、基于数据流方法的引擎。这些引擎都是很重要的。
2.
大数据处理的第二个步骤就是数据分析。 数据分析师大数据处理流程的核心步骤,通过数据抽取和集成环节,我们已经从异构的数据源中获得了用于大数据处理的原始数据,用户可以根据自己的需求对这些数据进行分析处理,比如数据挖掘、机器学习、数据统计等,数据分析可以用于决策支持、商业智能、推荐系统、预测系统等。通过数据分析我们能够掌握数据中的信息。
3.
大数据处理的第三个步骤就是数据解释。
7. 数据探索和数据预处理的区别
数据分析的目的是通过数据掌握事物的规律性。
数据是事物存在、发生和发展的数字化的记录，只有事物发生了才会有数据记录，有了数据，我们才能了解过去发生了什么，才能对这些现象进行分析，总结出一定的结论和规律，并指导我们的社会实践活动。所以，数据分析的目的是为了对过去发生的现象进行评估和分析，找寻事物存在的证据，并在这个基础上对未来事物的发生和发展做出结论并形成能够指导未来行为的知识或者依据。