怎么将数据库的数据清洗后放入hadoop里？

一、怎么将数据库的数据清洗后放入hadoop里？

　　在这个由物联网(IoT)，社交媒体，边缘计算以及越来越多的计算能力(如量子计算)支持的数字时代，数据可能是任何企业最有价值的资产之一。正确(或不正确)的数据管理将对企业的成功产生巨大影响。换句话说，它可以成败一个企业。

　　这就是原因，为了利用这些巨大的数据，无论大小，企业都在使用机器学习和深度学习等技术，以便他们可以建立有用的客户群，增加销售量并提高品牌忠诚度。

　　但是在大多数情况下，由于具有许多收集源和各种格式(结构化和非结构化)，数据可能是不准确，不一致和冗余的。

　　通过向机器学习算法提供具有此类异常的数据，我们是否可以及时，全面地访问相关信息?

　　不，当然不!首先需要清除此类数据。

　　这就是数据清理的地方!

　　数据清理是建立有效的机器学习模型的第一步，也是最重要的一步。至关重要!

　　简而言之，如果尚未清理和预处理数据，则机器学习模型将无法正常工作。

　　尽管我们经常认为数据科学家将大部分时间都花在修补ML算法和模型上，但实际情况有所不同。大多数数据科学家花费大约80%的时间来清理数据。

　　为什么?由于ML中的一个简单事实，

　　换句话说，如果您具有正确清理的数据集，则简单的算法甚至可以从数据中获得令人印象深刻的见解。

　　我们将在本文中涉及与数据清理相关的一些重要问题：

　　a.什么是数据清理?

　　b.为什么需要它?

　　c.数据清理有哪些常见步骤?

　　d.与数据清理相关的挑战是什么?

　　e.哪些公司提供数据清理服务?

　　让我们一起开始旅程，了解数据清理!

　　数据清洗到底是什么?

　　数据清理，也称为数据清理，用于检测和纠正(或删除)记录集，表或数据库中的不准确或损坏的记录。广义上讲，数据清除或清除是指识别不正确，不完整，不相关，不准确或其他有问题(“脏”)的数据部分，然后替换，修改或删除该脏数据。

　　通过有效的数据清理，所有数据集都应该没有任何在分析期间可能出现问题的错误。

　　为什么需要数据清理?

　　通常认为数据清理是无聊的部分。但这是一个有价值的过程，可以帮助企业节省时间并提高效率。

　　这有点像准备长假。我们可能不喜欢准备部分，但我们可以提前收紧细节，以免遭受这一噩梦的困扰。

　　我们只需要这样做，否则我们就无法开始玩乐。就这么简单!

　　让我们来看一些由于“脏”数据而可能在各个领域出现的问题的示例：

　　a.假设广告系列使用的是低质量的数据并以不相关的报价吸引用户，则该公司不仅会降低客户满意度，而且会错失大量销售机会。

　　b.如果销售代表由于没有准确的数据而未能联系潜在客户，则可以了解对销售的影响。

　　c.任何规模大小的在线企业都可能因不符合其客户的数据隐私规定而受到政府的严厉处罚。例如，Facebook因剑桥数据分析违规向联邦贸易委员会支付了50亿美元的罚款。

　　d.向生产机器提供低质量的操作数据可能会给制造公司带来重大问题。

　　数据清理涉及哪些常见步骤?

　　每个人都进行数据清理，但没人真正谈论它。当然，这不是机器学习的“最奇妙”部分，是的，没有任何隐藏的技巧和秘密可以发现。

　　尽管不同类型的数据将需要不同类型的清除，但是我们在此处列出的常见步骤始终可以作为一个良好的起点。

　　因此，让我们清理数据中的混乱!

　　删除不必要的观察

　　数据清理的第一步是从我们的数据集中删除不需要的观测值。不需要的观察包括重复或不相关的观察。

　　a.在数据收集过程中，最常见的是重复或多余的观察结果。例如，当我们组合多个地方的数据集或从客户端接收数据时，就会发生这种情况。随着数据的重复，这种观察会在很大程度上改变效率，并且可能会增加正确或不正确的一面，从而产生不忠实的结果。

　　b.不相关的观察结果实际上与我们要解决的特定问题不符。例如，在手写数字识别领域，扫描错误(例如污迹或非数字字符)是无关紧要的观察结果。这样的观察结果是任何没有用的数据，可以直接删除。

　　修复结构错误

　　数据清理的下一步是修复数据集中的结构错误。

　　结构错误是指在测量，数据传输或其他类似情况下出现的那些错误。这些错误通常包括：

　　a.功能名称中的印刷错误(typos)，

　　b.具有不同名称的相同属性，

　　c.贴错标签的类，即应该完全相同的单独的类，

　　d.大小写不一致。

　　例如，模型应将错字和大小写不一致(例如“印度”和“印度”)视为同一个类别，而不是两个不同的类别。与标签错误的类有关的一个示例是“不适用”和“不适用”。如果它们显示为两个单独的类，则应将它们组合在一起。

　　这些结构错误使我们的模型效率低下，并给出质量较差的结果。

　　过滤不需要的离群值

　　数据清理的下一步是从数据集中过滤掉不需要的离群值。数据集包含离训练数据其余部分相距甚远的异常值。这样的异常值会给某些类型的ML模型带来更多问题。例如，线性回归ML模型的稳定性不如Random Forest ML模型强。

　　但是，离群值在被证明有罪之前是无辜的，因此，我们应该有一个合理的理由删除一个离群值。有时，消除异常值可以提高模型性能，有时却不能。

　　我们还可以使用离群值检测估计器，这些估计器总是尝试拟合训练数据最集中的区域，而忽略异常观察值。

　　处理丢失的数据

　　机器学习中看似棘手的问题之一是“缺少数据”。为了清楚起见，您不能简单地忽略数据集中的缺失值。出于非常实际的原因，您必须以某种方式处理丢失的数据，因为大多数应用的ML算法都不接受带有丢失值的数据集。

　　让我们看一下两种最常用的处理丢失数据的方法。

　　a.删除具有缺失值的观察值：

　　这是次优方式，因为当我们丢弃观察值时，也会丢弃信息。原因是，缺失的值可能会提供参考，在现实世界中，即使某些功能缺失，我们也经常需要对新数据进行预测。

　　b.根据过去或其他观察结果估算缺失值：

　　这也是次优的方法，因为无论我们的估算方法多么复杂，原始值都会丢失，这总是会导致信息丢失。大数据分析机器学习AI入门指南https://www.aaa-cg.com.cn/data/2273.html由于缺少值可能会提供信息，因此应该告诉我们的算法是否缺少值。而且，如果我们推算我们的价值观，我们只是在加强其他功能已经提供的模式。

　　简而言之，关键是告诉我们的算法最初是否缺少值。

　　那么我们该怎么做呢?

　　a.要处理分类特征的缺失数据，只需将其标记为“缺失”即可。通过这样做，我们实质上是添加了新的功能类别。

　　b.要处理丢失的数字数据，请标记并填充值。通过这样做，我们实质上允许算法估计缺失的最佳常数，而不仅仅是用均值填充。

　　与数据清理相关的主要挑战是什么?

　　尽管数据清理对于任何组织的持续成功都是必不可少的，但它也面临着自己的挑战。一些主要挑战包括：

　　a.对引起异常的原因了解有限。

　　b.错误地删除数据会导致数据不完整，无法准确地“填写”。

　　c.为了帮助提前完成该过程，构建数据清理图非常困难。

　　d.对于任何正在进行的维护，数据清理过程既昂贵又费时。

https://www.toutiao.com/i6821025363057967624/

二、如何建立数据库，利用什么软件建立数据库？

啥叫数据库？excel也可以算，access也可以算，mysql也可以算，hbase也可以算，你要数据库干啥，决定了你怎么搭建数据库。

三、数据库设计?

本文档明确数据库设计原则和规范，规范数据库对象命名方式，见名知意，强化分工，保证数据库高效稳定运行

1 数据库设计原则

1) 充分考虑业务逻辑和数据分离，数据库只作为一个保证ACID特性的关系数据的持久化存储系统，尽量减少使用自定义函数、存储过程和视图，不用触发器。

2) 充分考虑数据库整体安全设计，数据库管理和使用人员权限分离。

3) 充分考虑具体数据对象的访问频度及性能需求，结合主机、存储等需求，做好数据库性能设计。

4) 充分考虑数据增长模型，决策是否采用“分布式（水平拆分或者垂直拆分）”模式。

5) 充分考虑业务数据安全等级，设计合适的备份和恢复策略。

2 设计规范

2.1 约定

1) 一般情况下设计遵守数据的设计规范3NF，尽量减少非标准范式或者反模式使用。

3NF规定：

Ø 表内的每一个值都只能被表达一次。

Ø 表内的每一行都应该被唯一的标识（有唯一键）。

Ø 表内不应该存储依赖于其他键的非键信息。

常见关键字（不得直接作为相关命名）：range、match、delayed、select、and、from、where、not、in、out、add、as、user、name、key、index、type、group、order、max、min、count、concat、by、desc、asc、null等等，更多请参考 MySQL 官方保留字。

2) 数据库和表的字符集统一：字符集（utf8mb4），排序规则（utf8mb4_general_ci）

2.2 表设计规范

1) 应该根据系统架构中的组件划分，针对每个组件所处理的业务进行组件单元的数据库设计；不同组件间所对应的数据库表之间的关联应尽可能减少，确保组件对应的表之间的独立性，为系统或表结构的重构提供可能性。

2) 采用领域模型驱动的方式和自顶向下的思路进行数据库设计，首先分析系统业务，根据职责定义对象。对象要符合封装的特性，确保与职责相关的数据项被定义在一个对象之内，不会出现职责描述缺失或多余。

3) 应针对所有表的主键和外键建立索引，有针对性地建立组合属性的索引。

4) 尽量少采用存储过程。

5) 设计出的表要具有较好的使用性。

6) 设计出的表要尽可能减少数据冗余，确保数据的准确性。

2.3 字段规范

1) 一行记录必须表内唯一，表必须有主键。

2) 如果数据库类型为MYSQL ，应尽量以自增INT类型为主键。如果数据库类型为ORACLE，建议使用UUID为主键。

3) 日期字段，如需要按照时间进行KEY分区或者子分区，则使用VARCHAR2类型存储，存储格式为：YYYYMMDD 。如若不需要以KEY形式作为分区列，则使用DATE或者DATETIME类型存储。不建议使用时间戳存储时间。

4) 字段名称和字段数据类型对应，如DATE命名字段，则存储时间精确到日，如TIME命名字段，则存储时间精确到时分秒，甚至毫秒。

2.4 命名规范类

2.4.1 约定

1) 数据库对象命名清晰，尽量做到见名知意，在进行数据库建模时备注对象，便于他人理解。

2) 数据库类型为MYSQL,采用全小写英文单词

3) 数据库类型为ORACLE，则使用驼峰式命名规范

4) 数据库对象命名长度不能超过30个字符

3 管理范围

管理数据库中所有对象，包括库，表，视图，索引，过程，自定义函数，包，序列，触发器等

3.1 建库

1) 数据库名：采用小写英文单词简拼或汉字小写拼音,多个单词或拼音采用下划线"_"连接

2) 数据库编码规则及排序规则：字符集（utf8mb4），排序规则（utf8mb4_general_ci）

3) 建库其他要求：库名与应用名称尽量一致

3.2 建表

表名应使用名词性质小写英文单词。如果需要单词词组来进行概括，单词与单词之间使用英文半角输入状态下_连接。如果超长，则从前面单词开始截取，保留单词前三位，保留完整的最后一个单词，如果依然超长，则保留前面单词首字母，直接和最后一个单词连接；临时表命名以TMP开头，命名格式为TMP_模块/用途名称_名字拼音首字母；表名不能直接采用关键字命名

1) 表命名：采用“业务名称_表的作用”格式命名（例如：alipay_task / force_project / trade_config）

2) 建表其他要求：表名长度不能超过30个字符；一定要指定一个主键字段；必须要根据业务对表注释；如果修改字段含义或对字段表示的状态追加时，需要及时更新字段注释；

3) 表必备字段：

`is_delete` tinyint(1) unsigned NOT NULL DEFAULT '0' COMMENT '状态（1删除、0未删除）',

`is_enabled` tinyint(1) unsigned NOT NULL DEFAULT '1' COMMENT '状态（1启用、0作废）',

`op_first` varchar(50) DEFAULT NULL COMMENT '创建人',

`op_first_time` datetime DEFAULT NULL COMMENT '创建时间',

`op_last` varchar(50) DEFAULT NULL COMMENT '更新人',

`op_last_time` datetime DEFAULT NULL COMMENT '更新时间',

3.3 建字段

1) 字段命名：

表中标识唯一性字段必须以标识性简称+id命名。其余字段根据存储信息，使用名词性质英文单词表示，如需要单词词组来进行概括，单词与单词之间使用英文半角输入状态下_连接。外键引用字段使用外键表_id的形式命名；字段名必须使用小写字母或数字，禁止出现数字开头，禁止两个下划线中间只出现数字；表达是与否概念的字段，必须使用 is_xxx 的方式命名，数据类型是 unsigned tinyint；表达逻辑删除的字段名 is_deleted，1 表示删除，0 表示未删除

2) 字段类型、长度

如果存储的字符串长度几乎相等，使用 char 定长字符串类型；小数类型为 decimal；id 必为主键，类型为 bigint unsigned；应尽量以自增INT类型为主键；优先选择符合存储需要的最小的数据类型；将字符串转化为数字类型存储；对于非负数据采用无符号整形进行存储signed int -2147483648-2147483648，unsigned int 0-2147483648，有符号比无符号多出一倍的存储空间；varchar(n) n代表字符数，不是字节数，varchar(255)=765个字节，过大的长度会消耗更多的内存；避免使用text\BLOB数据类型，建议text\BLOB列分离到单独的扩展表中，text\BLOB类型只能使用前缀索引；避免使用enum数据类型，修改enum需要使用alter语句，enum类型的order by操作效率低，需要额外操作，禁止使用数值作为enum的枚举值；尽可能把所有列定义为not null，索引null列需要额外的空间来保存，所以要占用更多的空间，进行比较和计算时要对null值做特别的处理；禁止字符串存储日期型的数据，缺点1：无法用日期函数进行计算和比较，缺点2：用字符串存储日期要占用更多的空间；使用timestamp或datetime类型存储时间，timestamp存储空间更小；财务的相关金额使用decimal类型，decimal类型为精准浮点数，在计算时不会丢失精度，float、double非精准浮点数

3) 字段其他要求

字段名称长度不能超过30个字符、尽量减少或者不使用联合主键、字段尽可能不允许为null(为null时设定默认值)、文本类型字段，属性 字符集（utf8mb4），排序规则（utf8mb4_general_ci）、字段必须根据业务进行注释。

3.4 建索引

主键索引名为 pk_字段名；唯一索引名为 uk_字段名；普通索引名则为 idx_字段名。

说明：pk_ 即 primary key；uk_ 即 unique key；idx_ 即 index 的简称。

3.5 创建数据库表视图

1) 视图命名：以"v_项目名/模块名_用途"格式命名

2) 视图其他要求：视图名称长度不能超过30个字符

3.6 建存储过程及自定义数据库函数

1) 存储过程命名：以"sp_用途"格式命名

2) 自定义数据库函数：以“fn_用途”格式命名

3) 存储过程或自定义数据库函数：参数命名以“p_”开头命名；内部变量命名以“v_”开头命名；游标命名以“cur_loop_”开头命名；循环变量命名以“i_found_”开头命名。

3.7 建数据库用户

用户命名：采用授权用户姓名全拼小写命名

3.8 其他要求

1) 查询大数据表，参数字段需建索引；

2) 数据库表、字段删除或变更操作（a-不需要的表或字段，一般备注“作废”即可;b-需要修改的表或字段，先备注作废原表或原字段，再创建新表或新字段，且备注好作废原因。）；

四、数据库类型有哪些，目前主流数据库是哪种？

关系型数据库，非关系型数据库（NoSQL），键值（Key-value）数据库。主流的数据库那就是关系型数据库了，特别是关系型数据库中的分布式数据库。墨天轮最新排名（2022.11）数据库前十榜单中关系型数据库占了1-9名，前二十榜单中也仅有两个非关系型数据库。关系型数据库之所以占了绝大部分数据库份额，是因为关系型数据库作为成熟的数据库技术理念，其精髓的范式设计，严谨的一致性，原子性，完整性等优势是无法被取代的。

AntDB在运营商深耕了十几年，覆盖了OLTP与OLAP场景，是非常典型的HTAP类型的关系型数据库，业务覆盖计费、CRM等核心交易，同时覆盖清算分析等分析型业务。比如AntDB数据库服务于中国电信某省计费系统上云，包含数据层、批价和出账流程等大规模业务。在系统设计上，将资源、资产等交易热数据迁移到AntDB数据库，极大地提高了业务关键数据的访问效率，整体提高了话单事务的处理性能。AntDB数据库支撑10亿用户的通信交易场景，进行在线交易与数据分析处理的HTAP混合负载，帮助客户解决核心系统解决海量数据管理难题，基于分布式的架构设计，实现了在线弹性伸缩、强一致性事务、跨机房高可用等能力。

五、数据库设计 案例?

以下是一个简单的MySQL数据库设计案例，以存储学生和课程信息为例：

假设我们有两个实体：学生（Student）和课程（Course），每个学生可以选择多个课程，每个课程可以被多个学生选择。

首先，我们创建两个表来表示学生和课程：

Student表

Course表

接下来，我们需要创建一个关联表来存储学生和课程之间的关系，表示学生选择了哪些课程：

Student_Course表

在Student_Course表中，student_id和course_id列分别作为外键，关联到Student表和Course表的主键。

这种设计模式称为"多对多"关系，通过使用关联表来实现学生和课程之间的多对多关系。

通过以上的数据库设计，你可以存储和查询学生、课程以及学生选择的课程的信息。当然，具体的数据库设计取决于你的实际需求和业务规则，上述仅提供了一个简单的示例。

六、考研数据库方向？？？

一直从事分布式数据库开发，说点个人感受吧。数据库本身比较难，比一般的软件开发要难，尤其是内核和调休，会牵扯各种问题，需要对操作系统原理，算法，数据结构都有比较好的掌握，但是这个前景还是很好的，作为数据存储核心，待遇一般还是不错的。如果以后做DBA会非常辛苦，单纯开发如果不出差也还不错。

国内数据库研究做的比较好的高校包括人民大学，华科，南开，华师大等等，很多高校是没有这个研究方向的，或者有数据存储方向也是偏向大数据，这个与国内互联网环境有关系，人工智能太火导致传统操作系统，编译器，数据库这几个最难的基础软件没有人愿意去做，但是又非常重要。

从中美贸易摩擦来看，以后基础软件国产化是必然，但是路很长很长，不是一年两年甚至也不是十年二十年。

七、怎样创建数据库？

谢邀~

树懒君精心整理了一番，接下来就4种流行数据库的创建方法介绍。

一、创建数据库简介

数据库是储存关键资料的文件系统，用数据库管理系统建立大家的数据库，就可以更好地提供安全性。如今伴随着社会发展的迅速化趋势，数据库获得了极大的运用，数据库为前端和后台的程序都提供了数据和信息支持。因此，对于想管理好数据库的你来说，必须明白怎样建立数据库，那么如何建立呢？跟着本文一起来学习吧。

二、4种主流数据库创建方式

2.1 MySQL创建数据库

MySQL中创建数据库的基础英语的语法文件格式以下。

CREATE DATABASE db_name;

在其中“db_name”是即将创建的数据库名字，该名字不可以与早已存有的数据库同名。

实例：创建 MySQL 数据库，名称为 shulanxt：

CREATE DATABASE shulanxt;

按回车执行上述语句，即可创建名叫 shulanxt 的数据库。

2.2 SQL Server创建数据库

SQLServer创建数据库的方式有两种：

• 根据运作SQL脚本制作；
• 应用SQLServer管理方法模块创建数据库。

以下流程将展现怎么使用SQLServer管理方法模块在SQLServer2014创建数据库。

在目标任务管理器中，右键单击数据库文件夹名称/标志，随后挑选Newdatabase…:

开展数据库取名，这里叫“TaskTracker”，随后点一下“OK”，即完成创建：

2.3 Oracle创建数据库

2.3.1 创建新用户并授与管理权限

最先，起动SQLplus程序的命令行：

sqlplus

如下所示：

注意：也可以从菜单栏的安装文件直接开启 SQLPlus。

当SQLPlus起动后，使用在安裝Oracle数据库网络服务器时键入的登陆密码以sys用户身份登陆：

C:\Users\Administrator>sqlplus

SQL*Plus:Release11.2.0.1.0Productionon星期五11月1004:32:172017
Copyright(c)1982,2010,Oracle.Allrightsreserved.

请输入用户名：sysassysdba
输入口令：

随后，应用下列CREATEUSER句子创建一个新用户：ot，用以在可插进数据库中创建实例数据库：

SQL> CREATE USER OT IDENTIFIED BY Orcl1234;

User created.

上边的句子创建了一个名叫 OT 的新用户，并在 IDENTIFIED BY 子句以后特定了一个登陆密码，在这个实例中，创建的客户OT相匹配的登陆密码为Orcl1234。

然后，根据下列GRANT句子授与OT用户权限：

SQL> GRANT CONNECT,RESOURCE,DBA TO OT;

Grant succeeded.

2.3.2 登陆新账户

用OT客户账号联接到数据库(ORCL)。当SQLPlus提醒键入登录名和登陆密码时，键入OT和Orcl1234。

针对Oracle11g/12c，应用以下指令：

SQL> CONNECT ot@orcl
键入动态口令:
已连接。

2.4 DB2创建数据库

创建DB2数据库的方式关键有二种，分别是:应用界面方法和应用指令方法，下边各自开展解读。

2.4.1 应用页面方法创建数据库

挑选在安裝后开启“DB2第一步”起动控制面板来创建数据信息

2.4.2 应用指令方法创建数据库

启用DB2“命令编辑器”，在“命令编辑器”键入

CREATE DATABASE db_name

其中“db_name”是即将创建的数据库名字，该名字不可以与存有的数据库同名。

示例：创建数据库 shulanxt，输入如下语句：

CREATE DATABASE shulanxt;

按回车执行句子，创建名叫 shulanxt 的数据库。

DB20000I The CREATE DATABASE command completed successfully.

以上就是在主流的4种数据库中创建数据库的方法介绍，希望能给学习数据库的大家带去帮助，获取更多数据库相关知识，请关注树懒学堂。

原文出自：

八、postsql数据库是什么数据库？

PostgreSQL 是一个免费的对象-关系数据库服务器(ORDBMS)，在灵活的BSD许可证下发行。

PostgreSQL 开发者把它念作 post-gress-Q-L。PostgreSQL 的 Slogan 是 "世界上最先进的开源关系型数据库"。

PostgreSQL数据库是功能强大的开源数据库，它支持丰富的数据类型（如JSON和JSONB类型、数组类型）和自定义类型。

PostgreSQL数据库提供了丰富的接口，可以很方便地扩展它的功能，如可以在GiST框架下实现自己的索引类型，支持使用C语言写自定义函数、触发器，也支持使用流行的编程语言写自定义函数。

九、vip数据库是什么数据库？

VIP数据库是一种特殊的数据库，它主要用于存储和管理VIP用户的信息。VIP数据库通常包含用户的个人资料、购买记录、消费行为等重要数据。这些数据可以用于个性化推荐、精准营销和客户关系管理等方面。

VIP数据库通常采用高性能的数据库技术，如关系型数据库或NoSQL数据库，以确保数据的安全性、可靠性和高效性。

同时，VIP数据库还需要具备良好的扩展性和灵活性，以适应不断增长的VIP用户数量和不断变化的业务需求。

十、bmob数据库属于什么数据库？

Bmob数据库是一种云数据库，属于非关系型数据库（NoSQL）。它基于后端云服务平台，提供了数据存储和管理的功能，并支持高并发、分布式、实时数据访问。Bmob数据库适用于移动应用、Web应用和物联网应用等场景，具有简洁的接口和易用的功能，方便开发者进行数据的存储和操作。