linux
Linux上MySQL优化提升性能哪些可以优化的关闭NUMA特性?
一、Linux上MySQL优化提升性能哪些可以优化的关闭NUMA特性?
Linux上MySQL优化提升性能,可以优化关闭NUMA特性如下:
这些其实都源于CPU最新的技术:节能模式。操作系统和CPU硬件配合,系统不繁忙的时候,为了节约电能和降低温度,它会将CPU降频。
为了保证MySQL能够充分利用CPU的资源,建议设置CPU为最大性能模式。这个设置可以在BIOS和操作系统中设置,当然,在BIOS中设置该选项更好,更彻底。
然后我们看看内存方面,我们有哪些可以优化的。
i) 我们先看看numa
非一致存储访问结构 (NUMA : Non-Uniform Memory Access) 也是最新的内存管理技术。它和对称多处理器结构 (SMP : Symmetric Multi-Processor) 是对应的。
我们可以直观的看到:SMP访问内存的都是代价都是一样的;但是在NUMA架构下,本地内存的访问和非 本地内存的访问代价是不一样的。对应的根据这个特性,操作系统上,我们可以设置进程的内存分配方式。目前支持的方式包括:
--interleave=nodes
--membind=nodes
--cpunodebind=nodes
--physcpubind=cpus
--localalloc
--preferred=node
简而言之,就是说,你可以指定内存在本地分配,在某几个CPU节点分配或者轮询分配。除非 是设置为--interleave=nodes轮询分配方式,即内存可以在任意NUMA节点上分配这种方式以外。其他的方式就算其他NUMA节点上还有内 存剩余,Linux也不会把剩余的内存分配给这个进程,而是采用SWAP的方式来获得内存。
所以最简单的方法,还是关闭掉这个特性。
关闭特性的方法,分别有:可以从BIOS,操作系统,启动进程时临时关闭这个特性。
a) 由于各种BIOS类型的区别,如何关闭NUMA千差万别,我们这里就不具体展示怎么设置了。
b) 在操作系统中关闭,可以直接在/etc/grub.conf的kernel行最后添加numa=off,如下所示:
kernel /vmlinuz-2.6.32-220.el6.x86_64 ro root=/dev/mapper/VolGroup-root rd_NO_LUKS.UTF-8 rd_LVM_LV=VolGroup/root rd_NO_MD quiet SYSFONT=latarcyrheb-sun16 rhgb crashkernel=auto rd_LVM_LV=VolGroup/swap rhgb crashkernel=auto quiet KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM numa=off
另外可以设置 vm.zone_reclaim_mode=0尽量回收内存。
c) 启动MySQL的时候,关闭NUMA特性:
numactl --interleave=all mysqld
当然,最好的方式是在BIOS中关闭。
ii) 我们再看看vm.swappiness。
vm.swappiness是操作系统控制物理内存交换出去的策略。它允许的值是一个百分比的值,最小为0,最大运行100,该值默认为60。vm.swappiness设置为0表示尽量少swap,100表示尽量将inactive的内存页交换出去。
具体的说:当内存基本用满的时候,系统会根据这个参数来判断是把内存中很少用到的inactive 内存交换出去,还是释放数据的cache。
二、mysql支持linux吗?
MySQL支持linux操作系统的。MySQL是一个开源免费的关系型数据库管理系统,它可以运行在多种操作系统上。它有WINDOWS版本,有linux版本,还有其他unix版本。
你可以在linux操作系统上安装MySQL,然后从Linux系统访问或者其他系统访问都是没有问题的。也可以用Linux系统作为客户端访问在任何操作系统上安装的MySQL数据库。
三、mysql的groupby怎么优化?
在日常查询中,索引或其他数据查找的方法可能不是查询执行中最高昂的部分,例如:MySQL GROUP BY 可能负责查询执行时间 90% 还多。MySQL 执行 GROUP BY 时的主要复杂性是计算 GROUP BY 语句中的聚合函数。UDF 聚合函数是一个接一个地获得构成单个组的所有值。这样,它可以在移动到另一个组之前计算单个组的聚合函数值。当然,问题在于,在大多数情况下,源数据值不会被分组。来自各种组的值在处理期间彼此跟随。因此,我们需要一个特殊的步骤。
处理 MySQL GROUP BY让我们看看之前看过的同一张table: mysql> show create table tbl G *************************** 1. row *************************** Table: tbl Create Table: CREATE TABLE `tbl` ( `id` int(11) NOT NULL AUTO_INCREMENT, `k` int(11) NOT NULL DEFAULT '0', `g` int(10) unsigned NOT NULL, PRIMARY KEY (`id`), KEY `k` (`k`) ) ENGINE=InnoDB AUTO_INCREMENT=2340933 DEFAULT CHARSET=latin1 1 row in set (0.00 sec)
并且以不同方式执行相同的 GROUP BY 语句:
1、MySQL中 的 Index Ordered GROUP BY
mysql> select k, count(*) c from tbl group by k order by k limit 5;
+---+---+
| k | c |
+---+---+
| 2 | 3 |
| 4 | 1 |
| 5 | 2 |
| 8 | 1 |
| 9 | 1 |
+---+---+
5 rows in set (0.00 sec)
mysql> explain select k, count(*) c from tbl group by k order by k limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: index
possible_keys: k
key: k
key_len: 4
ref: NULL
rows: 5
filtered: 100.00
Extra: Using index
1 row in set, 1 warning (0.00 sec)
在这种情况下,我们在 GROUP BY 的列上有一个索引。这样,我们可以逐组扫描数据并动态执行 GROUP BY(低成本)。当我们使用 LIMIT 限制我们检索的组的数量或使用“覆盖索引”时,特别有效,因为顺序索引扫描是一种非常快速的操作。
如果您有少量组,并且没有覆盖索引,索引顺序扫描可能会导致大量 IO。所以这可能不是最优化的计划。
2、MySQL 中的外部排序 GROUP BY
mysql> explain select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 998490
filtered: 100.00
Extra: Using filesort
1 row in set, 1 warning (0.00 sec)
mysql> select SQL_BIG_RESULT g, count(*) c from tbl group by g limit 5;
+---+---+
| g | c |
+---+---+
| 0 | 1 |
| 1 | 2 |
| 4 | 1 |
| 5 | 1 |
| 6 | 2 |
+---+---+
5 rows in set (0.88 sec)
如果我们没有允许我们按组顺序扫描数据的索引,我们可以通过外部排序(在 MySQL 中也称为“filesort”)来获取数据。你可能会注意到我在这里使用 SQL_BIG_RESULT 提示来获得这个计划。没有它,MySQL 在这种情况下不会选择这个计划。
一般来说,MySQL 只有在我们拥有大量组时才更喜欢使用这个计划,因为在这种情况下,排序比拥有临时表更有效(我们将在下面讨论)。
3、MySQL中 的临时表 GROUP BY
mysql> explain select g, sum(g) s from tbl group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: ALL
possible_keys: NULL
key: NULL
key_len: NULL
ref: NULL
rows: 998490
filtered: 100.00
Extra: Using temporary
1 row in set, 1 warning (0.00 sec)
mysql> select g, sum(g) s from tbl group by g order by null limit 5;
+---+------+
| g | s |
+---+------+
| 0 | 0 |
| 1 | 2 |
| 4 | 4 |
| 5 | 5 |
| 6 | 12 |
+---+------+
5 rows in set (7.75 sec)
在这种情况下,MySQL 也会进行全表扫描。但它不是运行额外的排序传递,而是创建一个临时表。此临时表每组包含一行,并且对于每个传入行,将更新相应组的值。很多更新!虽然这在内存中可能是合理的,但如果结果表太大以至于更新将导致大量磁盘 IO,则会变得非常昂贵。在这种情况下,外部分拣计划通常更好。请注意,虽然 MySQL 默认选择此计划用于此用例,但如果我们不提供任何提示,它几乎比我们使用 SQL_BIG_RESULT 提示的计划慢 10 倍 。您可能会注意到我在此查询中添加了“ ORDER BY NULL ”。这是为了向您展示“清理”临时表的唯一计划。没有它,我们得到这个计划: mysql> explain select g, sum(g) s from tbl group by g limit 5 G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: tbl partitions: NULL type: ALL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: 998490 filtered: 100.00 Extra: Using temporary; Using filesort 1 row in set, 1 warning (0.00 sec)
在其中,我们获得了 temporary 和 filesort “两最糟糕的”提示。MySQL 5.7 总是返回按组顺序排序的 GROUP BY 结果,即使查询不需要它(这可能需要昂贵的额外排序传递)。ORDER BY NULL 表示应用程序不需要这个。您应该注意,在某些情况下 - 例如使用聚合函数访问不同表中的列的 JOIN 查询 - 使用 GROUP BY 的临时表可能是唯一的选择。
如果要强制 MySQL 使用为 GROUP BY 执行临时表的计划,可以使用 SQL_SMALL_RESULT 提示。
4、MySQL 中的索引基于跳过扫描的 GROUP BY前三个 GROUP BY 执行方法适用于所有聚合函数。然而,其中一些人有第四种方法。
mysql> explain select k,max(id) from tbl group by k G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: range
possible_keys: k
key: k
key_len: 4
ref: NULL
rows: 2
filtered: 100.00
Extra: Using index for group-by
1 row in set, 1 warning (0.00 sec)
mysql> select k,max(id) from tbl group by k;
+---+---------+
| k | max(id) |
+---+---------+
| 0 | 2340920 |
| 1 | 2340916 |
| 2 | 2340932 |
| 3 | 2340928 |
| 4 | 2340924 |
+---+---------+
5 rows in set (0.00 sec)
此方法仅适用于非常特殊的聚合函数:MIN() 和 MAX()。这些并不需要遍历组中的所有行来计算值。他们可以直接跳转到组中的最小或最大组值(如果有这样的索引)。如果索引仅建立在 (K) 列上,如何找到每个组的 MAX(ID) 值?这是一个 InnoDB 表。记住 InnoDB 表有效地将 PRIMARY KEY 附加到所有索引。(K) 变为 (K,ID),允许我们对此查询使用 Skip-Scan 优化。仅当每个组有大量行时才会启用此优化。否则,MySQL 更倾向于使用更传统的方法来执行此查询(如方法#1中详述的索引有序 GROUP BY)。虽然我们使用 MIN() / MAX() 聚合函数,但其他优化也适用于它们。例如,如果您有一个没有 GROUP BY 的聚合函数(实际上所有表都有一个组),MySQL 在统计分析阶段从索引中获取这些值,并避免在执行阶段完全读取表: mysql> explain select max(k) from tbl G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: NULL partitions: NULL type: NULL possible_keys: NULL key: NULL key_len: NULL ref: NULL rows: NULL filtered: NULL Extra: Select tables optimized away 1 row in set, 1 warning (0.00 sec)
过滤和分组
我们已经研究了 MySQL 执行 GROUP BY 的四种方式。为简单起见,我在整个表上使用了 GROUP BY,没有应用过滤。当您有 WHERE 子句时,相同的概念适用: mysql> explain select g, sum(g) s from tbl where k>4 group by g order by NULL limit 5 G *************************** 1. row *************************** id: 1 select_type: SIMPLE table: tbl partitions: NULL type: range possible_keys: k key: k key_len: 4 ref: NULL rows: 1 filtered: 100.00 Extra: Using index condition; Using temporary 1 row in set, 1 warning (0.00 sec)
对于这种情况,我们使用K列上的范围进行数据过滤/查找,并在有临时表时执行 GROUP BY。在某些情况下,方法不会发生冲突。但是,在其他情况下,我们必须选择使用 GROUP BY 的一个索引或其他索引进行过滤:
mysql> alter table tbl add key(g);
Query OK, 0 rows affected (4.17 sec)
Records: 0 Duplicates: 0 Warnings: 0
mysql> explain select g, sum(g) s from tbl where k>1 group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: index
possible_keys: k,g
key: g
key_len: 4
ref: NULL
rows: 16
filtered: 50.00
Extra: Using where
1 row in set, 1 warning (0.00 sec)
mysql> explain select g, sum(g) s from tbl where k>4 group by g limit 5 G
*************************** 1. row ***************************
id: 1
select_type: SIMPLE
table: tbl
partitions: NULL
type: range
possible_keys: k,g
key: k
key_len: 4
ref: NULL
rows: 1
filtered: 100.00
Extra: Using index condition; Using temporary; Using filesort
1 row in set, 1 warning (0.00 sec)
根据此查询中使用的特定常量,我们可以看到我们对 GROUP BY 使用索引顺序扫描(并从索引中“放弃”以解析 WHERE 子句),或者使用索引来解析 WHERE 子句(但使用临时表来解析 GROUP BY)。根据我的经验,这就是 MySQL GROUP BY 并不总是做出正确选择的地方。您可能需要使用 FORCE INDEX 以您希望的方式执行查询。
四、mysql多表join怎么优化?
在MySQL中,多表联接(JOIN)的性能优化可以通过以下几个方面来考虑:
1. 索引优化:确保参与联接的列上有合适的索引。通过为联接列创建索引,可以提高联接的效率。可以使用`EXPLAIN`语句来分析查询计划,找到潜在的索引缺失或者性能差的索引。
2. 使用合适的JOIN类型:根据实际需求选择合适的JOIN类型。常见的JOIN类型有INNER JOIN、LEFT JOIN、RIGHT JOIN和FULL JOIN等。根据表之间的关系以及查询需要的结果,选择合适的JOIN类型可以减小计算的复杂度。
3. 避免多余的列:在联接查询时,只选择需要的列,避免选择无用的列。这可以减少数据传输和处理的成本,提高查询的效率。
4. 分段查询:如果联接的表很大,可以考虑将查询分成多个子查询,分别对每个子查询单独进行联接操作,然后再进行汇总。这样可以减少一次查询涉及的数据量和联接的复杂度。
5. 使用临时表:根据实际情况,可以考虑使用内存表或者临时表来存储中间结果,减少磁盘IO操作,提高联接的效率。
6. 适当的扩展硬件资源:如果联接表的数据量较大,可以考虑增加服务器的内存、CPU等硬件资源,以提高并发执行能力和速度。
需要根据具体的查询和数据情况进行优化选择,可以结合使用MySQL的查询分析工具如`EXPLAIN`来定位和解决潜在的性能问题。同时,可以对表的结构和索引进行优化,以适应查询需求。
五、linux下mysql无法启动?
第一步:先停止所有mysql进程#killall-TERMmysqld第二步:用安全模式启动#/usr/local/mysql/bin/mysqld_safe--skip-grant-table&注:启动时会报错,而且卡在哪不动,这时你只要回车即可,然后再用空密码就能登陆了第三:用空密码登陆,修改mysql的root密码#mysql-uroot-p//登录mysqlmysql>usemysql//选择mysql数据库mysql>updateusersetpassword=password("654123"
)whereuser="root"
;//更新root密码mysql>flushprivileges;//使修改立即生效第四:用你修改的密码登陆!
六、linux部署mysql基本步骤?
1. 安装mysql:使用apt-get或yum等包管理器安装mysql。
2. 配置mysql:根据自己的需要对mysql进行配置,如修改端口、创建用户和数据库等。
3. 启动mysql:使用systemctl或service等命令启动mysql。
4. 设置mysql的root密码:首次启动mysql时需要设置root用户的密码。
5. 测试mysql连接:使用mysql客户端工具测试mysql连接是否正常。
6. 部署数据库:通过mysql客户端工具进行创建和部署数据库。
7. 配置mysql安全性:对mysql进行安全性配置,如限制远程访问等。
以上是部署mysql的基本步骤,根据具体情况可能需要对步骤进行调整和添加。
七、linux中怎么安装mysql?
在Linux中安装MySQL需要执行以下步骤:打开终端,登录到Linux系统。下载MySQL安装包。你可以在MySQL官方网站上下载适用于Linux的二进制分发版本,或者使用包管理器(如APT或YUM)来安装。解压安装包。在终端中使用以下命令解压下载的安装包:复制tar -xzvf mysql-version-linux-glibc2.12-x86_64.tar.gz请将“mysql-version-linux-glibc2.12-x86_64.tar.gz”替换为你下载的安装包的名称。移动解压后的文件到/usr/local/目录下,并将文件夹名称修改为mysql。如果/usr/local/下已经存在mysql,请将已存在mysql文件修改为其他名称,否则后续步骤可能无法正确进行。配置环境变量。在终端中编辑~/.bashrc文件,并添加以下行:bash复制export PATH=$PATH:/usr/local/mysql/bin保存并关闭文件。然后,在终端中执行以下命令使配置生效:bash复制source ~/.bashrc初始化数据库。在终端中执行以下命令来初始化数据库:复制/usr/local/mysql/bin/mysqld_safe --user=mysql &测试服务器。执行以下命令来测试服务器是否启动并响应连接:css复制/usr/local/mysql/bin/mysqladmin version如果看到MySQL版本信息,说明服务器已经成功启动。连接服务器。执行以下命令连接到MySQL服务器:css复制/usr/local/mysql/bin/mysqladmin -u root -p version系统会提示你输入密码。输入密码后,你将看到MySQL版本信息。验证是否可以关闭服务器。执行以下命令关闭MySQL服务器:css复制/usr/local/mysql/bin/mysqladmin -u root shutdown如果成功关闭服务器,你将看到一条消息确认MySQL服务器已关闭。
八、MySQL5.6基本优化配置?
因为MySQL5.6版本需要指定配置路径
mysqld --install MySQL --defaults-file=D:/Mysql/my.ini
九、mysql 性能优化推荐书籍?
1. 推荐书籍:《高性能MySQL》2. 这本书是由MySQL专家撰写的,详细介绍了MySQL的性能优化方法和技巧。它涵盖了索引优化、查询优化、表设计、服务器配置等方面的内容,可以帮助读者深入理解MySQL的性能优化原理和方法。3. 此外,除了《高性能MySQL》这本书,还可以参考一些在线文档和博客,如MySQL官方文档、Percona的博客等,以获取更多的性能优化建议和实践经验。同时,不断学习和实践也是提升MySQL性能优化能力的重要途径。
十、mysql sql优化面试题?
1.在表中建立索引,优先考虑 where group by 使用到的字段
2.查询时尽量避免使用select * ,只查询需要用到的字段
3.避免在where子句中使用关键字两边都是%的模糊查询,尽量在关键字后使用模糊查询
4.尽量避免在where子句中使用IN 和NOT IN
优化:能使用between就不用in
在子查询中使用exists 子句
热点信息
-
在Python中,要查看函数的用法,可以使用以下方法: 1. 使用内置函数help():在Python交互式环境中,可以直接输入help(函数名)来获取函数的帮助文档。例如,...
-
一、java 连接数据库 在当今信息时代,Java 是一种广泛应用的编程语言,尤其在与数据库进行交互的过程中发挥着重要作用。无论是在企业级应用开发还是...
-
一、idea连接mysql数据库 php connect_error) { die("连接失败: " . $conn->connect_error);}echo "成功连接到MySQL数据库!";// 关闭连接$conn->close();?> 二、idea连接mysql数据库连...
-
要在Python中安装modbus-tk库,您可以按照以下步骤进行操作: 1. 确保您已经安装了Python解释器。您可以从Python官方网站(https://www.python.org)下载和安装最新版本...