linux
Linux中,shell脚本如何使用信号机制去控制线程的开启关闭?
一、Linux中,shell脚本如何使用信号机制去控制线程的开启关闭?
trap是Linux的内建命令,用于捕捉信号,trap命令可以指定收到某种信号时所执行的命令。trap命令的格式如下:trap command sig1 sig2 ... sigN,当接收到sinN中任意一个信号时,执行command命令,command命令完成后继续接收到信号前的操作,直到脚本结束。 利用trap命令捕捉INT信号(即与Ctrl+c绑定的中断信号)。trap还可以忽略某些信号,将command用空字符串代替即可,如trap "" TERM INT,忽略kill %n和Ctrl+c发送的信号(kill发送的是TERM信号)。Linux更强劲的杀死进程的命令:kill -9 进程号(或kill -9 %n作业号)等价与kill -KILL 进程号。
举个例子
:
最近小A需要生产2015年全年的KPI数据报表,现在小A已经将生产脚本写好了,生产脚本一次只能生产指定一天的KPI数据,假设跑一次生产脚本需要5分钟,那么:
如果是循环顺序执行,那么需要时间:5 * 365 = 1825 分钟,约等于 6 天
如果是一次性放到linux后台并发执行,365个后台任务,系统可承受不住哦!
既然不能一次性把365个任务放到linux后台执行,那么,能不能实现自动地每次将N个任务放到后台并发执行呢?当然是可以的啦。
#! /bin/bash
source /etc/profile;
# -----------------------------
tempfifo=$$.fifo # $$表示当前执行文件的PID
begin_date=$1 # 开始时间
end_date=$2 # 结束时间
if [ $# -eq 2 ]
then
if [ "$begin_date" \> "$end_date" ]
then
echo "Error! $begin_date is greater than $end_date"
exit 1;
fi
else
echo "Error! Not enough params."
echo "Sample: sh loop_kpi 2015-12-01 2015-12-07"
exit 2;
fi
# -----------------------------
trap "exec 1000>&-;exec 1000
mkfifo $tempfifo
exec 1000$tempfifo
rm -rf $tempfifo
for ((i=1; i
do
echo >&1000
done
while [ $begin_date != $end_date ]
do
read -u1000
{
echo $begin_date
hive -f kpi_report.sql --hivevar date=$begin_date
echo >&1000
} &
begin_date=`date -d "+1 day $begin_date" +"%Y-%m-%d"`
done
wait
echo "done!!!!!!!!!!"
第6~22行:比如:sh loop_kpi_report.sh 2015-01-01 2015-12-01:
$1表示脚本入参的第一个参数,等于2015-01-01
$2表示脚本入参的第二个参数,等于2015-12-01
$#表示脚本入参的个数,等于2
第13行用于比较传入的两个日期的大小,\>是转义
第26行:表示在脚本运行过程中,如果接收到Ctrl+C中断命令,则关闭文件描述符1000的读写,并正常退出
exec 1000>&-;表示关闭文件描述符1000的写
exec 1000
trap是捕获中断命令
第27~29行:
第27行,创建一个管道文件
第28行,将文件描述符1000与FIFO进行绑定,写的绑定,则标识对文件描述符1000的所有操作等同于对管道文件$tempfifo的操作
第29行,可能会有这样的疑问:为什么不直接使用管道文件呢?事实上这并非多此一举,管道的一个重要特性,就是读写必须同时存在,缺失某一个操作,另一个操作就是滞留,而第28行的绑定文件描述符(读、写绑定)正好解决了这个问题
第31~34行:对文件描述符1000进行写入操作。通过循环写入8个空行,这个8就是我们要定义的后台并发的线程数。为什么是写空行而不是写其它字符?因为管道文件的读取,是以行为单位的
第37~42行:
第37行,read -u1000的作用就是读取管道中的一行,在这里就是读取一个空行;每次读取管道就会减少一个空行
第39~41行,注意到第42行结尾的&吗?它表示进程放到linux后台中执行
第41行,执行完后台任务之后,往文件描述符1000中写入一个空行。这是关键所在了,由于read -u1000每次操作,都会导致管道减少一个空行,当linux后台放入了8个任务之后,由于文件描述符1000没有可读取的空行,将导致read -u1000一直处于等待。
二、linux cpu超线程关闭好还是开着好?
Linux系统中的CPU超线程是一种技术,它可以让单个CPU核心模拟出多个逻辑核心,从而提高CPU的并发处理能力。但是,开启CPU超线程也会带来一些问题,因此是否关闭CPU超线程需要根据具体情况来决定。
一般来说,如果你的应用程序是多线程的,并且需要大量的CPU计算资源,那么开启CPU超线程可以提高系统的性能。但是,如果你的应用程序是单线程的,并且需要大量的内存和I/O资源,那么关闭CPU超线程可能更好,因为开启CPU超线程会占用更多的内存和I/O资源,从而影响系统的性能。
此外,如果你的系统是虚拟化环境或者云计算环境,那么开启CPU超线程可能会导致虚拟机之间的性能干扰,因此关闭CPU超线程可能更好。
总之,是否关闭Linux系统中的CPU超线程需要根据具体情况来决定。如果你不确定如何选择,可以参考应用程序的特点、系统的硬件配置和使用场景等因素来做出决策。
三、linux脚本详解?
Linux脚本是一种用于自动化任务的编程语言,它通常用于执行一系列命令和操作。以下是一些常见的Linux脚本详解:
1. Shell脚本:Shell脚本是最常用的Linux脚本之一,它使用Shell作为解释器来执行命令。Shell脚本通常以.sh文件扩展名保存,并且可以使用文本编辑器进行编辑。
2. Bash脚本:Bash是Linux系统中最常用的Shell之一,它是一种功能强大且易于使用的脚本语言。Bash脚本具有许多高级特性,如条件语句、循环、函数等。
3. Python脚本:Python是一种通用的编程语言,也可以用于编写Linux脚本。Python脚本通常以.py文件扩展名保存,并且可以使用文本编辑器进行编辑。Python脚本具有丰富的库和模块,可以方便地实现各种功能。
4. Perl脚本:Perl是一种强大的文本处理语言,也可以用于编写Linux脚本。Perl脚本通常以.pl文件扩展名保存,并且可以使用文本编辑器进行编辑。Perl脚本具有强大的正则表达式和字符串处理功能。
5. Ruby脚本:Ruby是一种简洁而优雅的编程语言,也可以用于编写Linux脚本。Ruby脚本通常以.rb文件扩展名保存,并且可以使用文本编辑器进行编辑。Ruby脚本具有简洁的语法和丰富的库和模块。
四、linux多线程详解?
1.进程是操作系统分配资源的基本单位。而线程通俗来讲就是一个进程中一个执行流。
2.这里以串行与并行下载文件举例,如果我们使用串行的方式去下载多个文件,那么得到的结果是,将这些文件逐个按个的下载,即上一个下载完成之后才会下载接下来的文件。
3.如果使用并行的方式下载,那么这些文件就会一次同时下载多个文件,而不是等待上一个下载完后才继续下载接下来的,大大的提高了下载效率。
五、Linux多线程通信?
PIPE和FIFO用来实现进程间相互发送非常短小的、频率很高的消息;
这两种方式通常适用于两个进程间的通信。
共享内存用来实现进程间共享的、非常庞大的、读写操作频率很高的数据(配合信号量使用);这种方式通常适用于多进程间通信。
其他考虑用socket。这里的“其他情况”,其实是今天主要会碰到的情况:分布式开发。
在多进程、多线程、多模块所构成的今天最常见的分布式系统开发中,socket是第一选择
。消息队列,现在建议不要使用了 ---- 因为找不到使用它们的理由。在实际中,我个人感觉,PIPE和FIFO可以偶尔使用下,共享内存都用的不多了。在效率上说,socket有包装数据和解包数据的过程,所以理论上来说socket是没有PIPE/FIFO快,不过现在计算机上真心不计较这么一点点速度损失的。你费劲纠结半天,不如我把socket设计好了,多插一块CPU来得更划算。另外,进程间通信的数据一般来说我们都会存入数据库的,这样万一某个进程突然死掉或者整个服务器死了,也不至于丢失重要数据、便于回滚到之前的状态。从这个角度考虑,适用共享内存的情况也更少了,所以socket使用得更多。再多说一点关于共享内存的:共享内存的效率确实高,但它的重点在“共享”二字上。如果的确有好些进程共享一大块数据(如果把每个进程都看做是类的对象的话,那么共享数据就是这个类的static数据成员),那么共享内存就是一个不二的选择了。但是在面向对象的今天,我们更多的时候是多线程+锁+线程间共享数据。因此共享进程在今天使用的也越来越少了。不过,在面对一些极度追求效率的需求时,共享内存就会成为唯一的选择,比如高频交易系统。除此以外,一般是不需要特意使用共享内存的。另外,PIPE和共享内存是不能跨LAN的
(FIFO可以但FIFO只能用于两个进程通信)。
如果你的分布式系统随着需求的增加而越来越大所以你想把不同的模块放在不同机器上而你之前开发的时候用了PIPE或者共享内存,那么你将不得不对代码进行大幅修改......同时,即使FIFO可以跨越LAN,其代码的可读性、易操作性和可移植性、适应性也远没有socket大。这也就是为什么一开始说socket是第一选择的原因。最后还有个信号简单说一下。请注意,是信号,不是信号量。
信号量是用于同步线程间的对象的使用的(建议题主看我的答案,自认为比较通俗易懂:semaphore和mutex的区别? - Linux - 知乎
)。信号也是进程间通信的一种方式。比如在Linux系统下,一个进程正在执行时,你用键盘按Ctrl+c,就是给这个进程发送了一个信号。进程在捕捉到这个信号后会做相应的动作。虽然信号是可以自定义的,但这并不能改变信号的局限性:不能跨LAN、信息量极其有限
。在现代的分布式系统中,通常都是消息驱动:
即进程受到某个消息后,通过对消息的内容的分析然后做相应的动作。如果你把你的分布式系统设置成信号驱动的,这就表示你收到一个信号就要做一个动作而一个信号的本质其实就是一个数字而已。这样系统稍微大一点的话,系统将变得异常难以维护;甚至在很多时候,信号驱动是无法满足我们的需求的。因此现在我们一般也不用信号了。因此,请记住:除非你有非常有说服力的理由,否则请用socket。
顺便给你推荐个基于socket的轻量级的消息库:ZeroMQ。六、linux如何停止线程?
杀死线程 所在的进程就可以, ps aux | grep 进程名 kill -TERM 进程号 如果你指的写程序, 那就参考 man pthread_exit。
《Linux就该这么学》里有相关介绍,建议看看。
七、linux下C中怎么让才能安全关闭线程?
回答这个问题,首先得搞清楚线程关闭或者退出有哪些方式
线程的退出方式
如果进程中的任何线程调用exit,_Exit或_exit,则整个进程终止。 类似地,当信号的默认操作是终止进程时,发送到线程的信号将终止整个进程。单个线程可以有三种方式退出其控制流程,而不会终止整个进程。1线程可以简单地从线程处理程序中返回,返回值是线程的退出代码。
2该线程可以被同一进程中的另一个线程取消。
3该线程可以调用pthread_exi
线程退出的返回值
#include <pthread.h> void pthread_exit(void *rval_ptr);#include <pthread.h> int pthread_join(pthread_t thread, void **rval_ptr);
pthread_join函数的rval_ptr参数是无类型指针。进程中的其他线程可通过调用pthread_join函数来使用rval_ptr指针,调用它线程将阻塞,直到指定的线程调用pthread_exit或从其线程处理程序中返回或被取消。如果只是从其线程处理程序返回,则rval_ptr将包含返回码。如果线程被取消,则rval_ptr指定的内存位置设置为PTHREAD_CANCELED。
通过调用pthread_join,自动会将加入的线程放置在分离状态,如果线程已处于分离状态,则pthread_join可能会失败,返回EINVAL。如果我们对线程的返回值不感兴趣,我们可以将rval_ptr设置为NULL。在这种情况下,调用pthread_join允许我们等待指定的线程,但不去检索线程的终止状态。
下图显示了如何从已终止的线程中获取退出代码
运行结果:
lj@lj-PC:~$ ./ptest
thread 1 returning
thread 2 exiting
thread 1 exit code 1
thread 2 exit code 2
线程如何取消
一个线程可以通过调用pthread_cancel函数请求取消同一进程中的另一个。
#include <pthread.h> int pthread_cancel(pthread_t tid);
在默认情况下,pthread_cancel将使tid指定的线程的行为就像它使用PTHREAD_CANCELED参数调用pthread_exit一样。 但是,线程可以选择忽略或以其他方式控制取消的方式。 请注意,pthread_cancel不会等待线程终止。
线程可以安排函数在退出时被调用,这些函数称为线程清理处理程序。 可以为一个线程建立多个清理处理程序。 处理程序记录在堆栈中,这意味着它们的执行顺序与它们注册的顺序相反。
#include <pthread.h> void pthread_cleanup_push(void (*rtn)(void *), void *arg);void pthread_cleanup_pop(int execute);
当线程执行以下操作之一时,pthread_cleanup_push函数会被调用
调用pthread_exit
回复取消请求
使用非零执行参数调用pthread_cleanup_pop
如果execute参数设置为零,则不会调用cleanup函数。 在任何一种情况下,pthread_cleanup_pop都会删除最后一次调用pthread_cleanup_push所建立的清理处理程序。
下图举例如何使用线程清理处理程序。
运行结果:
lj@lj-PC:~$ ./pclean
thread 1 start
thread 1 push complete
thread 2 start
thread 1 exit code 1
thread 2 push complete
cleanup: thread 2 second handler
cleanup: thread 2 first handler
thread 2 exit code 2
从输出中,我们可以看到两个线程都正常启动并退出,但只调用了第二个线程的清理处理程序。因此,如果线程是通过其处理函数直接返回而终止,则不会调用其清理处理程序,不过此行为在具体平台实现之间会有所不同。另请注意,清理处理程序的调用顺序与安装它们的顺序相反。
如果我们在FreeBSD或Mac OS X上运行相同的程序,我们会发现该程序会导致段错误。发生这种情况是因为在这些系统上,pthread_cleanup_push实现为在堆栈上存储某些上下文的宏。当线程1在对pthread_cleanup_push的调用和对pthread_cleanup_pop的调用之间返回时,堆栈被覆盖,并且这些平台在调用清理处理程序时尝试使用此(已损坏的)上下文。在Single UNIX Specification中,在对pthread_cleanup_push和pthread_cleanup_pop的一对匹配调用之间返回会导致未定义的行为。在这两个函数之间返回的唯一可移植方法是调用pthread_exit。
线程和进程的类似操作
从上文我们可以看到线程和进程的相似之处,见如下表格:
讲了这么多,还有好多细节没有讲到,只要详细的了解了这些细节,我相信关于你的这个问题“linux下C中怎么让才能安全关闭线程”自然就有了答案。
八、Linux 怎么写脚本?
在 Linux 中写脚本可以使用任何文本编辑器,例如 nano、vim、emacs 等。以下是一些基本步骤:
1. 打开一个文本编辑器,例如使用命令行输入 nano filename.sh 来创建一个新的脚本文件。
2. 在第一行添加脚本的 shebang,例如 #!/bin/bash,这告诉系统使用哪个解释器来运行脚本。
3. 编写脚本的命令和逻辑,可以使用任何你熟悉的 Linux 命令和脚本语法。
4. 保存并关闭文件。
5. 给脚本文件添加执行权限,可以使用 chmod +x filename.sh 命令来添加执行权限。
6. 运行脚本,可以使用 ./filename.sh 命令来运行脚本。
下面是一个简单的例子:
#!/bin/bash
echo "Hello, World!"
ls -l /home/user/
这个脚本会输出 "Hello, World!",然后列出 /home/user/ 目录下的所有文件和文件夹。
九、linux最大线程数?
默认情况下:
主线程+辅助线程 +<253个自己的线程
含主线程和一个辅助线程,最多255个,即一个用户只能生成253个线程。
1、总结系统限制有:
/proc/sys/kernel/pid_max #查系统支持的最大线程数,一般会很大,相当于理论值
/proc/sys/kernel/thread-max
max_user_process(ulimit -u) #系统限制某用户下最多可以运行多少进程或线程
/proc/sys/vm/max_map_count
硬件内存大小
十、linux线程默认栈多大?
linux的线程栈大小可以使用ulimit -s查看,对于ubuntu 2.6的内核线程栈的默认大小为8M
热点信息
-
在Python中,要查看函数的用法,可以使用以下方法: 1. 使用内置函数help():在Python交互式环境中,可以直接输入help(函数名)来获取函数的帮助文档。例如,...
-
一、java 连接数据库 在当今信息时代,Java 是一种广泛应用的编程语言,尤其在与数据库进行交互的过程中发挥着重要作用。无论是在企业级应用开发还是...
-
一、idea连接mysql数据库 php connect_error) { die("连接失败: " . $conn->connect_error);}echo "成功连接到MySQL数据库!";// 关闭连接$conn->close();?> 二、idea连接mysql数据库连...
-
要在Python中安装modbus-tk库,您可以按照以下步骤进行操作: 1. 确保您已经安装了Python解释器。您可以从Python官方网站(https://www.python.org)下载和安装最新版本...