当前位置 博文首页 > Shell多线程操作及线程数控制实例

最大化 缩小

    Shell多线程操作及线程数控制实例

    作者：admin 时间：2021-02-20 15:03

    前言

    在业务开发过程中，经常会在后台写一些shell脚本处理数据，但估计很多人不知道shell脚本也可以支持多线程，而且非常简单。本篇文章主要就是介绍shell实现多进程以及进程数量控制。

    需求

    为了更好的说明问题，我们结合例子讲解，假设需求就是扫描url.txt文件，然后判断里面的URL是否失效。url.txt文件的内容是一行一个URL，如：

    复制代码 代码如下:

    http://www.baidu.com

    http://www.google.com


    http://blog.iis7.com

    单进程实现

    那么shell脚本scanUrl.sh可以这样写：

    复制代码 代码如下:

    #!/bin/bash
    #判断是否有参数
    if [ $# != 1 ] ;then
            echo "The parameters you enter is not correct !";
            exit -1;
    fi

    #循环读出URL并判断状态码
    while read line
    do
    {
        isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
    }
    done < $1
    echo "执行结束"


    那么可以执行下面的命令扫描：
    复制代码 代码如下:

    /bin/sh scanUrl.sh url.txt

    但这样脚本执行非常慢，一万个URL几个小时都扫描不完。

    多进程实现


    改成多进程实现非常简单，只需要在do后面的大括号加 & 符号，在done后面加一个wait,表示父进程等待子进程退出后再退出

    复制代码 代码如下:

    #!/bin/bash
    #判断是否有参数
    if [ $# != 1 ] ;then
            echo "The parameters you enter is not correct !";
            exit -1;
    fi

    #循环读出URL并判断状态码
    while read line
    do
    {
        isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
        }
    }&
    done < $1
    wait
    echo "执行结束"


    这样就能多进程并发执行了，但有个问题是进程会一下子非常多，几百上千，超过系统限制报错，下面我们就加上进程数控制。

    多进程实现并控制进程数

    复制代码 代码如下:

    #!/bin/bash
    #允许的进程数
    THREAD_NUM=200
    #定义描述符为9的管道
    mkfifo tmp
    exec 9<>tmp
    #预先写入指定数量的换行符，一个换行符代表一个进程
    for ((i=0;i<$THREAD_NUM;i++))
    do
        echo -ne "\n" 1>&9
    done

    if [ $# != 1 ] ;then
            echo "The parameters you enter is not correct !";
            exit -1;
    fi

    while read line
    do
    {
        #进程控制
        read -u 9
        {
            #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
            if [ "$isok" = "200" ]; then
                echo $line "OK"
            else
                echo $line "no"
            fi
            echo -ne "\n" 1>&9
        }&
    }
    done < $1
    wait
    echo "执行结束"
    rm tmp


    上面的代码就可以保证子进程在指定数量了，其进程控制原理是通过管道实现的，当管道无内容可读时就不会执行
    复制代码 代码如下:

    {
        #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
        #写入一个换行符
        echo -ne "\n" 1>&9
    }&

    而且每个进程执行完成后都会向管道写入一个换行符，从而保证进程数是指定的。

    这样就能达到我们的目的了。

    js
    上一篇：阿里云主机一键安装lamp、lnmp环境的shell脚本分享
    下一篇：没有了