当前位置 博文首页 > 李玺:mongodb清除连接和日志

    李玺:mongodb清除连接和日志

    作者:[db:作者] 时间:2021-09-08 15:46

    最近在做并发,服务器卡死了。

    感觉是pymongo未能完全close掉和mongodb创建的tcp连接,并且在mongo连接未自动释放前进行高频连接,导致连接数爆满造成的。

    所以对建立的连接进行清除,以此记录并做分享。


    查看MongoDB的连接信息

    db.serverStatus().connections
    

    current 当前连接数
    available 可用连接数
    connection.totalCreated 创建到服务器的所有传入连接的计数。此数字包括已关闭的连接。
    在这里插入图片描述

    清除所有当前的currentOp:

    var ops = db.currentOp().inprog;
    for(i = 0; i < ops.length; i++){
            var opid = ops[i].opid;
            db.killOp(opid);
            print("Stopping op ... #"+opid)
    };
    

    上面的命令无法关闭current连接

    关闭current的方法一:

    查看所有current的tcp连接:
    netstat -nat | grep ‘27017’
    在这里插入图片描述
    查看指定端口的进程号
    netstat -tpna | grep :35522
    在这里插入图片描述
    然后kill掉该进程
    kill -9 14335

    再到db-shell中查看,已经关闭一个current了。
    在这里插入图片描述
    这种方式关掉的tcp连接状态会变成TIME_WAIT,端口依旧被占用,因为ACK是由我们主动关闭发出的。
    不过还好的是一般等一段时间链接自动会被释放,端口也不再被占用了。
    在这里插入图片描述
    可以看到35522和35524都已经被释放。

    关闭current的方法二:

    如果你知道是由哪个程序连接的mongodb,比如python程序
    那么可以使用命令查看程序端口占用情况
    ps -aux | grep python
    在这里插入图片描述
    然后kill掉对应的python程序,run.py,也能完成current的清除
    在这里插入图片描述
    批量清除指定程序:

    ps -efww|grep -w "run.py" |grep -v grep|cut -c 9-15|xargs kill -9
    

    日志

    查看日志位置

    cat /etc/mongod.conf
    

    日志文件过大,不能通过vim查看,用tail查看最后100行

    tail -n 100 mongo.log
    

    不需要重启服务,重新开启一个新日志文件的方法

    use admin
    db.runCommand({logRotate:1})
    

    运行过程中不能删除日志文件,清空日志文件但不删除文件的命令

    : >run.log
    

    也可以使用旋转日志 logRotate :对日志进行切割


    去重script

    db.getCollection('集合名').aggregate([{$group:{_id:{'去重字段':'$去重字段'}, count:{$sum:1}, dups:{$addToSet: '$_id'}}},{$match:{count:{$gt:1}}}] ,{ allowDiskUse: true }).forEach(function(doc){doc.dups.shift();db.getCollection('集合名').remove({_id: {$in: doc.dups}});})
    

    导出数据
    mongoexport -h localhost:27017 -u 用户名 -p 密码 -d 库名 -c 集合名 -o 导出文件路径


    cs