当前位置 博文首页 > python+opencv图像分割实现分割不规则ROI区域方法汇总

    python+opencv图像分割实现分割不规则ROI区域方法汇总

    作者:奔跑的Yancy 时间:2021-06-11 18:28

    在图像分割领域,一个重要任务便是分割出感兴趣(ROI)区域。如果是简易的矩形ROI区域其实是非常容易分割的,opencv的官方python教程里也有教到最简易的矩形ROI分割(剪裁),其本质是多维数组(矩阵)的切片。但是现实情况中,ROI是不规则的多边形,也可能是曲线边界,那么该如何分割出来呢?下面总结几种思路。

    可能只提供核心部分的代码示例,具体应用要结合你自己的项目来修正。

    一、已知边界坐标,直接画出多边形

    例:最基础的画个四边形

    # 定义四个顶点坐标
    pts = np.array([[10, 5],  [50, 10], [70, 20], [20, 30]], np.int32)
    # 顶点个数:4,矩阵变成4*1*2维
    # OpenCV中需要将多边形的顶点坐标变成顶点数×1×2维的矩阵
    # 这里 reshape 的第一个参数为-1, 表示“任意”,意思是这一维的值是根据后面的维度的计算出来的
    pts = pts.reshape((-1, 1, 2))
    cv2.polylines(img, [pts], True, (0, 255, 255))
    

    上例中,img是你的画布原图。pts你可以随便改,改成自己的边界点。注意cv2.polylines中参数pts要加[ ]。

    二、通过形态学操作产生Mask

    腐蚀、膨胀之后,产生二值化(非黑即白)的mask,然后和图像做与运算。

    腐蚀膨胀的操作方法简单复习一下:

    kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (10, 10))  # 矩形结构:MORPH_RECT
    kernel1 = cv2.getStructuringElement(cv2.MORPH_RECT, (15, 15))  # 椭圆结构:MORPH_ELLIPSE
    img = cv2.erode(img, kernel)  # 腐蚀 
    img = cv2.dilate(img, kernel)  # 膨胀
    

    我们都知道,腐蚀膨胀完后会得到一个二值化的掩模(mask)。

        mask = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR) #img是腐蚀膨胀完的图片
        ROI = cv2.bitwise_and(mask, oriimg) #oriimg是原始图片
        cv2.imshow('ROI',ROI)
        if cv2.waitKey(500) and 0xff == ord('q'):
            cv2.destroyAllWindows()

     讲原始图片和mask做一个掩模就可以得到最终图像了(例子此处就不举了因为一些图片涉及科研内容,paper还未发表,请自行试一下吧)。

    三、人机交互式

    用鼠标点击,产生多边形。

    这样是比较精确的,比较是人工操作,但是比较麻烦,如果有上万张图片,你不可能每张都自己鼠标去分割出来一下。但是这个方法可以用于获取ROI的ground-truth,然后用来和机器分割的结果做对比,计算准确率、召回率等评价指标!所以学一下还是有用的。

    #!/usr/bin/env python3
    # -*- coding: utf-8 -*-
    """
    Created on Wed May 29 19:18:28 2019
    @author: youxinlin
    """
     
    import cv2
    import numpy as np
     
    # -----------------------鼠标操作相关------------------------------------------
    lsPointsChoose = []
    tpPointsChoose = []
    pointsCount = 0
    count = 0
    pointsMax = 6
    def on_mouse(event, x, y, flags, param):
        global img, point1, point2, count, pointsMax
        global lsPointsChoose, tpPointsChoose  # 存入选择的点
        global pointsCount  # 对鼠标按下的点计数
        global img2, ROI_bymouse_flag
        img2 = img.copy()  # 此行代码保证每次都重新再原图画  避免画多了
        # -----------------------------------------------------------
        #    count=count+1
        #    print("callback_count",count)
        # --------------------------------------------------------------
     
        if event == cv2.EVENT_LBUTTONDOWN:  # 左键点击
            pointsCount = pointsCount + 1
            # 感觉这里没有用?2018年8月25日20:06:42
            # 为了保存绘制的区域,画的点稍晚清零
            # if (pointsCount == pointsMax + 1):
            #     pointsCount = 0
            #     tpPointsChoose = []
            print('pointsCount:', pointsCount)
            point1 = (x, y)
            print (x, y)
            # 画出点击的点
            cv2.circle(img2, point1, 10, (0, 255, 0), 2)
     
            # 将选取的点保存到list列表里
            lsPointsChoose.append([x, y])  # 用于转化为darry 提取多边形ROI
            tpPointsChoose.append((x, y))  # 用于画点
            # ----------------------------------------------------------------------
            # 将鼠标选的点用直线连起来
            print(len(tpPointsChoose))
            for i in range(len(tpPointsChoose) - 1):
                print('i', i)
                cv2.line(img2, tpPointsChoose[i], tpPointsChoose[i + 1], (0, 0, 255), 2)
            # ----------------------------------------------------------------------
            # ----------点击到pointMax时可以提取去绘图----------------
     
            cv2.imshow('src', img2)
            
    # -------------------------右键按下清除轨迹-----------------------------
        if event == cv2.EVENT_RBUTTONDOWN:  # 右键点击
            print("right-mouse")
            pointsCount = 0
            tpPointsChoose = []
            lsPointsChoose = []
            print(len(tpPointsChoose))
            for i in range(len(tpPointsChoose) - 1):
                print('i', i)
                cv2.line(img2, tpPointsChoose[i], tpPointsChoose[i + 1], (0, 0, 255), 2)
            cv2.imshow('src', img2)
     
        # -------------------------双击 结束选取-----------------------------
        if event == cv2.EVENT_LBUTTONDBLCLK: 
        # -----------绘制感兴趣区域-----------
            ROI_byMouse()
            ROI_bymouse_flag = 1
            lsPointsChoose = []
            
     
    def ROI_byMouse():
        global src, ROI, ROI_flag, mask2
        mask = np.zeros(img.shape, np.uint8)
        pts = np.array([lsPointsChoose], np.int32)  # pts是多边形的顶点列表(顶点集)
        pts = pts.reshape((-1, 1, 2))
        # 这里 reshape 的第一个参数为-1, 表明这一维的长度是根据后面的维度的计算出来的。
        # OpenCV中需要先将多边形的顶点坐标变成顶点数×1×2维的矩阵,再来绘制
     
        # --------------画多边形---------------------
        mask = cv2.polylines(mask, [pts], True, (255, 255, 255))
        ##-------------填充多边形---------------------
        mask2 = cv2.fillPoly(mask, [pts], (255, 255, 255))
        cv2.imshow('mask', mask2)
        cv2.imwrite('mask.jpg', mask2)
        image,contours, hierarchy = cv2.findContours(cv2.cvtColor(mask2, cv2.COLOR_BGR2GRAY), cv2.RETR_TREE, cv2.CHAIN_APPROX_NONE)
        ROIarea = cv2.contourArea(contours[0])
        print("ROIarea:",ROIarea)
        ROI = cv2.bitwise_and(mask2, img)
        cv2.imwrite('ROI.jpg', ROI)
        cv2.imshow('ROI', ROI)
     
    img = cv2.imread('3.png')
    # ---------------------------------------------------------
    # --图像预处理,设置其大小
    # height, width = img.shape[:2]
    # size = (int(width * 0.3), int(height * 0.3))
    # img = cv2.resize(img, size, interpolation=cv2.INTER_AREA)
    # ------------------------------------------------------------
    ROI = img.copy()
    cv2.namedWindow('src')
    cv2.setMouseCallback('src', on_mouse)
    cv2.imshow('src', img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
    

    你可以增加更多的功能。。。附:鼠标点击事件 :

    '''
    EVENT_FLAG_ALTKEY = 32  摁住Alt
    EVENT_FLAG_CTRLKEY = 8  摁住Ctrl
    EVENT_FLAG_LBUTTON = 1  摁住左键
    EVENT_FLAG_MBUTTON = 4  摁住中键
    EVENT_FLAG_RBUTTON = 2  摁住右键
    EVENT_FLAG_SHIFTKEY = 16 摁住Shift
    EVENT_LBUTTONDBLCLK = 7  左键双击
    EVENT_LBUTTONDOWN = 1  左键击下
    EVENT_LBUTTONUP = 4   左键弹起
    EVENT_MBUTTONDBLCLK = 9  中键双击
    EVENT_MBUTTONDOWN = 3  中键击下
    EVENT_MBUTTONUP = 6   中键弹起
    EVENT_MOUSEHWHEEL = 11  滚动条向左,flags>0。向右,flags<0
    EVENT_MOUSEMOVE = 0   鼠标移动
    EVENT_MOUSEWHEEL = 10  滚动条向上,flags>0。向下,flags<0
    EVENT_RBUTTONDBLCLK = 8  中键双击
    EVENT_RBUTTONDOWN = 2  中键击下
    EVENT_RBUTTONUP = 5   中键弹起
    '''
    
    js