POE 자동 물약 먹기 !! if 체력 반피시 …

* 경고 *

해당 포스팅은 교육적인 목적입니다. 절대 악용, 남용 하면 아니되옵니다.

안녕하세요 라이프온룸 입니다. 

저번 포스팅에 업그레이드를 가미해서 이번엔 OpenCV 를 이용해서 체력 혹은 마나가 반토막이 되었을 때 물약을 자동으로 먹는 파이썬 코드를 만들어 봤어요 ! 참고로 해당기능은 주 모니터에서만 동작 합니다. 듀얼 모니터 쓰시는 분들은 Sub 모니터에서는 동작 안되실 거에요 !! 

우선 들어가기 이전에 추가되거나 변경된 파일에 대해 알아볼게요

• drinkportion.py – 변경, 영상처리 결과로 특정 키를 누르도록 변경되었습니다. 
• config.cfg – 변경, 영상처리 그리고 임계점 Trigger시 누를 키보드 값에 대한 옵션이 추가되었습니다. 
• cvFunc.py – 추가, 영상처리에 관한 내용입니다.

이제 설치해야할 라이브러리를 알아봅시다 !

1. 라이브러리

pip install opencv-python
pip install pillow
pip install numpy
pip install mss
pip install pyautogui==0.9.38

여기선 pyautogui 의 경우 특정 버전을 지정 했는데요 ! pyautogui  최신 버전의 경우 한글 윈도우에선 설치 시 에러가 납니다… 그래서 위에 언급한 버전을 설치해야 정상 동작 합니다.

2. config.cfg

[portion_drink_delay]
delay = 0.1
delay_triggered = 1

[portion_key]
k_1 = 2,3,4,5
# m_right = 5
m_middle = 4
s_hp = 1
s_mp = 5

[screen]
bgr_lower = {'sheild': (89, 132, 72), 'mp': (109, 47, 13), 'hp': (33, 94, 30)}
bgr_upper = {'sheild': (169, 199, 137), 'mp': (158, 71, 32), 'hp': (47, 147, 33)}
hpmp_region = (1818, 655, 201, 38)
#hpmp_region = (911, 319, 101, 18) #full hd
#hpmp_region = (906, 314, 107, 20) # full hd whole screen mode
hpmp_trigger = 0.5

프로그램의 옵션을 주는 config.cfg 파일에 대해 한번 보고 갈게요 

screen 섹션, portion_drink_delay 섹션의 delay_triggered 옵션 그리고 portion_key 섹션에 s_hp, s_mp 옵션이 추가되었습니다. 각 옵션의 의미는 아래와 같아요

• bgr_lower, bgr_upper : sheild, mp, hp 바의 BGR 최소값과 최대값입니다. 
• hpmp_region: sheild, mp, hp 바가 존재하는 위치입니다. 
• hpmp_trigger: mp, hp 어느정도 떨어 졌을때 물약을 먹을거냐에 대한 수치입니다. 이 경우 50% 남았으면 물약을 먹게 됩니다. 
• delay_triggered: mp, hp 수치가 hpmp_trigger 밑에 있을때 어느 정도의 Delay를 두고 물약을 먹을지 입니다. 이 경우 1초 입니다. 
• s_hp, s_mp: hp, mp 가 hpmp_trigger 밑으로 내려 갈 시 어떤 키를 누를거냐에 대한 내용입니다. 이 경우 hp는 1번키, mp는 2번키입니다. 

참고로 bgr_lower, bgr_uppwer의 값은 제가 모니터 3대로 테스트를 해봤는데 위 값으로 잘 동작합니다. 그럼으로 따로 구하지 않고 위 값을 그대로 써도 될 것 같네요 !

2. 코드 

저번 포스팅에서 cvFunc.py라는 파일이 추가 되었어요. 해당 파일은 캐릭터의 피통과 마나통을 검출 하여 물약을 먹을 타이밍을 알려주는 역할을 하는데요! 추가적으로 아래 기능을 구현해놨습니다.  

1. 특정 Image 영역의 좌표값 얻기 
2. 특정 사진의 BRG 값의 채널별 최소값과 최대값 얻기 
3. 이미지에서 특정 BGR 값을 갖는 사각형 검출하기 
4. 스크린샷을 연속적으로 찍어서 피통과 마나통 검출하기 

cvFunc.py

#-*- coding: utf-8 -*-

from ast import literal_eval
import os
import time

import cv2.cv2 as cv2
import numpy as np
import pyautogui as pa
from PIL import Image
import copy
from mss import mss



class ScreenShot():
    finalRegion = 0
    def __init__(self, region=(0, 0, 0, 0)):
        if region == (0, 0, 0, 0):
            screen = np.array(pa.screenshot())
            self.img = screen[:, :, ::-1].copy()
        else:
            screen = np.array(pa.screenshot(region=region))
            self.img = screen[:, :, ::-1].copy()

        #self.overlay = self.img.copy()
        self.output = self.img.copy()
        self.drawing = False
        self.ix = 0
        self.iy = 0

        sz = pa.size()
        coord = (0, 0, sz[0], sz[1])
        self.scrCenter = pa.center(coord)

        self.mouseCoord = pa.position()


    def drawBlueRect(self, event, x, y, flags, param):
        #global ix, iy, drawing, mode, output

        if event == cv2.EVENT_LBUTTONDOWN:  # 마우스를 누른 상태

            self.drawing = True
            self.ix, self.iy = x, y
        elif event == cv2.EVENT_MOUSEMOVE:  # 마우스 이동
            if self.drawing == True:  # 마우스를 누른 상태 일경우
                self.output = self.img.copy()
                cv2.rectangle(self.output, (self.ix, self.iy), (x, y), (255, 0, 0), 2)

                pass

        elif event == cv2.EVENT_LBUTTONUP:
            self.drawing = False;  # 마우스를 때면 상태 변경
            cv2.rectangle(self.output, (self.ix, self.iy), (x, y), (255, 0, 0), 2)
            startX, endX = self.ix, x
            startY, endY = self.iy, y

            if x > self.ix :
                startX, endX = self.ix, x
            else:
                startX, endX = x, self.ix

            if y > self.iy:
                startY, endY = self.iy, y
            else:
                startY, endY = y, self.iy

            self.finalRegion = (startX, startY, endX - startX, endY - startY)

    def partScreenShot(self):
        cv2.namedWindow('image', cv2.WINDOW_NORMAL)
        cv2.setWindowProperty("image", cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN);
        cv2.setMouseCallback('image', self.drawBlueRect)

        while True:
            cv2.imshow('image', self.output)

            k = cv2.waitKey(1) & 0xFF

            if k == 27:  # esc를 누르면 종료
                break

        cv2.destroyAllWindows()
        print("Screen Shot Region(x, y, w, h): ", self.finalRegion)
        return self.finalRegion

    def saveImage(self, fileName, region=()):
        if len(region) == 0:
            x, y, w, h = self.finalRegion
        else:
            x, y, w, h = region

        croped_img = self.img[y:y+h, x:x+w]

        path = os.path.dirname(os.path.realpath(__file__)) + '\\' + str(fileName)
        cv2.imwrite(path, croped_img)


class ScreenProcess():
    drinkTime = {}
    HPMPText = 'Text'
    recogCnt = 0

    def __init__(self, dict_bgr_lower, dict_bgr_upper, trigger=0.5, delayTriggered = 3, region = (0, 0, 0, 0)):
        self.lower = dict_bgr_lower
        self.upper = dict_bgr_upper

        for key, _ in self.upper.items():
            self.drinkTime[key] = time.time()

        self.x, self.y, self.w, self.h = region
        self.mon = {'top': self.y, 'left': self.x, 'width': self.w, 'height': self.h}
        self.sct = mss()

        self.delayTriggered = delayTriggered
        self.trigger = trigger


    def checkHPMP(self, frame, show=0, videoShow = 0):
        rects = []
        triggered = []
        for key, value in self.upper.items():

            img = copy.copy(frame)
            height, width = img.shape[:2]
            #print(height, width)
            img = cv2.GaussianBlur(img, (11, 11), 0)
            mask = cv2.inRange(img, self.lower[key], self.upper[key])
            res = cv2.bitwise_and(img, img, mask=mask)
            gray = cv2.cvtColor(res, cv2.COLOR_BGR2GRAY)
            #ret, thresh = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY)

            #kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (3, 5))
            #erosion = cv2.erode(thresh, kernel, iterations=1)

            cnts = cv2.findContours(gray.copy(), cv2.RETR_EXTERNAL,
                                    cv2.CHAIN_APPROX_SIMPLE)[-2]

            for cnt in cnts:
                approx = cv2.approxPolyDP(cnt, 0.1 * cv2.arcLength(cnt, True), True)
                if (len(approx) >= 2):
                    # print("approx:", len(approx), "CountourArea: ", cv2.contourArea(cnt))
                    (x, y, w, h) = cv2.boundingRect(approx)
                    rects.append((x, y, w, h))
                    currentHPMP = w/(width * 1.0)
                    if currentHPMP < self.trigger and x < 10:
                        if (time.time() - self.drinkTime[key] > self.delayTriggered and key != 'sheild'):
                            self.drinkTime[key] = time.time()
                            showText = key + ' need portion!' + str(self.recogCnt)
                            print(showText)
                            self.recogCnt += 1
                            self.HPMPText = showText
                            triggered.append(key)
                    break



        if show == 1:
            showImg = copy.copy(frame)
            textImg = np.zeros((height * 2, width*2, 3), np.uint8)
            cv2.putText(textImg, self.HPMPText, (5, height+ 5), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (255, 255, 255), lineType=cv2.LINE_AA)
            for detectRect in rects:
                (x, y, w, h) = detectRect
                cv2.rectangle(showImg, (x, y), (x + w, y + h), (255, 0, 255), 2)

            viewImage = np.hstack([frame, showImg])
            finalView = np.vstack([viewImage, textImg])
            cv2.imshow("Frame Result", finalView)
            cv2.resizeWindow('Frame Result', 300, 300)
            #cv2.imshow("OneFrame", np.hstack([thresh, gray, erosion]))
            if videoShow == 0:
                cv2.waitKey(0)


        if show == 1 and videoShow == 0:
            cv2.destroyAllWindows()

        return triggered

    def screenProcess(self, showVideo=0):

        self.sct.grab(self.mon)

        img = Image.frombytes('RGB', (self.w, self.h), self.sct.grab(self.mon).rgb)

        frame = cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR)
        return self.checkHPMP(frame, show=showVideo, videoShow=showVideo)

        # if cv2.waitKey(25) & 0xFF == ord('q'):
        #     cv2.destroyAllWindows()
        #     break

def checkColorMinMax(listImageName):
    cmin = {}
    cmax = {}
    for imageName in listImageName:
        frame = cv2.imread(imageName)
        frame = cv2.GaussianBlur(frame, (11, 11), 0)
        max_ch = (np.amax(frame[:, :, 0]), np.amax(frame[:, :, 1]), np.amax(frame[:, :, 2]))
        min_ch = (np.amin(frame[:, :, 0]), np.amin(frame[:, :, 1]), np.amin(frame[:, :, 2]))
        specName = imageName.split('.')[0]
        cmin[specName] = min_ch
        cmax[specName] = max_ch
    print("lower = ", cmin)
    print("upper = ", cmax)


if __name__=="__main__":
    import configparser
    configFile = os.path.dirname(os.path.realpath(__file__)) + '\\' + 'config.cfg'
    config = configparser.ConfigParser()
    config.read(configFile)

    delay_triggered = int(config['portion_drink_delay']['delay_triggered'])
    brg_lower = literal_eval(config['screen']['bgr_lower'])
    bgr_upper = literal_eval(config['screen']['bgr_upper'])
    hpmp_region = literal_eval(config['screen']['hpmp_region'])
    hpmp_trigger = float(config['screen']['hpmp_trigger'])

    test = 1
    # -------- ScreenSize ------------
    if test == 1:
        ip = ScreenShot()
        ip.partScreenShot()

    # -------- Check Color BGR min max ------------
    elif test == 2:
        checkColorMinMax(["sheild.png", "mana.png", "health.png"])

    # -------- detect HP/MP on image ------------
    elif test == 3:
        frame = cv2.imread("testpoe.png")
        sp = ScreenProcess(brg_lower, bgr_upper, hpmp_trigger, delay_triggered, hpmp_region)
        sp.checkHPMP(frame, show=1)

    # -------- detect HP/MP on continuous Screen ------------
    elif test == 4:
        sp = ScreenProcess(brg_lower, bgr_upper, hpmp_trigger, delay_triggered, hpmp_region)
        while True:
            sp.screenProcess(showVideo=1)
            if cv2.waitKey(25) & 0xFF == ord('q'):
                cv2.destroyAllWindows()
                break

아래 Main 보면 test 변수를 바꿔서 위에서 언급했던 1~4번 기능을 테스트 해 볼 수 있습니다. !! 코드의 동작은 영상을 참고해 주세요 ㅎㅎ.. 

drinkPortion.py

import mouse as mo
import keyboard as keys
import time
import configparser
import os
from ast import literal_eval
import cv2.cv2 as cv2
#try:
import keyEvent as ke
# import screen process module 
import cvFunc as cvf
# except:
#     import POE.keyEvent as ke
#     import POE.cvFunc as cvf


try:
    import serialFunc as sf
    ser = sf.ExternalHID('COM16')
except Exception as e:
    print(e)
    print("Hardware Macro Disabled")

def generateKeyEvent(val, key_s, delay):
    if val == True:
        for outVal in key_s:
            # hardware macro
            #ser.keyboardInput(outVal)
            # software macro
            ke.press(outVal)
            time.sleep(delay)


def drinkPortionWithInput(listDevKeyOutVal, delay=0.001, sProcess=None):
    listKeyState = [0] * len(listDevKeyOutVal)
    triggereds = []

    while True:
        if sProcess != None:
      # screenProcess if triggered return data
            triggereds = sProcess.screenProcess(showVideo=1)
            if cv2.waitKeyEx(25) == ord('`'):

                cv2.destroyAllWindows()
                break

        for idx, dictDevVal in enumerate(listDevKeyOutVal):
            keyormo = list(dictDevVal.keys())[0]
            generateKeys = dictDevVal[keyormo].split(',')

            # [0] = k is keyboard [1] = pushed key
            if keyormo.split('_')[0].strip() == 'k':
                value = keys.is_pressed(keyormo.split('_')[1].strip())
                if listKeyState[idx] != value:
                    generateKeyEvent(value, generateKeys, delay)
                    listKeyState[idx] = value

            # [0] = m is mouse [1] = pushed mouse btn
            elif keyormo.split('_')[0].strip() == 'm':
                possList = [mo.LEFT, mo.RIGHT, mo.MIDDLE]
                try:
                    possList.index(keyormo.split('_')[1].strip())
                except Exception as e:
                    continue

                value = mo.is_pressed(keyormo.split('_')[1].strip())

                if listKeyState[idx] != value:
                    generateKeyEvent(value, generateKeys, delay)
                    listKeyState[idx] = value

            elif keyormo.split('_')[0].strip() == 's':
                stat = keyormo.split('_')[1].strip()
        # drink potion if HP, MP below specific percentage
                for triggered in triggereds:
                    if triggered == stat:
                        generateKeyEvent(True, generateKeys, delay)

if __name__=="__main__":
    configFile = os.path.dirname(os.path.realpath(__file__)) + '\\' + 'config.cfg'
    config = configparser.ConfigParser()
    config.read(configFile)

    itemList = []
    for option in config.options('portion_key'):
        itemList.append({option:config['portion_key'][option]})

    drinkDelay = float(config['portion_drink_delay']['delay'])
    delay_triggered = int(config['portion_drink_delay']['delay_triggered'])
    brg_lower = literal_eval(config['screen']['bgr_lower'])
    bgr_upper = literal_eval(config['screen']['bgr_upper'])
    hpmp_region = literal_eval(config['screen']['hpmp_region'])
    hpmp_trigger = float(config['screen']['hpmp_trigger'])


    print("macro start drink delay  %s " % str(drinkDelay))
  # make screenProcess instance
    sp = cvf.ScreenProcess(brg_lower, bgr_upper, hpmp_trigger, delay_triggered, hpmp_region)
    drinkPortionWithInput(itemList, drinkDelay, sp)

새로운 drinkPortion.py입니다. 주요 부분에 주석으로 설명 달아놨어요 ㅎㅎ 

3. 실행 

이렇게 코딩을 한 뒤 CMD 환경에서 가상환경 Enable 후 python drinkPortion 하면 코드가 실행됩니다. 그리고 영상처리 윈도우를 안뜨게 하고 싶다면 showVideo = 0 으로 변경하면 됩니다. 

넵 오늘 포스팅은 여기까지 입니다. 저는 이제 액트4 밀로 가야겠네요 ㅋㅋ 그나저나 빌드를 제 맘대로 했더니 전직하다가 게임 접을 뻔 했어요 ㅜ ㅋㅋ ..