OpenCV, PyAutoGui 를 이용한 느낌표 검출 (로아낚시매크로2)

이번 포스트에서는 PyAutoGui 라이브러리를 이용해 찌낚시의 완료를 알리는 느낌표를 검출해 보도록 하겠습니다. 

제목에 OpenCV 를 넣어놨지만 우리가 직접 OpenCV 를 사용하지는 않을 겁니다. 

다만 PyAutoGui 가 제공하는 함수중에 locateOnScreen 이라는 함수가 있습니다. 이 함수가 받는 optional 아규먼트 중에  confidence 라는 항목이 있는데 

이 항목을 지정하기 위해서는 OpenCV를 설치해야 합니다. 

(참고로 PyAutoGui 는 더블 모니터가 있을 경우 주 모니터만을 처리하게 됩니다. )

아래 명령어로 라이브러리를 설치해 줍니다. 

pip install pyautogui==0.9.38

pip install opencv_python

pyautogui 의 경우에 최신버전은 한글 윈도우에서 인코딩 문제로 설치되지 않습니다. 그래서 구버전을 지정해서 설치 했는데요. 구 버전도 쓰는데 문제는 없습니다. 

 1. 느낌표 스크린샷

코딩을 하기 전에 우선 느낌표 사진을 구해 봅시다.

로스트아크를 켜고 낚시를 수행하면서 뜨는 느낌표를 스크린샷 뜬 뒤 이쁘게 잘라줍니다. 저의 경우에는 아래와 같이 나왔네요 

다음으로 작업디렉토리에 img 폴더를 만들고 위 이미지 파일을 새로 만든 폴더 안에 저장해 줍니다. 그리고 이미지 파일 이름은 LA_exclamation_mark.png 로 설정하시기 바랍니다. 

작업 디렉토리는 아래와 같은 구조가 되겠습니다. 

/lostark

/ – /img

     / – LA_exclamation_mark.png

/ – fishing_place.py

/ – init.txt

그리고 init.txt 끝에 아래 내용을 추가 합니다. 

[lostark_fishing]
width = 200
heght = 200

 2. 느낌표 검출 코드

그럼 준비운동은 끝났고 이제 느낌표를 검출하는 코드를 만들어 보겠습니다. 

lostark 폴더 밑에 fishing_image.py 라는 파일을 만들고 아래 코드를 입력 합니다. 

import os
import time
import sys
import pyautogui as pa
import configparser

# - 주모니터의 화면의 Center 를 Return -
def getCenterOfScreen():
    tup = pa.size()
    tup = (int(tup[0]/2), int(tup[1]/2))
    return tup

# - 느낌표를 검출할 영역을 지정 -
def makeRegion(center, width, height):
    x = center[0]
    y = center[1]

    startPos = (x - width, y - height)
    region = (startPos[0], startPos[1], 2*width, 2*height)
    return region

# - 이미지 File이름, 검출 대상이 될 영역을 입력받아 이미지를 검출하는 함수
def findLcationWithImage(fileName, startPos, confidence=.7):
    file_path = os.path.dirname(os.path.realpath(__file__)) + '\\' + 'img' + '\\' + fileName
    result = pa.locateOnScreen(file_path, confidence=confidence, region=startPos)

    #print('.', end=' ')
    sys.stdout.write('. ')
    sys.stdout.flush()
    if result != None:
        print('Find Image ' +  str(result))
    return result


def findImageUntil(fileName, startPos, cnt = 60, confidence=0.8, wait=0.1):
    for i in range(cnt):
        imgpos = findLcationWithImage(fileName, startPos, confidence= confidence)
        if imgpos != None:
            break
        else:
            time.sleep(wait)
    if imgpos == None:
        return None
    else:
        return imgpos


if __name__ == "__main__":
    # - init.txt 의 width와 height 값을 읽어옴 
    configFile = os.path.dirname(os.path.realpath(__file__)) + '\\' + 'init.txt'
    config = configparser.ConfigParser()
    config.read(configFile)

    width = int(config['lostark_fishing']['width'])
    height = int(config['lostark_fishing']['heght'])

    region = makeRegion(getCenterOfScreen(), width, height)
    findImageUntil("LA_exclamation_mark.png", region, cnt=60, confidence=0.8)

위 코드에서 findImageUntil 이라는 함수에서 알 수 있듯이 지정한 영역에서 LA_exclamation_mark.png 의 그림과 비슷한 그림이 나올 때 까지 60번 동안 0.1초씩 쉬고 검출 작업을 수행하겠다는 내용입니다. 

이 60번이라는 숫자는 실험적으로 정한 숫자 입니다. 모니터 해상도에 따라 작업이 빨리 수행될 수도 있고 느리게 수행 될 수 도 있습니다. 

저는 4K 모니터를 쓰는데 cnt=60 이 가장 적당하더군요 ! 만약 4K 보다 낮은 해상도를 쓰신다면 그리고 Region 영역을 작게 잡으신 경우라면 60 보단 큰게 안정적일 수 있습니다. 

자 그럼 테스트를 해보겠습니다. 

로스트아크에 접속 하여 아래처럼 찌를 던진 뒤 코드를 실행해 보세요 

그러면 느낌표가 나오기 전까지는  . . . . 화면이 반복되다가 느낌표가 출력 되면 아래와 같이 Image 가 검출된 위치를 표시하는 내용이 나올 것입니다. 

만약 느낌표가 나오기 전에 프로그램이 종료 되어 버린다면 findImageUntil을 호출하는 부분에서 cnt 값을 늘려주세요 그리고 느낌표가 나왔는데도 프로그램이 검출을 못하는 경우엔 confidence를 0 ~ 1 사이의 값으로 조절해 보세요! (Full HD, 4K 에서는 confidence = 0.8 로 잘 검출 되는 것을 확인 했습니다.)

이것으로 이번 포스트는 마치도록 하겠습니다. 

다음 포스트에서는 낚시 매크로를 완성해 보도록 하겠습니다.