겜툰-카툰으로 보는 재미있는 게임이야기

PWD

	최신 게임뉴스

	오픈/클로즈 베타뉴스

	게임업계 핫이슈

	겜툰 FOCUS

	게임 특집

	인터뷰/업체탐방

	게임 만평

	게임 포토뉴스

인터뷰/업체탐방

HOME > 게임뉴스> 인터뷰/업체탐방

제 목 : [NDC 2021] 엔씨 김종원 개발자 “자동테스트, 개발과정에 필요한 시스템 될 것”

작성자 :	등록일 : 2021-06-10 오후 5:13:20

넥슨 개발자 콘퍼런스(Nexon Developers Conference, NDC) 2일 차인 6월 10일, 엔씨소프트 자동테스트 개발팀 김종원 개발자는 ‘게임 테스트 자동화 5년의 기록, <리니지M>과 <리니지2M>의 자동테스트 회고’에 대해 강연을 진행했다.

김종원 개발자는 강연을 시작하며 ‘게임 테스트 자동화’가 인공지능을 통한 완전 자동화 테스트를 의미하는 게 아니라고 강조했다. 굳이 사람이 하지 않아도 되는 가장 기본적이고도 반복적인 일을 사람 대신, 사람보다 정확하고 실수 없이 수행해주는 기술적인 개선을 이루고자 했다. 김종원 개발자는 이를 ‘게임 개발 이후의 테스트 작업에 대한 기술적인 개선’이라고 표현했다.

엔씨소프트는 2016년 테스트 자동화 프로토타입 개발 이후 매년 시스템을 발전시키고 테스트 영역을 확대하고 있다. 이 과정에서 사내 피드백을 반영해 테스트 빌드 자동 실행, 단순 테스트 로그 제공에서 테스트 결과 리포트 제공 등 성능과 편의성 면에서도 성과를 이뤘다.

같은 버전 프로그램이라면 동일 스크립트로 모든 플랫폼에서 테스트할 수 있도록 발전시키고 모든 테스트를 총괄하는 ‘테스트 워크벤치’ 시스템을 구축했다. 테스트 워크벤치는 기기 관리 서버를 통해 각기 다른 플랫폼의 테스트 기기를 일괄 제어하고, 테스트 로그를 취합해 결과 리포트를 생성한다. 이를 통해 개발자들은 테스트와 결과 해석에만 집중할 수 있다.

게임 개발 중 UI가 바뀌거나 게임 엔진이 달라지면 스크립트를 새로 짜야 하는 부분은 시행착오를 거치며 개선했다. 검색 방법을 다양하게 만들어 UI가 변하더라도 검색에 실패하지 않게 했고, 게임 엔진에 독립적인 부분을 만들어 게임 엔진이 달라져도 검색 기능을 공유하게 했다. 또한, 테스트 스크립트 공동 라이브러리를 만들어 변경 시 바꿔야 할 부분을 최소화했다. 김종원 개발자는 “마지막으로 개발팀의 사내 배포 빌드에 항상 자동테스트 기능이 들어가도록 개발팀과 협업했다”라고 덧붙였다.

김종원 개발자는 자동테스트 개발을 위해선 게임 개발팀과 협업이 중요하다고 강조했다. UI가 자동테스트를 고려하지 않고 작성되면 자동테스트가 사실상 불가능해지고, UI가 갑작스럽게 변경되면 자동테스트 스크립트를 모두 점검하기 전까지 테스트 진행이 힘들어진다. 개발팀이 자동테스트 전용 명령어나 기능을 추가하면 테스트 속도가 매우 빨라진다. 김종원 개발자는 “자동테스트 환경을 게임 개발 과정에 도입하면 게임 개발 퀄리티를 쉽게 높일 수 있다”라고 말했다.

김종원 개발자는 자동테스트를 통해 얻은 것과 이를 위한 비용을 공유했다. 먼저 자동테스트를 통해 테스트 수행 시간 제약이 사라져 주말이나 새벽에도 테스트를 진행할 수 있고, 반복 작업을 사람 대신 진행해 인적 오류도 없앨 수 있다. 간단한 검증을 반복해 중요한 검증으로 활용할 수도 있다. 그러나 기존 작업 테스트에는 용이해도 새로 추가된 기능 테스트에는 적합하지 않으며, 테스트가 정확할수록 작은 변화에 취약해 스크립트를 꾸준히 관리해야 한다.

또한 자동테스트 시스템 개발에 많은 프로그래머가 필요하고 시스템을 유지, 개선, 보수하는 비용이 필요하다. 때문에 QA 비용과 별도로 자동테스트 개발/운영 비용이 게임 개발 비용에 편성된다. 게임 UI 변화에 취약하고, 시각적/청각적 문제를 식별할 수 없다. 실제 QA 인력보다 테스트 가능 범위가 좁고, 테스트 결과는 알 수 있어도 결과만으로는 원인 파악이 쉽지 않다.

김종원 개발자는 게임 테스트 자동화가 매뉴얼 테스트를 완전히 대체하지 않는다고 강조한다. 김종원 개발자는 “규모가 작은 회사일수록 자동테스트가 더 필요하다”라며, “적은 QA 인력으로 더 많은 테스트를 시키는 것이 아니라, 부족한 QA 인력을 보조하고 더 많은 구역을 확보하기 위해 자동테스트가 필요하다”라고 말했다.

김종원 개발자는 자동테스트 5단계를 제시했다. 자동테스트가 매뉴얼 테스트를 보조하는 1단계부터 테스트 전 과정이 자동으로 이뤄지는 5단계까지다. 김종원 개발자는 “현재 테스트 시나리오를 사람이 작성하기 때문에 현재는 게임 콘텐츠 변화에 빠르게 대응하기 어렵다”라며, “3단계에 이르러 대부분의 테스트 시나리오를 자동테스트 시스템이 만들 수 있다면 자동테스트는 개발 과정에 반드시 필요한 시스템이 되리라 생각한다”라고 역설했다.

강연을 마치며 김종원 개발자는 “앞으로 이 자동테스트 5단계를 나타낸 표가 계속 언급될 수 있도록 여러 게임 개발 회사에서도 자동 테스트의 연구와 적용이 계속되었으면 한다”라고 말했다.

겜툰 박현규 수습기자 gamtoon@gamtoon.com