‘복사 버그도 예방한다’ 게임QA의 세계

넥슨 개발자 컨퍼런스(NDC) 2012에 게임QA(품질관리)가 떴다. 그동안 게임QA는 막연하게 테스터라고만 알려진 직책이었다. 하지만 게임QA는 테스트 말고도 일정관리, 피드백, 시장조사, 개발자산 관리 등 다양한 업무를 수행한다.

그런 다양한 업무만큼 NDC 2012에서도 게임QA에 대해 많은 강연들이 있었다. 가볍게는 게임QA를 소개하는 강연에서부터 무겁게는 QA기법이나 정신론에 관계된 강연도 있었다. 디스이즈게임은 넥슨 개발자 컨퍼런스(NDC) 2012 3일차(25일)에 있었던 게임QA 관련 강연을 모아 정리했다. /디스이즈게임 김승현 기자

■ 말이 통하지 않는 퍼블리셔와 소통하는 법

품질을 책임지는 QA는 게임에 관련된 어느 분야에도 존재한다. 해외 퍼블리싱 지원도 예외는 아니다. 현재 KOG에서 <그랜드체이스> QA업무를 맡고 있는 김지민 사원은 그동안 자신이 해외 서비스 QA를 하면서 겪은 사례를 소개했다.

그는 사례를 설명하며 해외 서비스 QA에서 가장 중요한 것은 바다 건너 있는 자사 게임 관계자들과 ‘소통’하는 일이라고 강조했다. 해외 서비스 QA는 기본적으로 문화·환경·언어가 다른 이국의 퍼블리싱을 돕는 업무이기 때문이다.

김지민 사원은 <그랜드체이스>의 남미 퍼블리싱 사례를 말했다. 게임을 서비스하면서 최초 2개월 동안 13건의 버그가 방치됐던 사건이 있었다. 국내 QA 담당자가 퍼블리셔로부터 피드백을 받지 못해 일어난 일이었다.

사건의 원인은 간단했다. 상대 퍼블리셔가 버그 리포팅 방법을 몰랐기 때문이었다. 국내에선 너무도 당연한 퍼블리셔의 업무였지만, 국내와 IT 환경 및 역사가 다른 외국에서는 그 ‘당연’의 기준이 달랐던 것이다. 이외에도 피드백 사항이 늦거나 없는 사소한 문제에서 퍼블리셔가 유저의 피드백을 무시하는 사례까지, 해외 서비스 QA 문제의 1순위는 소통이었다.

김지민 사원은 이를 극복하기 위해 “해외 퍼블리싱을 지원할 때 소통에 각별히 주의를 기울여야 한다”고 조언했다. 버그 리포팅이나 운영 툴 사용법 등을 퍼블리셔에게 교육하는 것은 물론이고, 모든 피드백을 현지 퍼블리셔에 일임하지 말고 국내에서도 SNS 서비스 등을 통해 현지 유저와 교감하는 등 끊임없이 소통에 신경써야 원활한 해외 서비스 QA 업무를 수행할 수 있다.

■ 팀의 품질을 책임진다! 개발QA

엔트리브소프트 김인수 주임은 ‘QA 테스트 업무의 선봉, 개발QA의 업무’에 대해 소개했다. 그는 개발QA를 각기 다른 팀원들을 하나로 묶고 조율하는 존재로 설명했다.

일반적으로 게임QA는 별도로 QA팀이 존재하지만, 개발QA는 이와 달리 개발팀 내부에 속한 QA다. 개발QA는 한 게임의 모든 단계에 걸쳐 QA업무를 맡고, 개발팀원과도 실시간으로 소통할 수 있기에 그 게임에 대해서는 모든 것을 꿰뚫고 있다 해도 과언이 아니다. 덕분에 게임의 문제 발생을 예측하거나 문제의 원인을 파악하는 데는 따라올 사람이 없다.

일례로 <말과 나의 이야기, 앨리샤> 개발 중 특정 코스를 달리면 순위가 무조건 꼴등으로 나오는 버그가 있었다. 버그의 원인은 코스에 설치된 위치 체크 포인트가 누락돼 해당 코스의 위치 데이터가 반영되지 않은 탓이었다. 만약 개발 후 버그를 알았다면 많은 시간과 노력이 소모됐을 텐데, 다행히 개발 도중 개발QA가 버그를 파악해 문제를 해결할 수 있었다.

김인수 주임은 예비 QA들에게 ▲ 커뮤니케이션 스킬, ▲ 문서 작성 능력, ▲ 건강한 체력이라는 QA의 3가지 소양을 당부하며 강연을 끝마쳤다.

■ 베테랑 QA의 필살기, 탐색적 테스팅

넥슨 포털본부 황진석 대리는 숙련된 QA만이 쓸 수 있는 고급 테스팅 기법 ‘탐색적 테스팅’을 소개했다. 탐색적 테스팅이란 전문가가 노하우를 기반으로 직관적으로 진행하는 테스트를 일컫는다.

일반적으로 테스트는 ‘테스트 케이스(Test Case, 이하 TC)’라고 불리는 ‘미리 작성된 문서’에 따라 대상을 검증한다. 사전에 준비된 TC를 활용해 게임의 전체 분야를 검토하기 때문에 안정성이 높고 테스터의 역량이 크게 중요하지 않다는 장점이 있다.

하지만 이러한 테스트는 복잡도에 따라 TC 항목이 기하급수로 증가하고, 제품이나 프로그램의 스펙이 변경됐을 때 TC 항목을 다시 작성해야 하는 단점이 있다. TC라는 사전문서에 테스트를 의존하기에 빠른 대응이 힘들다는 점도 단점의 하나다.

일반적인 TC 테스트가 제품의 기능을 검증하는 것이라면, 탐색적 테스트는 결함을 찾는 데 집중하는 접근방법이다. 때문에 사전에 문서화된 항목보다는 테스터의 ‘발견적인 지적능력’을 중시한다.

탐색적 테스트의 기본개념은 중요도가 높은 것을 우선적으로 테스트한다는 것이다. 탐색적 테스트는 테스터의 직관과 노하우에 기반하기에 빠른 피드백이 가능하고, 중요한 복합적 결함들을 잘 찾는다는 장점이 있다. 반면 필수 테스트 항목(TC)이 없어 진행상황 파악이 힘들고, 테스트 내용이 구조화되지 않아 결함추적이나 재현이 힘들다는 단점이 있다.

황진석 대리는 탐색적 테스팅의 예로 자신이 과거 맡았던 A게임을 들었다. A게임의 우편 시스템은 한 번에 최대 50개의 우편물을 받을 수 있었고, 일반적인 기능 검증에서 문제점이 보이지 않았다.

하지만 5명의 유저가 한 유저에게 우편을 50개씩 발송할 경우, 유저가 확인하지 못한 공간에 대기 중인 예비우편물 처리에 오류가 발생하는 버그가 있었다. 이 버그는 ‘한 칸에 여러 개가 중첩되는 소비성 아이템’의 개수가 복사되는 등 복합적인 문제를 일으켰다. 만약 정식 서버에 적용된다면 게임 경제에 위협이 될 버그였지만, 탐색적 테스트를 통해 이를 미연에 방지할 수 있었다. TC가 빠트린 사항을 탐색적 테스트로 찾아낸 사례였다.

■ 통계에 매몰된 그대에게, 데이터 너머 유저를 보라

“지금 당신이 분석하고 있는 것은 데이터입니까, 아니면 사람입니까?” 넥슨 포털본부 허설 과장은 청중에게 이런 화두를 던지며 강연을 시작했다. 그는 “데이터 분석은 도착점이 아니라 유저를 이해하기 위한 출발점이다”고 강조하며 “데이터에 집착하지 말고 그 너머에 있는 유저에 집중하라”고 힘주어 말했다.

허설 과장의 강연은 ‘누구나 분석을 할 수 있었다면, 나는 분석을 하지 않았을 것이다’는 다소 도발적인 제목이었다. 그는 통계와 분석은 다르다고 강조하며, 청중에게 항상 ‘왜’라는 질문을 던지라고 주문했다. 통계가 보여주는 현상에 집착하지 말고 왜 유저가 그런 행동을 보였는지를 고민하는 게 바로 분석이라는 말이다.

만약 ‘유저 이탈률’이라는 수치가 있다면, 이 수치를 도출한 통계는 어떤 유저가 이탈한 ‘결과’를 나타낼 뿐이지 그 ‘원인’을 알려주지 않는다. 때문에 분석가는 숫자를 보지 말고 직접 유저에게 다가가 묻고 유저의 입장이 되어야만 그 원인에 접근할 수 있다.

하지만 분석가가 유저에게 다가가는 것도, 그리고 각기 다른 유저들의 입장에 서는 것도 쉽지 않은 일이다. 허설 과장은 이런 고민의 답을 ‘멀티 레이어’에서 찾았다. 유저와 유저의 관계를 조사하는 방법 중 네트워크 분석이라는 것이 있다. 이러한 네트워크 분석의 도표는 각기 다른 관계들이 ‘겹쳐서’ 형성된 관계망이다. 멀티 레이어란 이러한 ‘각기 다른 요인(=관계)들’을 말한다.