게임의 개발 과정에서 사전 테스트가 중요한 이유가 바로 이것이다. <검은방> 시리즈와 <던전앤파이터>의 데이터 분석을 담당했던 장순영 강연자. 그녀가 말하는 게임 테스트와 유저 경험의 중요성에 대한 이야기를 한 번 들어보자. / 디스이즈게임 우정혁 기자
게임에서의 UX(User Experience, 유저 경험)는 왜 중요한 걸까? 지금까지의 게임업계는 이 부분을 그리 중요시하지 않았다. 하지만, 게임 시장이 레드오션이 되며 사용자 경험이 가지는 필요성이 증가하는 추세다. 사용자 내면의 행동 원리와 심리를 파악한다면 이것을 강한 무기로 활용할 수 있기 때문이다.
유저는 게임을 처음 접했을 때, 게임에서 체험할 일에 대해 굉장한 기대를 하게 된다. 하지만 그런 기대에 못 미치게 목마나 미끄럼틀을 타는 정도의 재미만 느끼는 유저도 있고, 게임의 난이도가 만든 허들을 넘지 못한 채 그대로 포기하는 유저들도 있다. 개발자는 별 모양을 생각하며 개발을 했는데, 막상 유저가 개입되면 그 결과는 카오스가 되기도 한다.
넥슨에선 지난 1년간 포커스 그룹 테스트와 사용성 테스트를 중점으로 여러 게임의 정성적 조사를 진행해왔다. 이를 통해 알 수 있던 다양한 사실을 간단한 내용으로 정리해봤다.
■ "나한테는 꿀잼인데, 실제로 유저에겐 어떻게 느껴질까?"
새롭게 출시되는 게임들은 타겟층에 대한 반응을 예상하기 어렵다. 완성도나 레벨 디자인을 평가하는 데 있어 객관성을 확보하기도 힘들다. 개발자들은 개발 과정에서 게임에 대한 숙련자가 되기 때문이다.
이런 부분에 대해 사전 검증을 해 볼 필요가 있다. 개발자가 느끼는 재미에 대해 사전 검증을 정확히 해낸다면 런칭 방향성에 대한 확신을 굳힐 수 있고, 또 다른 방향성을 검토하는 기회도 만들 수 있다.
작년 12월에 출시한 <HIT>의 사례를 들겠다. <HIT>는 넥슨에서 야심하게 준비한 작품으로써, 당시를 풍미하던 레이븐, 세븐나이츠 등 모바일 RPG를 즐기는 유저들의 사전 반응 확인이 필요했다. 이를 위해 전반적인 게임성과 타겟 검증을 목표로 잡고 포커스 그룹 테스트를 진행했다.
테스트를 위해 네 개의 그룹을 만들었다. 그룹 1, 그룹 2, 그룹 3은 RPG 유저층을 연령, 성향별로 나누어 만들었으며 그룹 4는 캐쥬얼 장르 유저로 구성해 진행했다.
꺾은선 그래프는 중요도, 막대 그래프는 만족도를 의미한다. 막대 그래프가 꺾은선 그래프와 같거나 그 이상이라면 유저들이 게임에 만족했다는 뜻이고, 기준에 부합하지 못하면 만족하지 못했다는 의미다.
그룹 1은 모든 요소에서 불충분했단 결과가, 그룹 2, 그룹 3, 그룹 4는 그래픽, 사운드, 타격감에서 만족했다는 결과가 나왔다. 전반적 플레이 만족도에서 그룹 3과 그룹4는 기대 이상이라는 평가를 해 주었으나 그룹 1과 그룹 2는 기대에 미치지 못했단 평가를 했다.
그룹별 주관식 의견에선 모든 그룹이 섬세한 그래픽과 만족스러운 타격감을 칭찬했으나, 시나리오가 미흡하다는 평을 내린 것으로 분석됐다. 이를 통해 그래픽 퀄리티는 모두가 만족하나, 시나리오가 미흡하다는 결론을 명확하게 내릴 수 있었다. 이를 바탕으로 정식 서비스엔 스토리 텔링, 시나리오를 보강했다.
■ 여기서 어떻게 나가요? 도톨은 어떻게 주워요?
라이브 게임이나 신규 게임 모두 해당하는 고민이 많다. 우리 게임의 첫인상은 어떨까? 튜토리얼은 충분할까? 귀환유저는 돌아왔을 때 어떤 어려움을 겪을까? 신규유저가 안착하지 못하는 이유, 귀환유저들이 이탈하게 되는 이유는 지표상으론 알 수 없는 경우가 많다. 그렇기에 이런 것들을 찾아내는 과정은 굉장히 중요하다.
<바람의 나라>는 올해 서비스한 지 20주년이 되는, 연배로 치면 조상님 뻘이 되는 게임이다. <바람의 나라>를 테스트하며 주로 살펴봤던 것은 조작과 시스템 변화에 대한 부분이었다. 조작 방식에 대한 신규유저들의 경향을 파악해보고, 바람의 나라를 오래 떠나있던 유저들이 겪을 어려움을 확인해보는 것을 목표로 잡았다.
테스트를 진행한 신규 유저들의 이탈 포인트는 다양했다. 초반 15분 이전엔 조작에 대한 어려움이 이탈 포인트가 됐으며, 중반 이후에도 스킬 조작법이나 가혹한 아이템 드랍율이 유저들을 이탈하게 하였다.
한 유저는 캐릭터를 생성한 뒤, 처음 입장한 장소에서 약 7분가량을 헤매고 게임을 진행하지 못했다. 맵의 중앙에 있는 낙랑의 여인에게 대화를 걸고, 대사를 선택해야 게임을 진행할 수 있는 상황이었는데, 대사를 선택하는 방법을 몰라 오랜 시간 게임 진행이 막혀버린 것이다.
아이템 루팅 튜토리얼 과정에서도 비슷한 유저가 발견되었다. 해당 맵에선 도톨 위로 올라가 쉼표 버튼으로 줍는 퀘스트가 주어졌었다. 이 과정에서 유저는 도톨 위로 올라간 뒤 무의식적으로 마우스를 조작해 도톨을 줍는 모습을 보였다. 이 유저는 몇 번의 실패를 겪은 뒤에야 키보드 조작에 대한 내용을 인지하고 퀘스트에 성공할 수 있었다.
이런 무의식적 조작 방법은 스킬 사용에서도 나타났다. <바람의 나라>는 숫자키로 스킬 선택, 텝키로 타겟팅, 엔터키로 스킬을 사용하는 방식을 가지고 있는데, 대다수의 유저가 숫자키로 스킬을 선택하곤 마우스로 스킬을 사용하려는 모습을 보였다. 이 부분에서 반복적인 실패를 경험하고 나서야 키보드를 활용한 스킬 사용을 익히게 되었다.
■ 비영사천문이 사라졌어요.
장기 이탈 유저가 귀환했을 때, 어떤 부분에 포인트를 두고 불편함을 느끼는지 확인해본 결과도 조사했다.
이탈 기간에 서버 통합이 진행, 원치 않는 서버에 가게 되어 불쾌감을 나타내는 유저도 있었고, 본인이 배운 스킬이 초기화되거나 사라져 혼란스러워하거나 항의하는 유저도 있었다. 테스트 중반이 지나도 변화된 시스템에 적응하지 못하는 유저들이 많았다.
한 유저는 "비영사천문"이라는 스킬이 사라졌다며 오랜 시간 해당 스킬을 찾아 헤맸으며, 자기가 집에서 접속했다면 비영사천문이 없는 것을 보고 게임에서 이탈했을 것이라 이야기하기도 했다.
■ 롱텝? 그게 뭐에요?
<포코롱 던전>은 퍼즐을 맞추어 몬스터를 공략하는 퍼즐 RPG 게임이다. 일본에서는 이미 1년 정도 서비스를 진행하기도 했다. <포코롱 던전>은 일본에서 만들고 서비스하던 게임이었기에 국내 정서와 사용성이 어느 정도 차이가 있는지 탐색하는 것이 주요 과제였다.
먼저 <퍼즐앤드래곤> 유저들과 이외의 다른 퍼즐 게임을 즐기는 유저들을 대상으로 사용성 테스트를 진행해보았다. 게임을 직접 플레이하기 전, 프로모션 영상을 관찰하게 하고 인터뷰를 받은 결과 "퍼즐을 이어 적을 공격하는 것이 신선하다.", "흔히 볼 수 있는 퍼즐 RPG인 것 같다.", "친숙하다."라는 의견을 얻을 수 있었다.
하지만 유저들이 <포코롱 던전>을 플레이해 본 후의 결과는 달랐다. "공격 방식이 익숙하지 않다.", "게임 룰이 어렵다." 등의 반응이 나타났다. 특히 "퍼즐을 맞추는게 먼저인지, 몬스터를 해치우는게 먼저인지 모르겠다"라는 의견이 매우 많았다. 게임의 목표를 명확하게 제시하지 못한 것이다..
또 한 가지 발견된 문제는 롱텝 조작에 관련된 내용이었다. 롱텝은 화면을 길게 터치하는 액션을 의미하는데, <포코롱 던전>의 많은 정보는 롱텝 조작을 통해 확인할 수 있도록 되어 있었다. 롱텝 조작이 익숙하지 않은 국내 유저들은 정보를 습득하는데 어려움을 겪는 모습을 보였다.
이를 통해 <포코롱 던전>은 게임의 목표를 더 명확히 설정해야 한다는 것과, 국내 유저들을 위한 롱텝 가이드를 추가해야 한다는 결론을 얻을 수 있었다.
■ 유저들은 생각보다 튜토리얼을 더 어려워했다.
라이브 서비스를 시작하고 2년만 지나도 게임 내 콘텐츠가 누적되어 튜토리얼에서 알려줘야 하는 내용이 많아지게 된다. 그렇기에 개발팀이 의도한 대로 유저가 게임 콘텐츠를 학습할 수 있는지에 대한 검증하는 과정이 매우 중요하다.
<마비노기>는 라이브 서비스가 시작된 지 12년째를 맞고 있는 굉장히 오래된 게임이다. 그만큼 엄청난 콘텐츠가 누적되어 새로운 튜토리얼이 필요한 상황이었고, 만들어진 튜토리얼대로 유저들이 학습하는지 확인하는 과정이 필요했다.
먼저 소규모 포커스 그룹 테스트를 진행했다. 이모티콘이 그려진 설문지를 주고 단계별로 감정을 체크하게 했다. 해당 결과에선 긍정적인 포인트와 부정적인 포인트가 나누어졌다. 귀여운 NPC들을 만날 때나 새로운 지역을 경험했을 땐 긍정적인 피드백이 나왔는데, 직접 스킬을 사용해보는 구간에선 감정선이 굉장히 하락했다.
던전 플레이 과정에서도 감정선이 하락했지만, 펫 시스템을 경험하는 부분에 가자 감정선이 크게 상승했다. 감정선이 하락하는 부분에 게임적 허들이 있다고 추정할 수 있었다.
포커스 그룹 테스트가 진행되기 이전, 개발팀에선 튜토리얼에 소요되는 시간을 30분으로 예상했었다. 하지만 실제 유저들은 약 2시간 정도를 사용해 튜토리얼을 완료하는 모습을 보였다. 이를 통해 튜토리얼에서는 정말 필요한 기능만 넣고, 나머지는 생활 속에서 습득할 수 있도록 퀘스트를 통해 학습시키자는 중간 결론을 얻었다.
■ 여긴 어디? 나는 누구?
이후엔 사용성 테스트를 진행했다. <마비노기>에선 걷기, 탈 것, 아이템, 포털, 스마트 콘텐츠 총 다섯 개의 이동 수단이 있다. 특히 스마트 콘텐츠는 초심자를 위한 가이드 요소로 순간이동 기능이 탑재되어 있었다. <마비노기>에선 초심자에게 스마트 콘텐츠를 사용하는 것을 적극적으로 권하고 있었다.
초심자는 튜토리얼을 진행하며 다섯 가지 이동 수단에 대한 안내를 받을 수 있고, 이후 던바튼에서 타라까지 이동하라는 상황을 제시받게 된다.
A유저는 걷는 방법을 택해 15분을 걸려 목적지에 도착했다. B유저는 탈것의 존재를 기억하고 이를 이용해 10분을 걸려 목적지에 도착했다. B유저가 도착 시각을 5분 단축하긴 했으나, 개발팀은 10분 역시 충분히 긴 시간이라 판단했다. 그리고 이를 해결하기 위한 패치를 진행했다.
패치 후 C유저가 테스트를 진행했다. C유저는 A유저와 같이 걸어가는 방식을 선택했다. C유저가 걷기 시작한 지 10분 정도 지나자 튜토리얼 NPC가 스마트 콘텐츠에 대한 이야기를 꺼냈다. C유저는 이 메시지를 확인하자마자 스마트 콘텐츠를 이용해 10초 만에 목적지에 도착했다.
유저들은 스마트 콘텐츠에 대한 내용을 기억하고 있지만, 이를 이동수단으로 떠올리지 못했다. C유저는 이 이후로 스마트 콘텐츠를 잘 활용해 이동을 진행했다. 게임 팁으로 다양한 이동 수단을 경험할 수 있게 하자 결정했다.
D유저에겐 퀘스트를 받은 직후 순간 이동 아이템이 지급되도록 해보았다. 튜토리얼 NPC가 인벤토리에 아이템이 있다는 정보를 출력하게 했다. D유저는 바로 인벤토리를 열고 아이템을 사용해 목적지에 도착했다.
가이드 강화를 통해 15분 걸리던 이동 시간을 10초로 단축하는 데 성공했고, 명확하게 파악한 요소들은 작은 개선으로도 큰 효과가 있다는 것을 확인했다.
■ 던전 출구를 찾아서
일반적인 MMORPG에서 던전을 나갈 땐 필드의 게이트를 통해 출입하는데, <마비노기> 역시 이와 크게 다르진 않았다. 하지만 몇몇 특수한 케이스가 존재했는데, 특수 던전이 바로 그 부류였다. 특수 던전에서 나가기 위해선 오른쪽 위의 출구 버튼을 눌러야 한다.
던전이 클리어 됨과 동시에 출구 버튼에 대한 안내 메시지가 출력되긴 했다. 하지만 몇몇 유저가 안내를 놓치고 던전을 나가지 못하는 상황이 발생했다. 한참을 헤매던 유저들은 결국 스마트콘텐츠를 이용해 던전을 탈출했다.
개발팀은 이를 해결하기 위해 던전 클리어 시 오른쪽 위에 이펙트가 있는 팝업이 노출하고, 유저가 던전을 나가기 전까지 계속해서 확인할 수 있는 장치를 마련했다. 이 테스트를 통해 개발팀이 생각하는 것과 실제 유저들의 행동 사이에 어느 정도 차이가 존재한다는 사실을 파악했다.
■ 날아보고 싶어요
예상외의 효과를 발견했거나, 생각하지 못했던 그런 상황이 발생하기도 했다. <마비노기>의 튜토리얼을 진행하다 보면 후반부에 "독수리" 펫을 지급받을 수 있다. 독수리는 비행 기능을 가지고 있는 펫이다.
독수리 펫을 지급받은 유저는 당연히 비행을 시도했지만, 해당 펫을 지급받는 지역은 비행이 불가능한 지역이었다. 유저는 "이곳은 비행이 금지되어 있는 지역입니다."라는 메시지를 볼 수밖에 없었다. 이 유저는 테스트가 끝난 뒤 주어진 자유시간에 비행 가능 지역을 찾아다녔다.
테스트에 참여했던 다른 유저 역시 자유시간에 비행 가능 지역을 찾아다니는 모습을 보여줬다. 개발팀에선 비행 가능 구역에서 독수리가 지급될 수 있도록 튜토리얼을 바꿨다. 이를 통해 독수리 지급과 같은 물리적 보상 말고도 감성적 보상 역시 중요하다는 사실을 알아냈다.
■ 츤츤데레에서 츤데레로
마지막 사례이다. 이번 테스트 사례는 이번 달 출시한 메달 마스터즈의 메인 NPC에 관한 내용이다. 이 NPC는 "츤데레"라 불리는 성격을 가지고 있는 캐릭터였다.
이 NPC를 처음 만난 유저들은 굉장히 상반된 반응을 보였다. 해당 NPC를 때리고 싶어 하고, 게임을 하기 싫어졌다 말하는 유저가 있었다. 반면 NPC들은 대개 친절하기만 해서 재미가 없는데, 이 NPC는 신선하고 귀엽다 말하는 유저도 있었다.
이 문제가 발생한 원인을 대사라 생각하고, 이 NPC의 대사를 조금 더 순화했다. 게임의 이미지를 대표하는 NPC가 게임이 하기 싫어지는 대사를 하는 것이 문제라 판단했다.
■ 강연을 마치며
"답정너"라는 말이 있다. 사전적 의미로는 "답은 정해져 있고 넌 대답만 하면 돼"라는 뜻이다. 이런 상황이 벌어져서는 안 된다. 의도치 않았더라도 유저들이 게임 서비스를 일방적으로 받아들이게 된다면 언젠가 유저들의 목소리를 들을 수 없게 된다. 답은 유저에게 있고, 우리는 귀를 기울여야 한다.
유저들의 목소리에 귀를 기울여야, 별 모양으로 생각하고 개발했을 때 카오스가 나오는 일이 없을 것이다. 이를 마음에 담아둬야 다채롭고 아름다운 별들로 결과가 이뤄질 수 있을 것이다.
디스이즈게임 댓글 ()
디스이즈게임
