던전앤파이터, 통계로 개발팀을 설득하다

■ 통계 분석에는 통계적 판단이 중요해

게임 운영에는 숫자와 관련된 세 가지 항목이 필요합니다.

UV와 동시접속자, 그리고 통계입니다. UV는 유니크 비지터, 즉 중복 접속을 제거한 접속 계정 수이고요.

동접은 다들 아실 테고 나머지가 통계인데 사실 통계는 숫자들의 모임일 뿐, 어렵거나 대단한 게 아닙니다.

일반적으로 수치를 얘기할 때 ‘보통’을 말하는 게 평균입니다. 아침에 출근할 때 ‘보통 얼마가 걸린다’고 꺼내는 것처럼요.

여기서 하나의 예를 들어보겠습니다. 이건 <던전앤파이터>의 4월 초 동시접속자 수를 보여주고 있습니다. 빨간색의 2009년에 비해 파란색의 2008년은 비약적으로 증가했습니다. 바로 2시간 동안 경험치 2배와 아이템 드랍율 2배가 적용된 이벤트가 있었기 때문이었죠.

최고 동시접속자 수가 뛰어오른 이유는 이벤트 때문이었다.

그런데 당시 UV도 상당히 올랐습니다. 보통 유저들이 아무리 버닝해도 UV가 오르기 힘든데 수치만 봐서는 원인이 전혀 이해가 되지 않았습니다. 과거의 데이터와 비교해 봐도 알 수가 없었죠. 하지만 나중에 알아 보니 그 날은 국회의원 선거일이었습니다.

UV까지 덩달아 오른 이 날은 국회의원 선거일, 즉 휴일이었다.

통계 분석에는 직관적 판단과 통계적 판단이 있습니다.

직관적 판단은 상식이나 경험 등에 의해 빠르게 판단하는 것입니다. ‘내가 해 보니 이렇더라’고 쉽게 판단하는 거죠. 그리고 통계적 판단이 바로 저희가 하는 일입니다. 이런 저런 자료들을 비교해 결과를 만드는 거죠. 수치적으로 분석한 자료입니다. 실제 업무에는 통계적 판단이 쓰입니다.

예를 들어 시험 때엔 지표가 하락할까요? 아닙니다. 상승합니다. 시험 전날까진 떨어지다가 시험 첫날부터 상승합니다. 왜 그럴까요? 그 전에는 야간자율학습이나 부모님의 압박 등으로 게임할 시간이 없거든요. 그래서 첫날에 시험도 일찍 끝나니 게임을 하는 거죠. 즉, 지표는 시험보다 시간에 영향을 받습니다.

그리고 연중 최고 지표는 언제 찍을까요? 방학이나 명절이 아니고 바로 크리스마스입니다. 특히 24일부터 26일까지 계속 즐기는 분들에게 정말 감사드립니다. 이런 지표를 근거로 하는 게 통계적 판단입니다.

크리스마스에 열심히 게임을 즐기는 솔로들 덕에 연중 최고 지표를 찍는다.

■ 통계를 위한 가설 설정 세 가지

그리고 통계를 위한 가설 설정의 기준이 필요합니다. 보통 세 가지가 쓰입니다.

- 첫 번째로 커뮤니티 혹은 이슈에 의한 설정입니다.

보통 게임 커뮤니티에는 콘텐츠 업데이트 등 여러 가지 이슈가 있죠. 하지만 시간이 지나면 어느 한 가지 이슈로 몰리게 됩니다. 그래서 그 안에서 다른 이슈를 파악하려면 시간이 많이 흘러야 하기 때문에 상황 대처가 늦고 객관적이지 못합니다.

그때가 되면 정말 싫은 사람들은 게임에서 이탈하고 남은 사람은 마니아인 거죠. 그때서야 반응을 보고 개선해야 겠다며 바꾸면 늦은 겁니다. 객관적이지 못한 방법입니다.

- 두 번째로 지표에 의한 설정입니다.

우리는 유저들이 게임에 얼마나 관심이 있나 봐야 합니다. 관심지수로 보면 빨간색 밑으로 내려가면 조만간 이탈한다는 얘기입니다. 파란색 위는 관심이 높다는 뜻이죠. 보통 방학 때 파란색에 근접하고 개학 때 빨간색까지 갔다가 다시 올라옵니다. 그 기간이 채 한 달을 안 가죠.

그만큼 커뮤니티보다 대응이 빠르고 객관적 결과 도출이 가능합니다. 물론 과거 데이터와 비교도 가능하고요.

하지만 분석 기간이 몇 주 정도 필요하고, 가끔 모르고 넘어가는 경우가 발생합니다. 하루에 보는 지표가 몇 십 가지인데 실수로 빼먹고 가는 수가 있거든요. 그래서 다른 건 멀쩡한데 한두 개의 지표에서 문제가 생기는 경우가 있습니다.

주 단위의 관심지수. 3월 초부터 떨어지던 관심지수가 한 달이 되자 다시 상승한다.

- 세 번째로 게임에 대한 지식을 바탕으로 한 설정입니다.

<던전앤파이터>의 예를 들죠. 각 스테이지에는 보통 4단계의 난이도 구분이 있습니다. 난이도가 올라갈수록 어려워지죠. 그래서 유저들도 어렵다는 걸 압니다. 그러면 클리어 성공률은 당연히 킹이 낮을까요? 아닙니다. 노멀이 훨씬 낮습니다. 지표 분석으론 이런 결과를 얻을 수 없죠.

그 원인은 유저의 숙련도입니다. 최고 난이도로 플레이할 때 유저는 이미 게임에 익숙해져 있기 때문이죠. 이런 건 수치로 표현하거나 분석이 어렵습니다. 직접 해 봐야 압니다.

게임 이해도를 바탕으로 한 가설 설정을 통해 더 정확한 결론을 도출하는 거죠. 다른 업체는 운영팀에게 게임을 못하게 하는 경우가 많은데 실제론 많이 해 봐야 한다는 게 제 생각입니다.

노멀 단계의 성공률보다 킹 단계의 성공률이 훨씬 높다. 이유는 익숙함 때문이다.

■ 통계 분석과 전략 적용을 위해 개발팀을 설득하라

가장 중요한 것은 통계 분석 혹은 전략의 반영입니다. 담당자로서 개발팀을 설득시키는 일이 가장 어렵습니다. 서로의 결과물에 대한 자신감이 있어 갈등이 있기 마련이죠. 이를 해결할 수 있는 방법은 바로 신뢰와 공동의 목표입니다.

예전에 ‘세컨드 임팩트’ 업데이트로 최고 레벨을 확장한 적이 있습니다. 이전까지만 해도 최고 레벨을 찍어도 보람이 없다는 얘기가 많아서 던전을 어렵게 하지만 희소성을 갖춘 콘셉트로 준비했고, 유저들도 이를 인정하고 동의했습니다. 그에 대해 이견을 제시하지도 않았죠.

하지만 업데이트 한 달 만에 UV가 떨어지기 시작했습니다. 이를 분석한 결과, 원인은 난이도와 보상이었습니다. 난이도는 높아졌지만 보상은 그보다 낮다는 데서 충돌이 생긴 거죠. 그리고 소리 없는 이탈이 생겼습니다. 유저가 해 보니 어려웠고 보상 수준을 받아들일 수 없었던 겁니다.

이 부분에서 개발팀을 설득하는 게 참 힘들었습니다. 하지만 분석 결과를 도입, 각성 업데이트를 추가하고 이탈 원인을 개편한 덕분에 엄청난 결과를 얻었습니다. 성공적인 일이었죠. 이로 인해 신뢰는 더 쌓였습니다. 이런 것이 좋은 운영에 필요한 부분입니다.

푸른색 부분이 각성 업데이트 이후 시기. UV가 회복된 것을 알 수 있다.

게임 운영에서 통계란 어떤 의미일까요? 바로 과거 사건의 분석을 통해 올바른 방향을 정하도록 돕는 일이라고 생각합니다.

개발자와 운영자로 일하면서 많은 선택을 할 텐데, 그때마다 ‘나는 누군가, 또 여기는 어딘가’라는 걸 많이 느낄 겁니다. 그렇다고 해서 완벽한 길로 인도하진 않습니다. 좀 더 좋은 길을 넘어지지 않고 가도록 몇 가지의 길을 조금 밝게 보여줄 수 있을 뿐입니다.

게임 통계는 더 나은 게임을 만들고 더 나은 운영을 하게 합니다. 그리고 게임은 더 나은 세상을만들 겁니다.

몇 가지의 길을 조금 밝게 보여 주는 것이 통계다.