분석 잘못하면 대형 업데이트도 ‘무용지물’

■ 유저의 성비는 과연 개발에 영향을 줄까?

박세환 디렉터는 “게임로그 분석은 현재 상태를 개선하기 위한 것이며, 이를 위해서는 개선 의지와 행동 가능성이 모두 충족돼야 한다”고 말했다. 로그분석이 의미가 있으려면 로그를 분석하는 목적이 명확하고, 분석 후 조치할 수 있어야 한다는 이야기다.

그는 <앨리샤> 개발팀의 데이터 분석을 예로 들었다. <앨리샤> 개발팀은 게임성 개선을 목적으로 데이터 분석을 실시할 때 남녀 성비와 같은 유저 프로필은 조사하지 않았다. 그러한 요소들이 마케팅에 도움이 될지는 모르지만, 이를 이용해 게임을 개선할 수는 없기 때문이다. 박세환 디렉터는 “여성이나 아동들이 다른 유저군보다 게임을 못한다고 해도, 그들에게 게임에서 이득을 줄 수는 없기 때문이다”고 그 이유를 설명했다.

실제로 <앨리샤> 개발팀이 분석하는 데이터는 ‘커브의 회전반경을 기준으로 한 코스별 난이도 분석’, ‘갈림길 선택과 부스터 위치에 따른 예상 주행시간’ 등 철저하게 후속 조치를 취할 수 있는 사안들이었다.

<앨리샤> 유저들 사이에서 화제가 됐던 ‘감성 SMS’도 로그분석의 결과였다.

■ 잦은 요청은 기획자와 DBA 간 불화의 원인

박세환 디렉터는 로그 값을 DBA(데이터베이스를 운영·관리하는 사람)에게 요청할 때 자신이 원하는 포맷을 미리 만들어서 주는 게 업무의 효율성을 높일 수 있다고 강조했다.

개발팀은 <앨리샤>의 주행밸런스를 체크하기 위해 DBA에 유저들의 평균 순위를 요청했다. 하지만 분석할수록 단순하게 평균 순위만으로 원하는 결과를 추론하는 데 어려움이 있었다. <앨리샤>는 하나의 모드만 있는 게임이 아니라, 스피드전·마법전(=아이템전)·싱글플레이·AI대전 등 다양한 모드가 합쳐진 게임이었기 때문이다.

그래서 모드별로 상세한 평균 순위가 필요했고, 실력에 따라 구분되는 리그와 방 인원에 따른 등수의 세분화도 필수적이었다. 결국 초기에 바라는 결과가 확실치 않았기에 추가적인 자원이 소모된 셈이었다. 박세환 디렉터는 “이렇듯 초기 설계가 명확하지 않으면 불필요한 시간과 자원이 낭비되고, 팀원 사이의 관계도 악화된다”고 말했다.

그는 이러한 상황을 방지하기 위해선 기획자가 자신이 원하는 포맷을 미리 만들어 DBA에게 전달하는 게 효과적이라고 말했다. 기획자가 스스로 포맷을 만듦으로써 기획자와 DBA 사이에 오갈 무수한 개선작업이 기획자 내부에서 체계화되고, 이것은 곧 기획자와 DBA 간 업무 효율 상승으로 이어지기 때문이다.

 DBA는 채울 뿐…. 포맷은 기획자가 미리 만들어야 업무가 효율적이다.

■ 가정을 검증하지 않으면 대형 업데이트도 무용지물

박세환 디렉터는 문제 해결 과정에서 “기획자가 생각하는 요인이 정말 그 문제의 원인인지 데이터를 통해 검증해야 한다”고 강조했다.

지난해 5월, <앨리샤>의 대규모 업데이트에서 개발팀은 게임 오픈 한 달 후 떨어지는 동시접속자 수를 회복하기 위해 데이터를 분석했다. 개발팀이 추정한 원인은 어긋한 주행 밸런스였다. 실제로 데이터를 분석한 결과, 완주 실패 수치가 높게 나왔다. 개발팀은 이를 해결하기 위해 순위에 따른 속도 보정 등 16개의 수정사항과 9개 추가사항이 반영된 대형 업데이트를 실시했다.

초대형 업데이트도 가정 자체가 잘못됐으면 무용지물이다.

하지만 개발팀의 바람과 달리, <앨리샤>의 동시접속자 수는 일주일만 반짝 증가하는 데 그쳤다. 문제가 된 수치는 개선됐으나, 동시접속자 수에 영향을 미치지는 못한 업데이트였다.

박세환 디렉터는 “문제의 원인이라고 여겼던 수치를 데이터로 검증하지 못했기 때문이다”고 원인을 분석했다. 실제로 앞선 경우에 가정을 검증하는 과정이 포함되지 않았다. 그는 데이터는 문제의 해결보다는 원인을 찾는 데 필요하며 핵심성과지표와 데이터의 상관관계를 밝히는 것이 중요하다고 강조했다.

박세환 디렉터는 마지막으로 ▲ 분석 목적의 명확화, ▲ 기획자의 결과 데이터 포맷 작업, ▲ 가정에 대한 데이터 검증을 강조하며 강연을 마쳤다.