[GDC 2024] 게임과 인공지능, 어디까지 왔나? ②

줄리안 토겔리우스 뉴욕대학교 부교수 겸 modl.ai 연구이사

LLM(Large Language Model)은 기존의 언어모델보다 더 많은 데이터를 학습한 '대규모' 모델로 2023년 ChatGPT의 등장과 함께 산업의 트렌드가 되었다. LLM을 연구 중인 줄리안 토겔리우스(Julian Togelius) 뉴욕대학교 부교수 겸 modl.ai 연구이사는 GDC에서 LLM을 사용한 레벨 생성을 주제로 강연했다. 그는 현재 레벨, 시나리오, 퀘스트, 아이템을 LLM 모델을 통하여 생성하는 기술을 연구 중이다.

본격적인 소개에 앞서 그는 ChatGPT로 소코반 게임을 만드는 과정을 소개했다.​ 개체를 움직여 상자를 목적지에 밀어넣는 간단한 게임으로 고전적인 장르에 해당한다. 토겔리우스가 요구했던 것은 상자 하나를 목적지에 넣고, 레벨이 올라감에 따라 목적지까지 가는 길이 어려워지는 미로 형태의 소코반이었다. 

그러나 ChatGPT는 똑같은 미로에 상자를 2개 추가하는 등 기획 의도와는 다른 결과물을 내놓았다. 상자가 하나인데 움직이는 객체가 2개인 경우도 있었다. 멀티플레이나 <바바 이즈 유> 같은 독특한 기획을 상정하지 않은 경우라면, 이 게임은 성립되지 않는다.

플레이어가 움직이는 객체가 2개이고 상자가 1개라면 게임이 성립되지 않는다.

그의 발언에 따르면 LLM은 "사물을 연관시키고, 웹 수준의 지식에 대한 추론을 수행하는 데에는 대단히 능숙"하다. 하지만 예에서 본 것처럼 ChatGPT​은 길찾기 같은 레벨디자인에는 미숙한데, 그것은 이 모델이 가능성이 가장 높은, 합리적으로 보이는 답을 내놓기를 바라는 차원에서 훈련받았을 뿐이기 때문이다. 즉, '레벨이 올라감에 따라 길찾기의 난도가 올라가는 게임'을 내놓도록 학습되지 않았기 때문이다.

이럴 때 LLM 사용자에게 요구되는 역량이 바로 파인 튜닝, 즉 LLM을 자신이 원하는 대로 학습시키는 것이다. 이 파인 튜닝은 입력값에 조건을 확실하게 제시하는 방식으로 이루어진다. 이를테면 '상자는 반드시 1개여야만 한다'는 조건을 입력함으로써 LLM로 하여금 상자를 2개 이상 만들지 않도록 제약을 거는 것이다.

'이럴 거면 LLM 없이 게임을 만들겠다'는 기획적 편의와는 관계없이, 연구자의 입장에서는 기존의 머신러닝과 검수자의 파인튜닝을 통해 발전적인 탑뷰 크롤러 게임 모델을 만들 수 있다. 토겔리우스와 연구진은 소코반 던전 생성 모델을 만들었다. 현장에서 시연된 바에 따르면, '바다와 섬을 만들어 줘'라고 검색어를 입력하면 즉석에서 결과물이 생성되며 캐릭터를 그곳으로 이동시킬 수 있다. 

그가 시연한 소코반 LLM. 프롬프트를 입력하자 이내 맵이 생성됐다.

개발자가 후에 소스코드를 열 수 있게 된다면, 몬스터와의 대응, 물에 못 들어가는 기믹, 대미지와 목숨의 갯수 같은 변수를 추가하면 조금 더 그럴싸한 게임이 나올 것이다. 그리고 이 모델은 LLM의 강점인 강화 학습을 통해서 장르의 변주에 대해 더 빠르게 학습할 것이다. 토겔리우스는 "대규모 신경망은 지속적인 훈련으로 더 작고 빠른 네트워크를 형성할 수 있다"라는 자신의 가설을 설명했다.

현재 미국의 AI 연구진은 이와 유사한 LLM을 다수 연구 중이다. 학계에는 <슈퍼마리오> 맵 생성 모델이 발표됐으며, 특정 대상에 특정한 줄거리를 던지면 그것을 게임 내의 기믹으로 학습하고 결과물에 반영하는 모델 또한 연구 중이다. 그렇게 된다면, 게임을 LLM으로 제작하고, 거기에 프롬프트 입력으로 스토리를 입력하면 거기에 따라서 세부 내용이 조정되는 파이프라인이 만들어질 수 있다.

물론 이 과정은 '알파고'의 바둑 대국처럼 완전히 스스로 이루어지는 것은 아니므로 검수자가 세계관과 설정, 입력 결과물에 '붕괴'는 없는지 계속 확인하고 고치는 '파인 튜닝'의 과정이 이루어져야 할 것으로 보인다. 

<슈퍼마이로>의 맵 제너레이터 논문. 맵을 프롬프트로 생성하는 연구 내용이 담겨있다.

그는 게임 생성 LLM과 스토리텔링이 결합하는 파이프라인이 가능하다고 주장한다.