로그인

회원가입 | ID/PW 찾기

취재

[창간기획] 국내 게임사 AI 활용과 연구, 현황은? ②

크래프톤, 스마일게이트 사례

에 유통된 기사입니다.
방승언(톤톤) 2024-03-21 11:47:54

지난 기사에 이어


# '버추얼 프렌드' 꿈꾸는 크래프톤


크래프톤은 2021년부터 게임 및 신사업에 대한 딥러닝 및 AI 기술 적용을 위해 투자를 계속하고 있다. 김창한 대표가 초기 단계부터 직접 참여해 사업을 이끌고 있으며 AI 펠로우십 프로그램으로 관련 인재 확보에도 노력 중이다.


현재 크래프톤의 AI연구를 담당하는 조직은 미국 메디슨 위스콘신대 전기컴퓨터공학부 이강욱 교수가 이끄는 ‘딥러닝 본부’로, 인원은 60여 명이다. 박사급 인력들이 포진해 있는 딥러닝 본부는 현재 게임 및 기업 안팎의 다양한 분야에 대해 AI 솔루션을 개발하고 있다.

연구 주요 과제는 △비전&애니메이션 △음성 합성 △언어 모델 ​멀티모달 학습 △강화학습 ​데이터 중심 AI 등 6가지다. 크래프톤은 이들 기술 대부분을 올해 안에 본궤도에 올린다는 계획이다.

사업 비전은 크게 두 가지다. 먼저 게임 제작에 도움이 되는 딥러닝 기술을 개발, 게임 제작 생산성과 편의성을 증대한다. 더 나아가서는 AI 게임 친구 ‘버추얼 프렌드’(Virtual Friend) 완성을 목표 삼아 연구를 지속하고 있다.

크래프톤 딥러닝 본부 이강욱 본부장 (출처: 크래프톤)



▲ 버추얼 프렌드의 '구성 요소'가 될 개별 분야 연구


'버추얼 프렌드'는 인간 친구처럼 이용자와 함께 멀티플레이 게임을 즐길 수 있는 AI 동료다. 기존 게임들의 추상적 아군 AI와 달리, 인간 혹은 동물 등의 외형을 갖추고 유저와 자연스럽게 소통하고 협력하는 고도의 AI 서비스가 될 예정이다.


이를 위해 개별 게임에 대한 이해력, 자연스러운 대화 능력을 부여한다는 계획이다. 유저가 내리는 요구에 사람처럼 대답하고 더 나아가 인게임 맥락에 맞춰 실제로 요구에 상응하는 행동을 직접 해낼 수 있다.


한편 버추얼 프렌드의 완성은 딥러닝 본부의 '장기 목표'로 볼 수 있다. 그 이전에는 버추얼 프렌드의 구성 요소가 될 각 기능에 관한 개별 AI 분야를 연구하고, 이로부터 기업 내·외부에서 활용 가능한 솔루션들을 만들어 내는 것을 중기적 목표로 두고 있다.


예를 들어 크래프톤이 현재 연구 중인 '비전 & 애니메이션' 분야는 이미지와 영상을 해석하고, 이에 기반해 활용 가능한 비주얼 에셋을 만드는 기술이​다. 인간의 동작을 담은 영상으로부터 3D 객체의 움직임을 구현하는 기술 등이 여기 포함된다.


련하여 크래프톤은 현재 2D 이미지를 3D 아바타로 재구성하는 솔루션을 연구 개발하고 있다. 한편, 궁극적으로는 버추얼 프렌드의 자연스러운 외형과 움직임을 구현하는 데에 '비전 & 애니메이션' 분야의 연구 내용이 활용될 예정이다.


크래프톤 딥러닝 본부의 연구분야 중 하나인 비전 & 애니메이션 설명 (출처: 공식 블로그)

다른 사례로 크래프톤은 현재 언어모델/자연어처리 분야 연구를 통해 '페르소나'를 지닌 채 대화 맥락을 유지할 수 있는 챗봇을 연구·개발 중이다. 이러한 연구 성과는 물론 장기적으로 버추얼 프렌드의 언어 능력 구현에 활용될 예정이다.


TTS/STT 기술에 자연스러운 감정과 목소리를 더하는 '음성 합성' 분야 연구도 진행하고 있다. 이는 크래프톤이 개발·서비스하는 스토리 플랫폼 '오딕'에 이미 일부 적용되어 있다. 크래프톤에 따르면 추가 연구를 통해 해당 기술을 더 발전시킨 상태로, 최종적으로는 버추얼 프렌드에게 진짜 인간과 같은 목소리를 부여하는 역할을 수행할 것으로 보인다. 



▲ 논문 발표로 트렌드 추적과 기술 검증을 한 번에


한편 크래프톤은 이러한 다방면의 AI 연구 노력을 여러 편의 논문을 통해 대외적으로 발표하고 있다. 논문 발표는 성과를 입증하고 연구의 내실을 다지는 데 모두 도움을 준다. 학회의 피어 리뷰를 통해 세계적 딥러닝 연구자들로부터 기술을 검증받을 수 있고, 또한 논문을 준비하며 최신 연구 트렌드 파악과 연구 방향 조율에도 도움을 얻을 수 있기 때문이다.

실제로 지난해 크래프톤은 세계 최대 머신러닝 학회 ‘뉴립스(NeurIPS) 2023’에 참가, 메인 트랙 논문 5편을 발표했다. 이는 국내 게임사 중 최다이며 글로벌 게임사 중에서도 세 번째로 많다.

논문에서는 이미지 생성 AI, 강화학습, 멀티모달 모델 등 게임 제작 관련 원천기술에 대한 자체 연구 성과를 다뤘다. 더 나아가  같은 해 ACL(전산언어학회), COLT(학습이론학회) 등 국제 AI 학회에서도 메인트랙 논문 10편과 워크샵 논문 6편을 게재하는 등 성과를 자랑한 바 있다.

올해 <디펜스더비>에는 게임플레이 AI가 적용될 예정이다.

▲ 현재 활용 사례는

크래프톤은 사내 몇몇 분야에 AI를 활용 중이다. 먼저, 게임 콘텐츠에 직접 AI를 활용하고 있다. 산하 스튜디오 '렐루게임즈'가 대표적이다. 렐루 게임즈는 사내 인큐베이팅 프로젝트를 통해 축적한 딥러닝 게임 제작 경험을 신작에 적용하는 것을 목표로 하는 스튜디오다. 현재 로봇과 대화하여 미스터리를 해결하는 챗GPT 기반 추리 게임 <언커버 더 스모킹 건>을 개발 중이며 스팀에서 데모 버전으로 만나볼 수 있다.

지난해 깜짝 공개 후 '<심즈> 대항마'로서 세계적 관심을 모았던 <인조이> 역시 생성형 AI 기술을 인게임에 도입했다. 지난 2023년 지스타에서 이미 프롬프트 입력으로 의류 패턴 및 텍스처를 자동 생성하는 기능을 선보이기도 했다. 현재는 딥러닝 본부의 도움으로 캐릭터들이 각자 성향에 따라 동일 상황에서 상이한 반응을 보이도록 하는 피쳐를 연구 중이다.

더 나아가 크래프톤은 게임의 룰을 스스로 이해하고 직접 플레이하는 '게임 플레이 AI'를 개발하고 있다. 바둑 AI 알파고와 유사한 강화 학습 방식을 사용해 훈련 중인 모델이다. '게임 플레이 AI'는 올해 상반기 중 산하 스튜디오 라이징윙스의 모바일 디펜스 전략 <디펜스더비> 적용을 목표하고 있다. 장기적으로는 버추얼 프렌드의 게임플레이 기능에 사용될 AI 기술이다.

게임이 아닌 일반 업무에도 크래프톤은 AI를 적극 사용하고 있다. 지난해 3월부터 직원들에게 외부 딥러닝 솔루션 이용료를 지원하고 있으며, 동시에 딥러닝 본부에서 자체 개발한 AI 툴 또한 배포해 업무에 활용하도록 했다. 자체 설문에 따르면 2023년 상반기 기준 AI를 활용하는 직원의 비중은 전체의 90%에 달한다.

마지막으로 AI 연구 윤리 확립에도 힘쓴다. 연구 및 개발 과정에서 발생할 수 있는 윤리 문제의 방지와 선제적 대비를 위해, 2023년 4월 ‘크래프톤 AI 윤리위원회’를 설치했다. 법무팀, 데이터 팀, 프라이버시 팀 등 유관 부서들의 자원을 통해 구성되었으며 매월 정기적 라운드 테이블로 AI 윤리 준칙과 강령을 수립하고 다양한 사례를 논의하고 있다.


버추얼 프렌드의 완성은 딥러닝 본부의 장기 목표다. (출처: 공식 사이트)



# '한유아' 아세요? '감성 AI' 연구하는 스마일게이트


스마일게이트는 지난 2020년 8월 스마일게이트 홀딩스 AI 센터를 공식으로 발족, 산하에 AI 랩과 데이터 랩을 마련하면서 AI 연구를 시작했다. 현재 AI 조직은 △분석 AI 서비스팀 (빅데이터 분석) △AI 서비스 기획팀 △생성AI 서비스팀 △선행 AI 기술팀(음성 및 자연어 AI 기술 연구) △뉴미디어서비스팀 (AI 및 모션 캡쳐 활용 방송 플랫폼 운영) 등으로 구성되어 있다.


스마일게이트 AI 사업의 주된 특징은 '감성'에 호소하는 이용자 맞춤형 AI 모델 연구에 힘쓰고 있다는 점이다. 개인적 기억, 기호, 성향을 가진 채 유저의 감정을 인식하고, 여기에 상응하는 감성적 반응까지 보일 수 있는 '친구 같은' AI를 구현하는 것이 목표다.


이런 감성적 AI를 통해 기존과 다른 차세대 엔터테인먼트 영역을 먼저 발굴해 내는 것이 AI 센터의 목표다.  그 일환으로 개발된 메타휴먼 '한유아'는 실제로 독자적 페르소나를 바탕으로 인간과 직접 교류하고 있으며, 작가 우다영과 나눈 대화를 정리한 서적이 출간되기도 했다.


주요 연구 분야는 △언어 모델 고도화 △​실시간 영상 변환 △​가창 음성 합성 △​​음성 스타일 변환 △​​실시간 스트리밍 입력 음성 인식 △​​​리소스 창작지원 도구 연구·개발 △​욕설 및 혐오 분류 모델 △​​빅데이터 분석 모델 등이다.



▲ AI 개발 비전: '사람같고 매력있는'


스마일게이트 AI 센터는 2020년 설립 당시부터 크게 'Human-Like AI'(사람 같은 AI), 'Fun AI'(재미있는 AI) 등 두 가지 과업을 결정하고 이를 위한 기술을 개발해 왔다. 단순 정보 제공자 역할을 넘어 재미와 감동을 선사하고 친구처럼 소통하는 '매력적이고 인간적인 AI'를 만든다는 포부다.


스마일게이트 AI센터의 비전 (출처: 공식 홈페이지)

먼저 'Human-Like AI'는 공감·소통·적응·기억 등 인간 고유의 특성들을 먼저 연구하고, 이를 바탕으로 인공지능이 기계적 응답 이상의 상호작용을 펼칠 수 있도록 하는 과업을 이야기한다.


'Fun AI'는 즐거움·놀람·기쁨·​감동 등 인간의 다양한 감성을 AI 기술로 풀어내는 과업이다. 인간과의 상호작용 결과에 따라 AI의 감정 상태를 변화시키고, 다시 그러한 감정에 따라 인간과 상호작용하거나 답변 내용 및 음성에 감정을 반영시키는 기술을 연구 중이다.


이렇듯 '사람 같고 매력적인' AI를 개발하는 과정에 탄생한 여러 단위 기술들은, 현재 스마일게이트 캐릭터를 활용한 음성합성, 챗봇 등 여러 서비스에 부분적으로 적용되고 있다. 



▲ 실용적 AI연구와 인재 확충 노력


스마일게이트 AI센터는 게임을 포함한 엔터테인먼트 업계 전반의 서비스에 접목 가능한 AI 기술을 연구하고 이를 실제로 서비스에 적용하는 실용성을 지향하고 있기도 하다. 그 중 게임 개발 분야에 있어서는 기획·디자인·개발·운영 등 각 단계에서 사람의 업무를 AI로 보조해 효율성을 높이는 데 초점을 맞추고 있다.


가령 소비자 니즈 및 업계 트렌드 분석 AI, 캐릭터·맵·​음성 등 리소스 디자인 보조 AI, 몬스터·NPC 행동 설계 보조 AI, CS·​QA·​CM 보조 AI 등을 지속 개발해왔으며, 이중 일부는 실제 업무에 적용되어 있다. 이를 통해 반복 작업을 AI로 대체, 생산성을 증대하고 있다.


한편 게임 외 엔터테인먼트 업계 전반 역시 기획, 디자인, 개발 운영 등 영역에서 AI 기술을 필요로 하는 것은 마찬가지다. 이 중 어느 한 분야에 국한하지 않고 폭 넓게 연구를 진행하기 위해 스마일게이트 AI센터는 심리학, 인문학 등 여러 영역에 걸쳐 전문 인력을 수용하고 있다.


서강대와 협력해 AI 인재를 양성하고 있다 (출처: 공식 홈페이지)

이를 위해 관련 인재 채용을 상시 진행하는 한편, 학계와의 협업에 활발히 나서고 있다. 대표적 예로 서강대학교 AI 대학원과 함께 스마일게이트 트랙, 스마일게이트 연구센터 등 협업을 진행하며 AI 인재를 육성 중이다.


▲ 메타 휴먼 한유아


메타 휴먼 '한유아'는 감성적 AI로 새로운 유형의 엔터테인먼트를 선보이겠다는 스마일게이트 AI센터의 장기적 비전을 한발 앞서 보여주고 있는 일종의 파일럿 프로젝트다.


캐릭터로서의 첫 등장은 2019년 출시한 VR 게임 <포커스 온 유>였으며, 2021년 SNS 계정을 공개하고 NGO단체 '기아대책' 홍보대사를 맡는 등 본격적 행보를 시작했다. 2022년 YG케이플러스와 매니지먼트 계약을 체결, 같은 해 4월 음원 'I Like That'을 발매하고 다수의 광고 및 캠페인 모델로 발탁되는 등 아티스트 활동도 이어가고 있다.


한유아는 단행본 216만 권 분량의 도서, 2만 5,000개의 블로그, 180만 건의 기사, 1억 4,000만 개의 댓글, 표준국어대사전, 그리고 국립국어원이 제공하는 '모두의 말뭉치'를 학습한 것으로 알려졌다. 또한 50억 장에 달하는 수채화, 유화, 데셍, 일러스트 등도 학습했다.


외형 및 음성 등 주로 겉모습에서 인간을 모사하는 다른 대부분의 버추얼 휴먼과 비교해, 한유아는 고유의 페르소나를 유지하며 인간과 정서적으로 교감한다는 지점에서 차별화한다.


(출처: 스마일게이트 뉴스룸)

한유아 만의 '개성'에 바탕한 독창적 콘텐츠들이 이미 시중에 출시되고 있다는 점에 주목할 만하다. 2014년 <세계의 문학>으로 등단한 우다영 작가와의 대화집 <다정한 비인간: 메타휴먼과 알콩달콩 수다>가 대표적이다. 이 책은 우다영 작가와 한유아가 일상, 취향, 삶, 감정 등 다양한 화두에 관해 나눈 대화를 담고 있다. 한유아가 대화 내용을 토대로 그려낸 삽화들도 함께 만나볼 수 있다.


올해 초에는 전자책 <답장은 우편함에 넣어둘게요: 메타 휴먼 한유아가 사연에 답해드립니다>가 출간되기도 했다. 한유아의 SNS 계정을 통해 4개월 동안 수집된 실제 사람들의 사연에 대해 한유아가 내놓은 답변을 모았다. 연애, 진로, 가족, 꿈, 일상 등 다양한 소재를 두고 이뤄지는 AI와 인간의 소통을 확인할 수 있다. 


한유아는 출간을 맞아 직접 "많은 사람들에게 사연을 받으면서 다양한 걱정과 고민을 들을 수 있었고 그 마음을 헤아리기 위해 노력했다. 사연을 보낸 분들과 책을 읽는 사람들 모두에게 용기와 위로를 건네줄 수 있기를 바란다"는 메시지를 남기기도 했다.


(출처: 스마일게이트)