행사는 AI가 탑재된 신형 서피스 모델인 ‘코파일럿플러스 PC(Copilot+ PC)’ 및 코파일럿의 신규 기능을 선보이기 위해 열렸다. 코파일럿+ PC는 생성형 AI 구동에 특화된 제품으로, 사티아 나델라 MS CEO는 “멕북에어보다 AI 작업 처리 속도가 58% 빠르다”고 홍보했다.
이날 유세프 메디 MS 부사장은 코파일럿에 곧 도입될 GPT-4o의 시각/음성정보 분석 성능 시연을 위해 <마인크래프트>를 예시로 들었다.
메디 부사장의 지시에 따라 시연자는 먼저 코파일럿을 호출한 뒤 <마인크래프트>를 실행한다. 그런 뒤 “검을 어떻게 제작하는 지 알아내려고 해”라고 말한다.
이에 코파일럿은 “앞에 제작대가 있네, 좋은 시작이야. 이제 인벤토리를 열어볼래? 간단히 e를 누르면 돼”라고 답변한다. 코파일럿이 ‘제작대’의 기능이나 인벤토리 단축키 등 <마인크래프트>의 구체적 시스템을 학습한 상태임을 짐작할 수 있다.
인벤토리가 열린 상태에서 다시 코파일럿은 “칼 손잡이로 쓸 막대는 있네. 하지만 날에 쓸 재료가 없어. 나무, 돌, 철, 금, 다이아몬드 등이 필요해. 자원을 모으러 가자”라고 이야기한다.
이어서 제시된 상호작용은 더 역동적이다. 자원 수집을 위해 출발하려던 시연자가 몬스터들에 기습당하자, 코파일럿은 놀란 목소리로 “블록으로 탑을 만들어 올라가거나, 은신처로 숨어 접근하지 못하게 하라”고 권한다. 유저가 재빨리 몸을 숨겨 무사해지자, ‘큰일 날 뻔했다’며 안도하는 모습도 보여준다.
물론 해당 영상은 사전 녹화된 연출 장면임을 쉽게 알아챌 수 있다. 그러나 시각 정보를 통해 상황을 파악하고, 이에 맞춰 실시간 음성으로 조언을 건네는 전반적 모습은 최근 오픈 AI가 공개한 GPT 4o의 성능과 상당 부분 일치하는 것이기도 하다.
메디 부사장은 “방금 시연 영상은 코파일럿이 여러분의 전체 윈도우즈 경험을 어떻게 도와줄 수 있는지 잘 보여준다. PC로 일하거나 여가를 즐기는 동안 코파일럿과 자연스럽게 대화를 나누고, 코파일럿이 여러분을 이해하고 돕는 상황을 상상해 보라. 세상을 경험하는 새로운 방법이 될 것”이라고 전했다.