고개와 얼굴
고개를 돌리면 얼굴이 평면이 아니라 입체처럼 따라옵니다. 눈, 눈썹, 입, 앞머리가 각자 다른 깊이로 움직입니다.
모치 MOCHI
먼저 말을 걸고, 화제를 이어 가는 AI 버튜버.
모치는 질문을 기다리지 않고 먼저 말을 걸고, 하던 이야기를 이어 가는 한국어 AI 버튜버입니다. 두 가지를 만들고 있습니다. 움직이는 아바타, 그리고 그 아바타가 방송에서 말하게 하는 프로그램입니다.
아바타: 그림 한 장을 움직이는 모델로
레이어 98장으로 나뉜 그림 한 장을 Claude가 움직이는 Live2D 모델로 만들었습니다(리깅). 사흘 동안 23번 고쳐 만들었습니다.
눈과 입
깜빡임, 눈웃음, 시선, 말할 때의 입모양.
흔들림
머리카락, 리본, 소매, 날개, 더듬이가 움직임을 따라 흔들립니다(물리).
표정
웃음, 눈웃음, 화남, 난처함, 놀람, 수줍음. 표정 6개와 대기 모션.
Claude가 Live2D 편집기를 다루는 세 가지 방법
- 01
화면을 직접 조작
사람처럼 편집기 화면을 보고 메뉴를 눌러 구조를 만듭니다.
- 02
편집기에 연결
편집기가 여는 연결 통로(API)로 파츠와 값을 읽고 씁니다.
- 03
모델 파일을 직접 수정
수백 개의 움직임 값은 모델 파일을 열어 계산한 숫자로 채웁니다.
편집기 없이 포즈를 확인하는 미리보기 프로그램도 Claude가 만들어 씁니다. 그림 자체의 수정은 사람이 합니다.
방송 프로그램: 읽고, 고르고, 말한다
채팅을 읽고, 무엇에 반응할지 고르고, 대사를 만들고, 목소리와 입모양으로 내보냅니다.
먼저 말 걸기
채팅이 없어도 화제를 꺼내고 하던 이야기를 이어 갑니다.
방송 상황에 반응
후원, 구독, 팔로우를 당사자 이름으로 받습니다.
말한 것만 기억
실제로 소리로 나간 대사만 기억에 남기고, 같은 말의 반복을 막습니다.
운영자 화면
방송하는 사람이 일시정지, 조용히, 수다스럽게를 누르는 조종 화면.
무엇에 반응할지 고르는 회로
반응을 고르는 부분에는 공개된 초파리 뇌 배선 지도(커넥톰, FlyWire)에서 가져온 회로를 실험적으로 씁니다. 이 회로는 말을 이해하지 않습니다. 말의 뜻을 읽고 대사를 쓰는 것은 언어 모델이고, 회로는 주어진 신호에서 누구에게 반응할지와 말할지 말지를 고릅니다. 실제 배선이 다른 방식보다 낫다는 것은 우리 실험에서 확인되지 않았습니다.
Claude가 하는 일
- Live2D 모델의 리깅 전체: 구조, 움직임 값, 물리, 표정, 내보내기
- 방송 프로그램의 코드 작업: 기능 추가, 오류 수정, 자동 시험 365개
- 원인을 추측하지 않고 재서 찾기: 한국어 대사에 다른 언어가 섞이는 문제를 측정해 원인을 찾고 막았습니다
지금 상태
개발 중입니다. 대화, 음성, 아바타 입모양까지 한 PC 안에서 동작합니다. 방송 플랫폼의 채팅 연결은 아직 없고, 모델의 그림도 고치는 중입니다.