SenseTime, 레이어를 재사용해 더 깊은 처리를 하는 90억 파라미터 AI 모델 오픈소스 공개

무슨 일이 있었나

SenseTime은 10월 30일 'SenseNova Loop-9B-Preview'라는 모델을 공개했다고 발표했습니다. 이 모델은 글과 그림을 입력받고, 글로 답합니다. 문서 이해, 코딩, 외부 도구를 쓰는 일에 쓸 수 있습니다. 핵심은 같은 블록을 재사용하는 것입니다. 모델 안의 디코더 층 24개를 한 묶음으로 두고 두 번 돌립니다. 이렇게 하면 모델 크기를 크게 늘리지 않고도 계산 경로를 더 깊게 만들 수 있습니다.

주요 숫자와 사실

• 매개변수(모델이 학습으로 배운 숫자 값) 약 90억 개
• 디코더 층 24개를 두 번 실행
• 최대 262,144개의 토큰(글자 조각)을 한 번에 다루도록 학습 설계
• 모델 가중치, 실행 안내, 학습 안내를 공개
• 라이선스는 Apache 2.0

처음 보는 사람을 위한 배경

보통 AI 모델을 더 똑똑하게 만들려면 층을 더 쌓거나 크기를 키웁니다. 그러면 저장 공간과 계산 비용이 커집니다. 이번 방식은 같은 층을 다시 쓰는 방법입니다. 그래서 모델 파일을 두 배로 늘리지 않고도 처리 깊이를 키울 수 있습니다. 학습 데이터에는 글, 그림, 코드, 도구 사용 예시가 함께 들어갔다고 합니다.

왜 중요한가

모델 가중치와 학습 안내가 공개되어, 누구나 내려받아 써 보고 연구할 수 있습니다. 작은 모델로도 깊은 계산을 시도할 수 있다는 점이 눈길을 끕니다. 다만 이 기사는 성능 비교 결과를 싣지 않았으므로, 실제로 얼마나 좋은지는 직접 확인해 봐야 합니다.

앞으로 지켜볼 점

• 다른 개발자들이 실제로 써 보고 내놓는 성능 평가 결과
• 같은 층 반복 방식이 다른 모델에도 퍼질지 여부
• 정식 버전(프리뷰 이후) 출시 여부