PrismML, 소형 LLM 통해 AI 사용 방식 변화 기대

핵심 정리

• 1

  PrismML가 2,225만 달러를 조달하여 LLM 크기를 줄이고 성능을 유지하려고 합니다.

• 2

  Bonsai 2 27B 모델은 Qwen3.8 27B를 5.9GB로 압축하여 메모리를 9배에서 10배 줄였습니다.

• 3

  이 모델은 원본의 벤치마킹 점수의 98%를 달성했으며, 이전 버전의 95%에서 상승했습니다.

• 4

  압축에는 평소 16비트 대신 '삼진 가중치'(+1, -1, 0의 값)가 사용됩니다.

• 5

  수십억 개의 파라미터를 가진 미래 모델이 계획되어 있으며, 보다 심화된 압축을 기대하고 있습니다.