Unsloth PR로 DeepSeek V4.1 Flash 1017 사용해 보기: 정말 쓸 만한가?

무슨 일이 있었나

일본 개발자 키시다 씨는 DeepSeek V4.1 Flash 1017 모델을 처음 돌렸을 때 너무 느리다고 느꼈습니다. 그는 코드를 고친 뒤 속도가 빨라졌고, 이어서 Unsloth가 만든 버전을 써 보았습니다. 그는 이 모델이 똑똑하고 Opus 5보다는 약하지만 Sonnet 5보다는 강하다고 말했습니다. 긴 게임 코드를 한 번에 오류 없이 작성하기도 했습니다.

핵심 숫자

• 모델 파일: Unsloth UD-Q4_K_XL, Mac Studio M3 Ultra(메모리 512GB)에서 실행
• Unsloth 버전은 10만 토큰 문맥에서도 초당 약 30토큰을 유지
• 최대 약 15만 토큰까지 시험했고, 속도는 초당 약 29토큰 근처를 유지
• 이전 vcruz 버전은 1만 토큰에서 초당 21.0토큰, 10만 토큰에서 7.0토큰으로 떨어짐
• Blender로 범선 모델을 만드는 작업이 약 4.5시간 걸렸고, 도움은 거의 필요 없었음

왜 느렸나

이 모델은 희소 어텐션(sparse attention)을 씁니다. 쉽게 말해 과거의 글자 조각(토큰) 중 골라 둔 일부만 보면 된다는 뜻입니다. 그런데 예전 코드는 모든 조각을 읽은 뒤 쓰지 않는 조각을 숨기는 방식이었습니다. 그래서 대화가 길어질수록 아주 느려졌습니다. 키시다 씨의 수정은 필요한 조각만 읽도록 바꾼 것입니다. Unsloth 버전은 여기에 더해 고른 조각을 다시 쓰기 때문에 속도가 더 잘 유지됩니다. 또한 llama.cpp에서는 일부 층을 건너뛰는 지름길 기능을 쓰지 않아서, 모델 전체를 항상 끝까지 실행한다고 합니다.

왜 중요한가

긴 입력에서도 빠른 모델은 코딩 에이전트에 특히 유용합니다. 이런 도구는 많은 문맥을 쌓아 두고 일하기 때문입니다. 이 사례는 모델이 작업 계획을 잘 세우고 보고서를 짧게 유지할 수 있다는 점도 보여 줍니다. 그러면 시간과 비용을 아낄 수 있습니다. 다만 키시다 씨는 일부 층을 건너뛰는 방식에서 모델이 반복에 빠지면, 느리더라도 전체를 돌리는 것보다 시간을 더 낭비할 수 있다고 경고했습니다.

앞으로 지켜볼 점

• Unsloth의 변경 사항이 llama.cpp 본 프로젝트에 합쳐질지
• 키시다 씨가 원하는 30만 토큰에서도 속도를 유지할 수 있을지
• 건너뛰기 설정으로 긴 입력을 처리할 때 반복 현상이 나타나는지
• 이미지, 소리, 스킬 작업과 더 큰 프로젝트에서 얼마나 잘 작동하는지