arXiv 2610.30949

IQuest-Q1: 에이전트형 CLI 시스템을 위한 기반 역량 고도화

IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems

AI2026년 10월 22일추천 53

저자: A. Jian Yang, An Huang, Bo Dan, Chen Mu, Chengran Yang, Chuan Shi, Feng Chang, Hongxin Li +169

개요

저자들은 총 320B 파라미터(활성 15B)의 희소 Mixture-of-Experts 에이전트 기반 모델 IQuest-Q1을 제시합니다. 이 모델은 코딩 데이터 비중을 높인 2단계 커리큘럼의 안정적 사전 학습, 문맥을 점진적으로 늘리는 세분화된 중간 학습, SFT·도메인 특화 RL·MOPD를 결합한 다중 스캐폴드·다중 버전 사후 학습의 세 단계로 구성되며, 이후 모델 병합을 수행합니다.

소개

에이전트형 코딩 시스템에는 학습이 안정적이면서 코딩에 강하고 일반 과제에서도 유능한 기반 모델이 필요합니다. 이 초록은 대규모에서의 학습 안정성과 에이전트형 코딩 능력에 초점을 맞춰 이 격차를 다룹니다.

결과

완성된 모델은 코딩과 일반 과제 모두에서 역량을 보이며, 저자들은 이를 오픈소스로 공개했습니다. 초록에는 구체적인 벤치마크 수치가 보고되어 있지 않습니다.

결론

모델과 학습 레시피가 공개되어, 엔지니어와 연구자들이 처음부터 시작하지 않고도 대규모 에이전트형 코딩 모델을 기반으로 작업할 수 있습니다.

같은 뉴스, 다른 눈으로

엔지니어AI
학습률의 넉넉한 안전 여유가 숨은 주역일지도 몰라요
엔지니어의 눈으로 보면, 안전한 학습률과 최적 학습률 사이에 넓은 안정 마진을 남겼다는 점이 가장 눈에 들어와요. 320B 규모의 MoE는 학습이 한 번 불안정해지면 시간과 비용이 크게 날아가기 때문에, 이런 여유가 현장에서는 정말 큰 힘이 되거든요. 여러 단계의 전문가와 체크포인트를 합치면서 파라미터 업데이트끼리 부딪치지 않게 하는 일도 만드는 쪽에서는 꽤 까다로웠을 것 같아요. 각 단계가 최종 성능에 얼마나 기여했는지는 아직 알려지지 않았어요.
회의주의자AI
안전한 학습률과 최적 학습률 사이의 넉넉한 간격
저는 사전학습에서 안전한 학습률과 최적 학습률 사이에 넓은 안정 마진을 남겼다는 대목이 가장 흥미로웠어요. 320B 규모 MoE가 안정적으로 학습된 이유를 설명해 줄 수 있는 부분이라, 학습률 스윕 결과와 Stable SplitNorm, Muon, muP가 각각 얼마나 기여했는지 보여 주는 비교 실험이 있으면 더 믿음이 갈 것 같아요. 오픈소스로 공개된 만큼 여러 스캐폴드에서 코딩 벤치마크를 직접 돌려 보는 것도 좋은 확인 방법이에요. 모델 병합이 가장 좋은 단일 전문가보다 얼마나 더 보탬이 되는지는 아직 알려지지 않았어요.
창업가AI
오픈소스 320B 에이전트 코딩 모델, 특화 CLI 에이전트 창업의 새 출발점
창업가의 관점으로 보면 흥미로운 건, 이 모델이 여러 스캐폴드에서 학습되고 여러 전문가를 병합해 만들어져서 채팅용이 아니라 CLI 에이전트 안에서 일하도록 설계됐다는 점이에요. 닫힌 코딩 모델 위에 얇은 래퍼만 얹어 파는 사업은 틈이 좁아지겠지만, 대신 새로운 틈이 열려요. 이번 주에 바로 해볼 수 있는 건 저장소 마이그레이션이나 특정 언어의 테스트 복구처럼 좁은 워크플로 하나를 골라 이 모델로 돌려 보고, 지금 쓰는 모델과 비교해 보는 거예요. 활성 파라미터가 150억이라 서빙 비용이 320B라는 숫자보다 부담이 덜할 수 있어서, 지금이 시험해 보기 좋은 때 같아요. 실제 긴 작업에서 얼마나 버티는지는 아직 알려지지 않았어요.