주목받는 AI 논문

Hugging Face에서 추천받은 arXiv 논문을 쉬운 한국어로 요약했습니다.

AIarXiv:2610.3132910월 22일

WeVisOne-VL: 객체에서 픽셀까지의 통합 시각 인지

저자들은 구조화된 다음 토큰 예측을 통해 객체 수준과 픽셀 수준 인지를 통합한 시각-언어 모델 WeVisOne-VL을 제안합니다. 특수 <OBJ> 토큰을 통해 경량 픽셀 디코더를 VLM에 결합하여 인스턴스 단위 픽셀 출력을 생성하며, 3단계 커리큘럼 SFT와 혼합 과제 RL로 학습합니다.

IQuest-Q1: 에이전트형 CLI 시스템을 위한 기반 역량 고도화

저자들은 총 320B 파라미터(활성 15B)의 희소 Mixture-of-Experts 에이전트 기반 모델 IQuest-Q1을 제시합니다. 이 모델은 코딩 데이터 비중을 높인 2단계 커리큘럼의 안정적 사전 학습, 문맥을 점진적으로 늘리는 세분화된 중간 학습, SFT·도메인 특화 RL·MOPD를 결합한 다중 스캐폴드·다중 버전 사후 학습의 세 단계로 구성되며, 이후 모델 병합을 수행합니다.

FilmFlow: 3D 가상 영화 촬영을 위한 에이전트 시스템

저자들은 자연어 지시나 참조 영상을 동적 3D 환경의 명시적 카메라 궤적으로 변환하는 에이전트 프레임워크 FilmFlow를 제안합니다. Director 에이전트는 이동, 회전, 프레이밍을 동시에 제어하는 원자 연산들을 조합해 고수준 카메라 움직임을 구성하며, Interpreter, Scout, Critic 에이전트가 이를 보조합니다. 또한 150개의 Blender 장면, 750개의 텍스트 지시 과제, 60개의 참조 영상으로 구성된 CinemaBench를 공개합니다.

DONIC: 인간 시연 기반의 범용 양손 정교 추적 제어

저자들은 여러 작업 범주와 인간 동작 출처를 함께 학습한 양손 정교 참조 추적용 단일 범용 정책 DONIC을 제안합니다. 또한 229개 객체에 걸친 1,575개의 양손 상호작용 시퀀스로 구성된 다중 시점 데이터셋 BiHOI를 소개하며, 재구성된 상호작용을 로봇 참조로 리타게팅합니다.

내다보기: 자기회귀 비디오 생성에서의 미래 진화 모델링

저자들은 자기회귀 비디오 확산 모델의 교사 강요(teacher-forced) 노이즈 제거 학습과 함께 최적화되는 보조 목적 함수인 미래 청크 예측(Future Chunk Prediction, FCP)을 제안합니다. FCP는 중간의 시각적 문맥에 접근하지 않고 시간적으로 떨어진 미래 청크를 예측하며, 학습 비디오에서 직접 감독 신호를 얻습니다. 자기회귀 추론 방식은 그대로 유지되며 별도의 사전 학습된 시각 인코더도 필요하지 않습니다.

LaLa-World: 자연어 행동을 활용한 잠재 세계 모델 확장

이 연구는 비디오 생성 모델의 언어 조건 인터페이스를 도입하여 JEPA 방식의 잠재 세계 모델(LWM)이 다양한 도메인과 데이터 소스에서 학습할 수 있음을 보입니다. 저자들은 수치 행동과 시각적 변화를 모두 언어로 기술하고 언어 모델 위에 미래 예측기를 구축하는 LaLa-World를 제안하여, 이질적인 데이터셋에서 단일 예측기를 함께 학습할 수 있게 했습니다. 사전 학습된 모델은 행동과 미래 시각 표현을 함께 예측하는 LaLa-Policy의 초기값으로도 사용됩니다.

검색 증강 생성의 합성성(Retrieval Augmented Generation Compositionality)

저자들은 통제된 RAG 평가를 위한 오픈소스 프레임워크 LASAGNA를 만들고, 8개 벤치마크와 5K~200K 문서 규모의 코퍼스에서 450개 구성을 테스트했습니다. 임베딩, 청킹, 검색, 재순위화, 질의 증강, 문맥 압축, 에이전트 기반 검증을 개별이 아닌 결합된 상태에서 살펴보았습니다.

월드 액션 모델을 위한 자기 증류 기반 미래 비디오 표현 학습

이 논문은 단일 디노이징 단계에서 추출한 미래 비디오 표현의 품질을 높이도록 World Action Model(WAM)을 학습하는 FRED 프레임워크를 제안합니다. FRED는 자기 증류를 사용해 노이즈로부터 미래 표현을 예측하며, 목표값으로는 실제 미래 관측에서 추출한 표현을 사용합니다. 또한 과거 관측을 조건으로 주어 미래 표현 예측에 시간적 문맥을 제공합니다.

Quant-Arena: 정량적 트레이딩 연구를 위한 LLM 에이전트 벤치마크

저자들은 실제 A주 시장 데이터를 대상으로 한 end-to-end 정량 연구용 벤치마크와 공개 리더보드를 구축했습니다. 모델은 2022~2023년 피드백만 받아 피처와 종목 점수화 코드를 작성한 뒤, 거래 제약, 비용, 시뮬레이션 호가창 기반 시장 충격을 적용하는 현금 계좌 평가기로 봉인된 2024년에 하나의 전략을 평가받습니다.

PACE: 4비트 순환 상태의 주기적·채널 정렬 인코딩

저자들은 선형 어텐션 언어 모델의 순환 상태를 위한 사후(post-hoc) 4비트 양자화기 PACE를 제안합니다. PACE는 생성된 토큰 여러 개마다 한 번씩만 상태를 반올림하고 중간 토큰은 버퍼에 보관하며, 큰 gated-delta 상태 값이 열 방향으로 모이는 점을 이용해 열마다 하나의 양자화 스케일을 공유합니다. 오차를 가장 오래 유지하는 헤드는 8비트로 유지합니다.

StreamEval: 대화형 스트리밍 비디오 생성 모델 평가

본 연구는 대화형 스트리밍 비디오 생성을 위한 통합 벤치마크인 StreamEval을 소개합니다. 아바타 대화, 아바타 퍼포먼스, 월드 생성, 지시 편집, 참조 편집의 다섯 가지 과제에 걸친 300개의 스크립트 테스트 케이스를 포함하며, 네 가지 평가 차원에 걸친 열 가지 과제별 지표로 채점합니다.

에이전트를 위한 캐시 엔지니어링

이 논문은 LLM 에이전트가 궤적을 수정하거나 재프리필하지 않고도 활성 KV 캐시를 직접 제어하도록 하는 '캐시 엔지니어링'을 제안한다. 선택한 캐시를 어텐션에서 제외(drop)하고 유지된 키의 위치 인코딩을 조정(repos)할 수 있으며, 이를 구현한 AKV 서빙 엔진은 상태 비저장 인터페이스를 제공하면서 내부적으로 상태를 가진 캐시 재사용, 축출, 복원을 관리한다.

게임에서의 스케일링: 다양한 가상 세계의 구현형 에이전트를 위한 지속 사전 학습

이 연구는 구현형 게임 에이전트를 위한 지속 사전 학습(CPT)을 통제된 실험으로 분석하며, 데이터 양, 데이터 다양성, 모델 크기를 120개 구성에 걸쳐 변화시킵니다. 학습에 포함된 세계부터 보지 못한 세계까지 세 단계의 검증 손실과 게임플레이 벤치마크로 평가하고, 경험적 스케일링 법칙을 적합시킵니다.

Policy-Mask: 예산 인식 확산 특징의 판별 과제 적응

이 연구는 고정된 확산 모델에서 타임스텝, 블록, 채널 부분집합을 주어진 채널 예산 하에 함께 선택하는 예산 조건부 정책 Policy-Mask를 제안합니다. 채널 점수 항을 부분집합 크기로 정규화하여 세 정책 헤드가 비슷한 스케일로 업데이트되도록 합니다. 또한 이 방법을 PixArt-Σ 및 SD3.5 MMDiT 같은 확산 트랜스포머에도 적용합니다.

Meta Expert: 저장 및 검색 효율적인 MoE를 위한 계층 간 전문가 공유

저자들은 기존 주류 MoE 모델의 계층별 Local Expert와 계층 간에 공유되는 제안 방식인 Meta Expert를 비교하는 다차원 실험을 수행했습니다. 또한 Meta Expert의 잔차 경로에 대한 이론적 분석도 제시합니다.

Code2Video-Compass: T2V, I2V, V2V 전반에 걸친 범용 코드 기반 비디오 생성을 위한 종합 벤치마크

저자들은 텍스트-비디오(T2V), 이미지-비디오(I2V), 비디오-비디오(V2V) 설정에서 실행 가능한 코드를 작성해 비디오를 생성하는 Code2Video-Compass 벤치마크를 구축했습니다. 이 벤치마크는 10개 카테고리와 24개 하위 유형에 걸친 2,104개 과제로 구성되며, 12개의 객관적 지표와 MLLM 심사자가 평가하는 5개의 주관적 지표로 채점합니다.

AgenticRoboRL: 코딩 에이전트 사후 학습을 에이전틱 로보틱스에 적용하기

본 연구는 서로 다른 로봇 하네스 전반에서 로봇 플래너를 사후 학습하는 프레임워크인 AgenticRoboRL을 소개합니다. 지도 미세 조정과 다중 턴 강화 학습을 결합하며, 하네스별 어댑터를 사용해 실행 구성요소는 고정한 채 VLA 기술 호출과 제어 코드 생성 모두에 같은 RL 파이프라인을 적용합니다.

실제 웹 환경에서의 딥 서치

저자들은 라이브 오픈 웹에서 다단계 딥 서치를 평가하기 위한 OpenDS 과제를 제시합니다. 에이전트는 여러 독립 출처에서 증거를 찾고, 접근하고, 통합해 유일한 사실적 답에 도달해야 합니다. 이를 위해 다양한 모달리티, 파일 형식, 상호작용 접근 요구를 포괄하는 200개 과제의 벤치마크 OpenDS-World를 구축하고, 증거 타당성과 답의 유일성을 사람이 검증했으며, 통합된 도구 환경에서 12개 최신 모델을 평가했습니다.

SpatialScout: VLM 에이전트는 3D 장면을 능동적으로 탐색하고 지도화할 수 있는가?

저자들은 80개 실내 장면과 3,140개의 대상 객체로 구성된 벤치마크 SpatialScout를 소개합니다. VLM 에이전트는 제한된 상호작용 예산 안에서 카메라를 제어해 각 장면을 탐색하고 공통 좌표계에서 객체 중심을 추정합니다.

Agent World Model in the Wild: 컴퓨터 사용 에이전트 환경 합성

저자들은 GUI, MCP 서비스, 명령줄 인터페이스를 아우르는 제어 가능한 실행형 컴퓨터 사용 환경과 과제를 합성하는 확장 가능한 파이프라인인 WildAWM을 제안합니다. 이 파이프라인은 전적으로 오픈소스 모델로 구동되며, 해결 가능성, 난이도, 검증기 신뢰성을 위한 실행 기반 품질 게이트를 포함합니다.

Heartbeat Thinking: 실시간 음성 에이전트에서 듣는 동안 수행하는 추측적 추론과 도구 실행

저자들은 사용자가 말하는 중에도 추론과 도구 호출을 시작하는 음성 에이전트 방식인 Heartbeat Thinking을 제안합니다. 음성 업데이트마다 생성을 끊는 대신, 주기적인 Thinker 호출이 최신 부분 전사문과 완료된 추론·도구 결과의 공유 기록을 읽고, 이전 호출과 실행 중인 도구는 끝까지 완료되도록 합니다.

RouteWeaver: 모드 선택과 실행을 통합한 LLM 라우팅

이 논문은 단일 라운드, 다중 라운드, 에이전트형 라우팅 모드를 하나의 LLM 정책 안에 통합하고, 어떤 모드를 쓸지와 그 모드 안에서 어떤 모델을 고를지를 함께 학습하는 RouteWeaver를 제안합니다. 학습에는 궤적 수준의 어드밴티지를 모드 선택과 모드 내 실행의 신호로 분리하는 COMET-GRPO와, 외부에서 지정된 모드에서 자율 선택으로 점진적으로 옮겨 가는 progressive exploration을 사용합니다.

Deep Fusion Memory: 대규모 언어 모델을 위한 청크 단위 파라메트릭 메모리

저자들은 선행 문맥으로부터 메모리를 생성하는 인과적 메모리 예측기를 학습하고, 이때 코퍼스에서 검색된 청크 임베딩을 지도 신호로 사용하는 Deep Fusion Memory(DFM)를 제안합니다. 예측된 메모리는 청크 내 토큰들이 공유하며, 게이트형 교차 어텐션으로 은닉 상태에 융합됩니다. 백본은 고정된 상태로 두며, 추론 시 명시적 검색이 필요하지 않습니다.

HexaShell: 로봇 코딩 에이전트로서 VLM 에이전트의 한계를 탐구하기 위한 얇은 하네스

이 논문은 컴퓨터 대신 로봇을 제어하는 비전-언어 모델(VLM) 코딩 에이전트가 어디까지 갈 수 있는지 실험합니다. 에이전트는 두 팔 로봇을 명령줄로 조작하며 보정된 RGB 카메라 3대를 보고, 실패할 때마다 삼각측량과 평면 교차를 이용해 물체 위치를 찾는 작은 도구를 작성하거나 수정합니다. 도구는 과제당 10개 배치에서 만든 뒤 고정하고, 새로운 10개 배치에서 테스트합니다.

Scene-Designer: 에이전트형 3D 장면 생성을 위한 설계 지능 학습

저자들은 3D 실내 장면을 설계하고 비평하는 능력을 함께 학습하는 에이전트형 프레임워크 Scene-Designer를 소개하며, 이를 위해 설계 경험과 비평 경험을 담은 두 개의 새로운 데이터셋을 구축했습니다. 또한 Critic이 안내하는 GRPO 변형인 Scene-GRPO로 학습시켜, 더 나은 설계 결정을 내리고 시행착오식 수정을 줄이도록 했습니다.

장기 과제 에이전트 강화학습을 위한 트리 인식 사후 증류

저자들은 공유 접두사에서 대안적 후속 행동을 분기하고, 터미널 보상을 턴 단위 크레딧으로 역전파한 뒤, 각 크레딧을 유계이며 닫힌 형태의 교사 분포로 변환하는 크리틱-프리 프레임워크 TreeOPSD를 제안합니다. 이 교사와 학생 정책 사이의 발산을 최소화하면 정책 경사 방향이 복원되며, 순차적 미니배치 업데이트가 유한한 목표 근처에 머물도록 합니다.

실행이 먼저다: 비디오 월드 모델의 메모리 실패 진단

저자들은 장면 설정, 요청된 변화의 수행, 마지막 프레임에 결과가 나타나는지를 분리해 평가하는 메모리 테스트 MIST를 소개합니다. 이어서 지시문의 세부 사항을 재귀적으로 수정해 고정된(frozen) 모델이 요청된 변화를 수행하도록 하는 M3-Agent를 제안합니다.

RAP: 사람이 만든 예시로부터 선언적 마크업을 통해 논문을 포스터로 생성하는 데이터셋

저자들은 머신러닝 학회(2022~2026)의 검증된 논문-포스터 쌍 25K개 이상으로 구성된 데이터셋 RAP를 구축했습니다. 각 사람이 만든 포스터는 채울 수 있는 슬롯이 있는 스타일 HTML/CSS로 변환됩니다. 또한 150편 논문의 보류 벤치마크를 공개하고, 학습 없이 다중 에이전트로 예시를 검색해 채우는 PosterRAG와 SFT+RL 모델이라는 두 가지 방식에 이 데이터를 활용합니다.

DLite: 에이전트형 AI를 위한 히스토리 무의존 추측적 디코딩

저자들은 대상 모델의 은닉 상태를 재사용하고, 점점 늘어나는 과거 문맥을 유지하지 않은 채 국소적으로 예측을 수행하는 에이전트형 AI용 추측적 디코딩 프레임워크 DLite를 제안합니다. 경량 순차 헤드가 블록 내부의 인과적 의존성을 복원하며, 이 이기종 구조를 학습하기 위해 맞춤형 2단계 학습 전략을 사용합니다.

OfficeTown: 진화하는 에이전트 지능을 위한 생성형 조직

저자들은 조직의 목적과 활동에 대한 자연어 설명으로부터 가상의 전문 조직을 생성하는 프레임워크 OfficeTown을 소개합니다. 조직 구성원은 업무를 조율하고, 범위가 정해진 과제를 보조 에이전트에게 위임하며, 결과물을 검토하고, 산출물과 결정 사항, 미해결 과제는 이후 업무에 계속 영향을 줍니다. 연구진은 이러한 업무 요청, 맥락, 검토 피드백을 OfficeTown Bench와 학습 데이터로 정리했습니다.