SmolVLA가 받는 형식
- 카메라 개수 자유 · 내부에서 512×512로 패딩
- 상태·행동은 최대 32차원 · 모자라면 0으로 채움
- 평균·표준편차로 정규화된 숫자열로만 봄

SmolVLA 굴착 캡스톤의 실제 입출력·학습·감독기, 그리고 우리 적용안
2026.11.08


| 항목 | 실제 조건 | 의미 |
|---|---|---|
| 상태 입력 | 27D 특권 상태 (목표점·하역점·버킷 입자 수) | 어디를 팔지 정책이 정하지 않음 |
| 감독기 | 켜야만 실행 (끄면 평가 스크립트가 거부) | 들기 이후는 스크립트가 제어 |
| 평가 장면 | 마지막 미세학습에 쓴 seed 2 장면 그대로 | 새 장면 일반화 근거 없음 |
| 성공 기준 | 트럭 적재함에 입자 1개 이상 | 적재량·흘림은 평가 안 함 |
| 195초 | 시뮬레이터 기동부터 잰 벽시계 시간 | 굴착 생산성과 무관 |
27D는 레거시 v3 상태(28D에서 phase_index만 뺀 것). 공개 개요 리포가 설명하는 28D v4(상부체 기준 상대량)는 실제 평가와 짝이 아니다. 후속 팀(moonlightplague/ExcavatorVLA_new)은 다른 체크포인트로 감독기 없이 무작위 500장면 290 성공(입자 ≥ 100) — 조건이 달라 167/200과 같은 선에서 비교하지 않는다.




단계 헤드: 팀이 추가한 출력층. 앞으로 50스텝 각각이 10단계 중 어디인지 예측. 행동만 학습시키니 '아직 파는 중인데 트럭 쪽으로 선회'하는 단계 혼동이 생겨서 붙였다. 단계 라벨은 정답으로만 쓰고 입력에는 넣지 않았다. 파라미터 수는 대략값이며 버전마다 다를 수 있다.


| 부분 | 크기 | 방식 | 이유 |
|---|---|---|---|
| 시각 언어 모델 | 약 3.5억 | 고정 또는 LoRA | 일반 시각 지식 유지 · 높이맵처럼 낯선 입력이면 랭크↑·전체 학습 고려 |
| 상태 투영층 | 약 3만 | 전체 학습 | 칸의 의미·순서·단위가 사전학습과 완전히 다름 |
| 액션 전문가 | 약 1억 | 전체 학습 | 로봇팔 위치 → 굴착기 속도 · 사실상 새로 배움 |
| 단계 헤드 | 작음 | 전체 학습 (추가) | 단계 혼동을 줄이는 보조 정답 |
손실 하나로 합쳐 한 번에 역전파 · 고정된 VLM도 계산은 통과하고 가중치만 그대로

| 모델 | 앞단 VLM | 행동 쪽 | 상태가 들어가는 곳 | 기본 파인튜닝 |
|---|---|---|---|---|
| SmolVLA | SmolVLM2 · 약 3.5억 | 액션 전문가 · 플로우 매칭 | VLM 입력 토큰 | VLM 고정 |
| GR00T | VLM | DiT 액션 헤드 + 로봇별 프로젝터 | 액션 헤드 | VLM 고정 · 프로젝터+헤드 |
| π0 | PaliGemma · 약 30억 | 액션 전문가 · 약 3억 | 액션 전문가 | 전체 또는 LoRA |
| π0.5 | PaliGemma 계열 | 액션 전문가 | 숫자를 텍스트 토큰처럼 VLM에 | — |





| 구분 | 넣는 것 | 빼는 것 |
|---|---|---|
| 영상 | 붐 아래 · 캐빈 상단 2대 | 버킷 근접 카메라 |
| 상태 | 관절각·속도 · 실린더 압력(양 챔버 또는 순 힘) · 직전 명령 · 목표 깊이·목표면 | 버킷 적재량 · 정답 궤적 · RPM · 유온 |
| 출력 | 4관절 속도 묶음 + 보조 정답 단계 라벨 | 단계 라벨을 입력으로 넣기 |
| 데이터 | 시작점·깊이·흙 단단함 다양화 · 숙련자 궤적 + 스크립트 교사 · 회복 데이터 | 실패 시연 (적재량으로 걸러냄) |
| 정렬 | 모든 신호 같은 주기 · 정답 = 바로 다음 구간 명령 | 한 칸 밀린 라벨 |
압력은 접촉 단계에서 특히 쓸모: 영상으로 모르는 흙의 단단함·버킷 박힘을 바로 보여준다. 단, 시뮬레이터 압력이 실차와 다르면 엉뚱한 신호에 기댈 수 있다. 압력 임계 룰은 정책 바깥의 최후 안전장치로 남긴다. 회복 데이터: 정책을 돌리다 틀어진 상태에서 교사가 바로잡는 데이터(DAgger).


