SJTU 굴착기 VLA 리뷰
프로젝트 리뷰 · 대화 정리

SJTU 굴착기 VLA
무엇을 했고
무엇이 남았나

SmolVLA 굴착 캡스톤의 실제 입출력·학습·감독기, 그리고 우리 적용안

2026.11.08
이한민 · hmlee@kimm.re.kr
01

전체 흐름

홍보 수치 뒤의 실제 구조를 보고 우리 계획으로 잇는다
01무엇을 했나시뮬레이터 한 사이클 · 83.5%의 조건
02입력·출력카메라·상태·지시문 → 관절 속도
03모델·학습VLM 고정 · 투영층·액션 전문가 학습 · LoRA
04감독기단계별로 누가 관절을 움직였나
05우리 적용단계별 로드맵 · 데이터 · 지형 입력
02

1. 한눈에 보는 프로젝트

시뮬레이터에서 한 번 퍼서 트럭에 붓는 사이클 · 상하이교통대 학부 캡스톤
45,000입자로 만든 흙Isaac Sim · PhysX572스크립트 전문가 시연입자 정보로 굴착점 선정SmolVLA시연으로 파인튜닝약 0.45B · 18,450스텝167/200고정 장면 성공감독기 켠 상태
ME 450 Capstone Group 19 (2026 여름) · 후원 Builder[x] Robotics · 개요 리포 Lingxiao-Yang/Excavator_VLA_project_overview
03

2. 83.5%에 붙은 조건

고정 장면의 시스템 수치 · 정책 단독 수치는 없음
항목실제 조건의미
상태 입력27D 특권 상태 (목표점·하역점·버킷 입자 수)어디를 팔지 정책이 정하지 않음
감독기켜야만 실행 (끄면 평가 스크립트가 거부)들기 이후는 스크립트가 제어
평가 장면마지막 미세학습에 쓴 seed 2 장면 그대로새 장면 일반화 근거 없음
성공 기준트럭 적재함에 입자 1개 이상적재량·흘림은 평가 안 함
195초시뮬레이터 기동부터 잰 벽시계 시간굴착 생산성과 무관
개발 리포 jxbb824/ExcavatorVLA (smolvla 브랜치) 평가 스크립트에서 직접 확인: 27D 강제(304–307줄), 감독기 필수(408–411줄)
04
04 발표자 메모·근거

27D는 레거시 v3 상태(28D에서 phase_index만 뺀 것). 공개 개요 리포가 설명하는 28D v4(상부체 기준 상대량)는 실제 평가와 짝이 아니다. 후속 팀(moonlightplague/ExcavatorVLA_new)은 다른 체크포인트로 감독기 없이 무작위 500장면 290 성공(입자 ≥ 100) — 조건이 달라 167/200과 같은 선에서 비교하지 않는다.

3. SmolVLA에 들어가고 나온 것

입력 4종 → 4관절 속도 묶음
카메라 3대 · 256×256버킷 근접 · 전방 · 오버헤드Aa지시문 1문장늘 같은 영어 문장상태 27D관절 · 목표점 · 하역점 · 입자 수?관절 토크 4D설정만 있음 · 실제 입력 미확인SmolVLAVLM + 액션 전문가관절 속도 50×4스윙·붐·암·버킷 · rad/s50스텝 예측 중 앞 3스텝(0.3 s)만 실행→ 다시 예측 (10 Hz 제어)
05

4. 모델은 숫자의 의미를 모른다

영상·지시문·숫자열 → 숫자열을 내는 함수

SmolVLA가 받는 형식

  • 카메라 개수 자유 · 내부에서 512×512로 패딩
  • 상태·행동은 최대 32차원 · 모자라면 0으로 채움
  • 평균·표준편차로 정규화된 숫자열로만 봄

그래서 생기는 일

  • 붐·버킷을 따로 “지원”하지 않음 · 4개짜리 숫자일 뿐
  • 사전학습은 소형 로봇팔 · 주로 관절 위치 목표
  • rad/s 속도 출력은 팀의 선택 · 행동 의미가 바뀜
  • 사전학습 그대로는 굴착에 못 씀 (팀 기록)
06

5. 카메라 배치: SJTU와 실제 장비

로봇팔 손목 카메라 관행 · 우리는 붐 아래 + 캐빈 상단으로 시작
12345
07

6. SmolVLA의 세 덩어리

VLM은 고정 · 투영층·액션 전문가·단계 헤드만 학습
영상 토큰지시문상태시각 언어 모델 (SmolVLM2)약 3.5억 · 고정상태 투영층32→960 · 약 3만 · 학습액션 전문가약 1억 · 학습플로우 매칭층별 특징을 어텐션으로 참고행동 50×4단계 헤드모든 입력이 토큰 한 줄로 들어간다
08
08 발표자 메모·근거

단계 헤드: 팀이 추가한 출력층. 앞으로 50스텝 각각이 10단계 중 어디인지 예측. 행동만 학습시키니 '아직 파는 중인데 트럭 쪽으로 선회'하는 단계 혼동이 생겨서 붙였다. 단계 라벨은 정답으로만 쓰고 입력에는 넣지 않았다. 파라미터 수는 대략값이며 버전마다 다를 수 있다.

7. LoRA: 원래 W는 두고 작은 보정만

각 층 안쪽에 가늘고 긴 행렬 두 개를 나란히 붙인다
xW1000×1000ABr = 8+yy = Wx + BAx
09

8. 어디를 어떻게 학습할까

큰 몸통은 지키고 작은 출력부는 새로 배운다
부분크기방식이유
시각 언어 모델약 3.5억고정 또는 LoRA일반 시각 지식 유지 · 높이맵처럼 낯선 입력이면 랭크↑·전체 학습 고려
상태 투영층약 3만전체 학습칸의 의미·순서·단위가 사전학습과 완전히 다름
액션 전문가약 1억전체 학습로봇팔 위치 → 굴착기 속도 · 사실상 새로 배움
단계 헤드작음전체 학습 (추가)단계 혼동을 줄이는 보조 정답

손실 하나로 합쳐 한 번에 역전파 · 고정된 VLM도 계산은 통과하고 가중치만 그대로

10

9. 세 모델의 공통 뼈대

고정·학습의 논리는 같고 상태가 들어가는 자리만 다르다
모델앞단 VLM행동 쪽상태가 들어가는 곳기본 파인튜닝
SmolVLASmolVLM2 · 약 3.5억액션 전문가 · 플로우 매칭VLM 입력 토큰VLM 고정
GR00TVLMDiT 액션 헤드 + 로봇별 프로젝터액션 헤드VLM 고정 · 프로젝터+헤드
π0PaliGemma · 약 30억액션 전문가 · 약 3억액션 전문가전체 또는 LoRA
π0.5PaliGemma 계열액션 전문가숫자를 텍스트 토큰처럼 VLM에—
11

10. 정규화 통계와 체크포인트

통계는 고정 · 체크포인트마다 바뀌는 건 가중치뿐
01학습 전학습 데이터로 칸별 평균·표준편차를 한 번 계산해 고정
02학습 중(값 − 평균) ÷ 표준편차로 넣고, 출력은 되돌려 rad/s로
03체크포인트300스텝마다 가중치 저장 · 18,450스텝 저장본을 최종 선택
04배포같은 통계 파일 사용 · SHA-256 지문이 다르면 첫 명령 전 중단
12

11. 단계별로 누가 관절을 움직였나

들기 이후 네 관절은 모두 스크립트
접근하강 잠금 전굴착dig컬curl_secure들기lift선회transfer·position덤프dump스윙정책정책0 고정0 고정P제어P제어붐정책하강 강제0 고정P제어P제어P제어암정책정책정책P제어P제어P제어버킷정책정책 ×0.5컬 강제P제어P제어열기 강제정책 그대로정책 + 감독기 제한감독기가 대체0으로 고정
개발 리포 smolvla_policy_client.py 감독기 함수 기준 · 하강 잠금: 버킷 끝 높이 2.4 m 이하 또는 단계 헤드가 관입~끌어 빼기 예측 · 컬 → 들기 전환은 버킷 각도만 봄(적재량 조건 없음)
13

12. 정책이 실제로 한 것

순수 엔드투엔드가 아닌 상태기계 + VLA 하이브리드

정책이 한 것

  • 주어진 좌표로 버킷 접근
  • 하강 중 스윙·암, 버킷(×0.5)
  • 컬 중 암
  • 버킷 닫기·선회 시작으로 단계 전환을 앞당김

정책이 안 한 것

  • 어디를 팔지 선택 · 좌표가 상태로 주어짐
  • 적재 확인 · 전환은 버킷 각도만
  • 들기 · 선회 · 덤프
  • 새 장면 · 여러 번 연속 굴착
저자 스스로 “정책 단독이 아닌 시스템 성능”이라고 밝힘 · 후속 팀: 감독기 없이 무작위 500장면 290 성공(입자 ≥ 100, 다른 체크포인트) — 같은 선 비교 불가
14

13. 단계적으로 쌓기

안 될 때 모델 문제인지 과제 난이도인지 가를 수 있게
01좌표로 접근목표 좌표를 상부체 기준 상태로 · 파이프라인 확인
02영상으로 접근좌표를 빼고 주황색 공을 보고 가기
03무부하 자세 이동들기 · 선회 · 붓기 자세
04굴착관입·끌기·컬 · 모드 분리 → 전환까지
05공격점 선택지형을 보고 POA를 스스로 고르기
GR00T·π0 제로샷으로는 버킷 이동이 안 됐음 · SJTU도 제로샷은 못 썼고 시연 파인튜닝 후 접근이 됨
15

14. 굴착 한 사이클의 데이터 설계

실차에서 얻을 수 있는 값만 입력으로
구분넣는 것빼는 것
영상붐 아래 · 캐빈 상단 2대버킷 근접 카메라
상태관절각·속도 · 실린더 압력(양 챔버 또는 순 힘) · 직전 명령 · 목표 깊이·목표면버킷 적재량 · 정답 궤적 · RPM · 유온
출력4관절 속도 묶음 + 보조 정답 단계 라벨단계 라벨을 입력으로 넣기
데이터시작점·깊이·흙 단단함 다양화 · 숙련자 궤적 + 스크립트 교사 · 회복 데이터실패 시연 (적재량으로 걸러냄)
정렬모든 신호 같은 주기 · 정답 = 바로 다음 구간 명령한 칸 밀린 라벨
16
16 발표자 메모·근거

압력은 접촉 단계에서 특히 쓸모: 영상으로 모르는 흙의 단단함·버킷 박힘을 바로 보여준다. 단, 시뮬레이터 압력이 실차와 다르면 엉뚱한 신호에 기댈 수 있다. 압력 임계 룰은 정책 바깥의 최후 안전장치로 남긴다. 회복 데이터: 정책을 돌리다 틀어진 상태에서 교사가 바로잡는 데이터(DAgger).

15. 지형 높이맵을 넣는 두 길

VLM엔 부드럽게 · 전용 인코더엔 원 격자 그대로
부드러운 컬러맵VLM 시각 인코더고정 → 안 되면 LoRA영상 토큰처럼원 격자 3채널현재·목표·차이 (m)작은 CNN4×4구역토큰 16개 · 960 폭토큰 한 줄영상지시문상태지형
색↔높이 대응은 모든 에피소드에서 고정 · 숫자를 한 줄로 펴서 상태에 붙이면 2차원 이웃 구조가 사라짐 · 고정된 건 입력 노드 수가 아니라 토큰 하나의 폭
17

16. 큰 학습 전에 싸게 확인

몇 시간짜리 프로브로 방향부터 정한다
01선형 프로브VLM 고정 · 특징 위 선형층 하나로 공격점 좌표 맞히기 · 학습에 안 쓴 지형으로 평가
02보조 출력행동과 함께 공격점 좌표도 출력 · 고르기 오류와 가기 오류를 분리
03유무 비교높이맵 넣은·뺀 버전 같은 조건 비교 · 지형이 바뀌면 공격점도 바뀌는지
18

17. 가져올 것과 피할 것

데이터·검증 규율은 가져오고 수치는 가져오지 않는다

가져올 것

  • 단계형 교사와 단계 라벨
  • 품질 게이트 · 거부 사유 기록
  • 정규화 통계 지문 확인
  • 오프라인 청크 이어붙이기 분석
  • 전체 분모 · 실패 원인 보존

피할 것

  • 특권 입력으로 과제 쉽게 만들기
  • 감독기 성공을 정책 성공으로 보고
  • 평가 장면을 학습에 포함
  • 입자 1개식 관대한 성공 기준
19