굴착기 VLA 진행 보고
필드로봇 탐색연구 · 진행 보고

굴착기 VLA 적용

기존 모델 분석 → 파인튜닝 → 버킷 이동·굴착 결과

2026.11.15 · 완료된 결과까지
이한민
01

1. 전체 흐름

학습 전 0/72 → 학습 후 시뮬레이터에서 버킷 이동·굴착 네 동작 수행
01모델 이해GR00T N1.7 · π0.5
구조와 입출력
02로봇팔 검증MuJoCo 픽앤플레이스
두 모델 10/10
03굴착기 무학습버킷을 공까지
72회 모두 실패
04버킷 이동 학습검증 위치 6/6
새 위치 4/8 · 6/8
05굴착 학습동작별 3/4
끌기 8/8
연속 굴착 두 모델 2/2
06팔 곳 고르기지도 입력 · 세 번 학습
기준 통과 없음
3차 32번 중 4번 굴착
02
발표자 메모 · 근거

흐름: 모델 이해(구조·입출력) → LIBERO 로봇팔 검증 → HR35 MuJoCo 무학습 시도 → 파인튜닝 계획(방법·APEX 데이터·3단계) → 버킷 이동 학습 결과 → 굴착 학습 결과 → 비VLA 기준선 → 관로(지도 보고 팔 곳 고르기) → 계획 대비 진행 → 진행 중 과제. 2026-11-15 기준 완료된 결과만 싣는다(관로 4차는 진행 중이라 싣지 않음). 06 근거: docs/execution/models/trench-results-summary-2026-11-14.md(1·2차: 접근 13회 모두 완료, 진입 위치는 팔 곳과 무관하게 4.0–4.2 m, 지도 교체 시험 기준 미달. 3차(§8): 사전 등록 기준 통과 구성 0, 실행 통과 32회 중 4회, 진입 실패 22회 중 21회가 깊이 확보 전 끌기 시작). 학습 후 수치 근거: docs/execution/results/2026-11-12-numbers.md §1(버킷)·§2(굴착). 수치 근거: LIBERO 10/10 ×2 = (실행 기록) · 굴착기 72회 0성공 = docs/research/2026-11-07-vla-excavator-zero-shot-independent-analysis.md §4.

2. GR00T N1.7 — 모델 구성

보고 읽는 시각·언어 모델 + 동작을 그리는 확산 액션 헤드
GR00T N1.7 architecture
시각·언어 모델 · 2BCosmos-Reason2 · 영상·지시문을 특징으로
확산 액션 헤드 (DiT)잡음에서 행동 묶음을 4단계로 다듬음
로봇별 투영층상태 인코더·행동 디코더 32슬롯 · 로봇마다 교체
그림: NVIDIA Isaac-GR00T 공식 저장소 (Apache-2.0) · github.com/NVIDIA/Isaac-GR00T media/model-architecture.png (N1 계열 공통 그림, N1.7 모델 카드에도 동일 게재)
03
발표자 메모 · 근거

총 3B. 백본 nvidia/Cosmos-Reason2-2B(게이트), 공개 체크포인트 nvidia/GR00T-N1.7-3B. 상태·행동은 키별 1~99 백분위 → [−1,1] 정규화 후 132차원까지 0 패딩. embodiment 태그 → 투영 슬롯(LIBERO 2, new_embodiment 10). 근거: docs/research/2026-11-04-model-io-contract.md §2 (Isaac-GR00T c56f541 코드 읽기). 그림 출처는 하단 표기.

3. π0.5 — 모델 구성

시각·언어 모델 3B가 영상·글을 읽고, 액션 전문가 0.3B가 잡음에서 행동 묶음을 만든다
π0 architecture (model part)
π0 논문 그림 3의 모델 부분 · π0.5도 같은 뼈대, 차이는 상태 qt를 숫자 토큰으로 바꿔 시각·언어 모델 쪽에 넣는 것(π0는 액션 전문가 쪽)과 이산 토큰 사전학습 → 플로우 매칭 후학습의 두 단계
시각·언어 모델 · 3BSigLIP 영상 인코더 + Gemma 언어 모델 · 영상 3장 224 + 지시문 (+ π0.5: 상태 토큰)
액션 전문가 · 0.3B잡음에서 시작해 플로우 매칭 10단계로 행동 묶음 at…at+H
상태 qt의 자리π0: 선형층 → 액션 전문가 · π0.5: 256구간 숫자 → 텍스트 토큰 → 언어 모델
그림: Physical Intelligence, π0 논문(arXiv 2410.24164) Fig. 3 모델 부분 잘라냄 · π0.5 논문(arXiv 2504.16054) §IV-A·부록 A-E가 상태 토큰화 근거 · © Physical Intelligence
04
발표자 메모 · 근거

그림은 π0 논문 Fig. 3(overview.png)에서 데이터 혼합·로봇 패널을 빼고 모델 부분만 잘라냈다. π0.5 논문 Fig. 3(assets/arch-pi05.png, 두 단계 학습 개요)은 상태 입력을 그리지 않아 보조로만 둔다. 상태 경로: π0는 q_t를 선형층(state_proj)으로 액션 전문가 토큰열에 넣는다(openpi pi0.py L97, L151–157). π0.5는 상태를 256구간으로 이산화해 "Task: …, State: 12 87 …;" 식 텍스트로 만들어 PaliGemma 언어 모델이 읽는다(pi0_config.py L28–41, tokenizer.py L24–28; 논문 §IV-A "The robot proprioceptive state is discretized and input to the model as text tokens", 부록 A-E, Fig. 18 어텐션 마스크의 State 블록). 공식 pi05_libero 설정은 pi05=True이면서 discrete_state_input=False라 상태를 전혀 받지 않는다(config.py L744–745). 행동 쪽: 잡음 행동 → action_in_proj(선형) → 액션 전문가 → action_out_proj(선형) → 32칸 행동. 시간 단계는 π0.5에서 time_mlp → adaRMSNorm으로 주입. 영상 3슬롯 224×224, 정규화 (x−q01)/(q99−q01)·2−1 클리핑 없음, action_horizon 10(LIBERO)/50(base). 근거: docs/research/2026-11-04-model-io-contract.md §3, openpi 215abfb.

4. 두 모델의 입력과 출력

입력은 영상 + 지시문 (+ 상태) · 출력은 시간 × 7차원 행동 묶음
공통 입력전체 카메라손목 카메라“put the black bowl on the plate”지시문 1문장상태 8개 숫자말단 위치 3 · 자세 3 · 그리퍼 2두 모델 모두 영상·지시문·상태를 받지만상태가 들어가는 자리는 서로 다르다GR00T N1.7영상·지시문 → 시각·언어 모델상태 → 상태 인코더 → 확산 액션 헤드영상 짧은 변 256 · 디노이징 4단계3Bπ0.5영상·지시문 → 언어 모델(PaliGemma)상태 → 256구간 숫자 토큰 → 언어 모델영상 224 · 플로우 매칭 10단계 · 3B + 0.3B(공개 LIBERO 가중치만 상태 토큰을 끈 설정)출력 · 행동 묶음 16스텝 × 7ΔxΔyΔz롤피치요손앞 8스텝 실행나머지는 버리고다시 예측출력 · 행동 묶음 10스텝 × 7ΔxΔyΔz롤피치요손앞 5스텝 실행나머지는 버리고다시 예측한 칸 = 한 시점의 로봇팔 말단 이동량 (위치 3 · 회전 3 · 그리퍼 1)
05
발표자 메모 · 근거

영상 예시는 LIBERO-Spatial 과제 0의 실제 모델 입력 프레임(GR00T 영상에서 잘라냄). 행동 7D = 말단 위치 Δxyz 3 + 회전 3 + 그리퍼 1(LIBERO). GR00T: 16스텝 예측·8스텝 실행, 상태 8D를 투영층으로. π0.5: 10스텝 예측·5스텝 실행, 공식 LIBERO 가중치는 상태 미사용. 근거: docs/research/2026-11-04-model-io-contract.md §2·§3, examples/LIBERO/README.md(두 저장소).

5. 로봇팔 검증 — 픽앤플레이스

같은 과제 10회씩, 두 모델 모두 10/10 · 환경은 MuJoCo

GR00T N1.710 / 10 성공

왼쪽 전체 카메라 · 오른쪽 손목 카메라 · 실시간 재생

π0.510 / 10 성공

전체 카메라 · 실시간 재생

“검은 그릇을 집어 접시에 올려라” · 공식 LIBERO 가중치 · RTX 5080 · 추론 중앙값 80~100 ms

06
발표자 메모 · 근거

LIBERO-Spatial task0 "pick up the black bowl between the plate and the ramekin and place it on the plate". 2026-11-05, RTX 5080(sm_120, 드라이버 595.91.07), bf16. π0.5: pi05_libero(gs://openpi-assets), openpi 215abfb, seed 7, replan 5, 220스텝 상한, 10/10, p50 97 ms/p95 110 ms, VRAM 최대 11.1 GB. 로그 (실행 기록) GR00T: GR00T-N1.7-LIBERO/libero_spatial(rev ), Isaac-GR00T c56f541, seed 7, 8스텝 실행, flash_attention_2, 10/10, p50 80.2 ms/p95 104.9 ms. 로그 (실행 기록) 주의: 두 실행의 초기 상태 설정이 달라 같은 초기조건 비교는 아님. 제로샷이 아니라 LIBERO로 미세조정된 공식 가중치. GR00T 영상은 원본 20 fps를 10 fps로 늦춰 실시간에 맞춤.

6. 굴착기에 그대로 연결하기

로봇팔 손끝 이동량을 버킷 끝 이동량으로 읽고 4관절로 푼다
기존 VLA · 가중치·전처리 그대로전체 카메라 → 전체 슬롯붐 카메라 → 손목 슬롯추가: 굴착기에 카메라 2대“move the bucket towardthe orange ball”추가: 지시문만 교체상태 8개 · 들어가는 자리 다름GR00T: 상태 인코더 → 액션 헤드π0.5: 숫자 토큰 → 언어 모델**이번 공개 LIBERO 가중치는 상태 없이 학습돼 넣지 않음GR00T · π0.5로봇팔(LIBERO) 가중치전처리·정규화 그대로행동 묶음 7칸 × 8스텝출력우리가 추가한 연결층 · 출력 후처리 (순서대로)①첫 스텝의위치 Δxyz 3개만 선택회전·그리퍼는 버림②축 대응 · 크기M 행렬 · ×0.05 m카메라 좌표 → 굴착기 좌표③버킷 끝 역기구학3×3 국소 IK버킷 각도는 유지④4관절 목표각스윙 · 붐 · 암 · 버킷위치 서보가 추종⑤MuJoCo HR350.1 s 간격 · 50스텝새 영상 → 다음 예측10 Hz 폐루프: 시뮬레이터의 새 영상이 다시 모델 입력으로
07
발표자 메모 · 근거

MuJoCo 3.3.1, APEX HR35 URDF 변환 모델, 고정 차체, 중력 0, 충돌 끔, 위치 서보 kp100/kv20. 전체 카메라 (6,7,4)→(0,1,1.2) fovy 45°, 붐 카메라 fovy 85°, 640×480. 지시문 "move the bucket toward the orange ball". 7D 출력 중 Δxyz만 ×0.05 m → 축 대응 M → 3×3 국소 역기구학(버킷 피치 유지) → 스윙·붐·암·버킷 절대 목표각, 0.1 s 간격, 50스텝(5 s). 상태: GR00T 버킷 끝 위치·자세 + 가상 그리퍼 2 = 8D, π0.5 미사용. 근거: docs/research/2026-11-07-vla-excavator-zero-shot-independent-analysis.md §3, scripts/simulation/hr35_mujoco/README.md, docs/execution/models/bucket-move-pretrain.md.

7. 연결 자체는 동작한다 — 목표를 아는 제어기

공 위치를 아는 기구학 제어기는 0.95 → 0.01 m 도달 · 모델 없음

전체 카메라

같은 역기구학·같은 서보로 버킷 끝이 공까지

붐 카메라

23스텝에 0.5 m 안 · 48스텝에 0.011 m · 모델 없음

이 영상은 VLA 결과가 아니다 · “모델이 방향만 맞게 내면 도달 가능”을 보인 기준선

08
발표자 메모 · 근거

오라클(야코비안) 제어기: 목표 좌표를 직접 받아 같은 IK·서보 경로로 구동. target1 0.952 → 0.011 m(23스텝), target2 0.959 → 0.014 m. 영상 (실행 기록) 근거 docs/execution/media/hr35-mujoco-oracle01.md. 의미: 연결층·시뮬레이터·명령 경로는 정상. 실패 원인은 모델 출력 쪽에 있다.

8. 학습 없이 여러 방법을 바꿔 봤지만

72회 시도(표적 보임 54 · 숨김 대조 18) · 0.5 m 안 도달 0회 · 최근접 0.58 m
π0.558회
첫 시도0.90 m
좌우 축 뒤집기0.79 m
카메라 확대 (45°→34°)0.77 m
이동량 2배0.58 m
GR00T14회
실제 자세를 상태로0.92 m
명령 누적 기준1.02 m
카메라 확대 (45°→34°)1.05 m
이동량 2배0.94 m

같은 표적(공 위치 1) · 붐 카메라 시점 · 숫자는 5초 뒤 버킷 끝~공 거리(시작 0.95 m) · 공통 시도 카메라 확대 · 이동량 2배 · 서보 이득 ↑  ·  π0.5만 좌우 축 뒤집기 · 5스텝 연속 실행 · 숨긴 공 대조  ·  GR00T만 상태 종류 · 명령 누적 기준 · 명령 유지 0.2 s

09
발표자 메모 · 근거

붐 카메라 시점(두 시점 영상 중 오른쪽을 잘라냄), 시작 거리 약 0.95 m, 성공 기준 버킷 끝~공 0.5 m. 표시 수치는 해당 에피소드 최종 거리(모두 표적 1). GR00T 줄: 실제 자세 상태 0.916 m(gpu01/physical_world-target01) · 명령 누적 기준 1.015 m(reference-manual-ssd-runfirst05/target01, 최소 0.919) · 카메라 확대 1.047 m(fovy34-manual-ssd-runfirst01/target01, 최소 0.918) · 이동량 2배 0.942 m(gain2-manual-ssd-runfirst01/target01, 최소 0.917). π0.5 줄 아래 설명 참고. π0.5 첫 시도 0.896 m((실행 기록)) · GR00T 실제 자세 상태 0.916 m(hr35_gr00t/gpu01/physical_world-target01) · GR00T 명령 누적 기준 target2 0.864 m(reference-manual-ssd-runfirst05) · π0.5 거울 축 D1/ep0 0.792 m(mirror_v1_attempt9) · π0.5 확대 D1/ep0 0.767 m(r1_fovy) · π0.5 이동량 2배 D1/ep0 0.583 m(gain2). 이 밖에 숨긴 공 대조, 명령 유지 0.2 s, 5스텝 실행, 서보 이득↑ 등도 모두 실패. 집계: 폐루프 72회(보이는 목표 54 + 숨김 대조 18), π 58 / GR 14, 0.5 m 도달 0. 근거 docs/research/2026-11-07-vla-excavator-zero-shot-independent-analysis.md §4·L151–158, (실행 기록)

9. 중간 결론

파인튜닝 없이 다른 장비에 그대로 쓰는 것은 불가능(이번 시험 범위의 결론) → 데이터와 학습으로
시도별 최종 거리
10
발표자 메모 · 근거

그림: 시도별 최종 거리를 0.5 m 기준선과 함께 표시(presentations/vla-experiment-story/build_figures.py 생성본 재사용). 세 가지 원인(독립 분석): ① π 이동량 부족(27회 최대 0.333 m, 필요 0.452 m) ② 두 모델 모두 공 좌우 위치 무시(GR은 매번 약 (−0.13, 0.99, 0.05) 방향) ③ 암 관절이 하한에서 시작해 거부 220건이 모두 암 축. 사용자 합의: 무학습 조정 중단, 파인튜닝으로 전환().

10. 기존 사례 ① Actor Labs — 실제 굴착기에 π0.5

운전자 손을 카메라로 보고 라벨을 만들고, 조이스틱 4축을 행동으로 π0.5를 LoRA 학습
위: 실제 현장에서 두 번 떠서 붓는 자율 작업(2026-05) · 아래: 여러 현장·조명의 성공 모음, 운전석에 단 제어 상자
데이터
운전자가 조이스틱을 조작하는 모습을 운전석 카메라로 촬영하고, YOLO로 스틱 위치를 읽어 행동 라벨(조이스틱 4축 값)을 만듦 · 기계 개조 없는 카메라 키트(15분 설치) · 실내 200 궤적 → 현장 숙련자 2.5시간 · 자체 VR 원격조작 병행
입·출력
카메라 3대(120°, 720p) + 지시문 (+ 현재 조이스틱 값) → 다음 시점의 조이스틱 위치 4개 [좌x 좌y 우x 우y], 10 Hz · 관절 각도는 쓰지 않음(엔코더 없음) · 분위수 정규화
모델·학습
π0.5 + LoRA 파인튜닝(openpi) · 플로우 매칭 행동 묶음 · 기체 Takeuchi TB20e 전동 미니 굴착기(렌탈) · 추론 Jetson Thor 또는 Starlink 원격, 명령은 CAN 버스
결과
실제 현장에서 참호 굴착·선회·덤프 자율 수행 영상(실시간) · 맑음·흐림·새벽·야간, 다른 현장에서도 동작했다고 주장 · 60대 이상 기계로 수집 확대
한계
성공률·사이클 시간·실패 사례 수치 없음(회사 블로그, 성공 장면 모음만) · 힘·부하 피드백 없이 영상만 · 2.5시간이 전체인지 마지막 적응분인지 불명
출처: labs.actor/research/vla-excavator (2026-03-07) · labs.actor/research/excavator-in-the-wild (2026-05-25) · 영상·그림 © Actor Labs
11
발표자 메모 · 근거

Actor Labs(미국 스타트업) 기술 블로그 2편. 1편(2026-03-07, L. Burgett, S. S. Verma 외): 세 장벽(데이터·인터페이스·모델). 데이터: Actor Collector Node — 기계에 계측을 달지 않고 캡 안 카메라로 운전자의 조이스틱 조작을 YOLOv8로 관측해 4D 행동 라벨 생성, 미 전역 다수 기계 배포(Castro Valley CA·Hill City KS 참호 굴착 등), 자체 VR 원격조작·가시선 조작 데이터 병행. 인터페이스: Jetson Thor + CANBUS. 모델: π0.5 LoRA, 다음 조이스틱 상태 직접 예측(영점 문제 우회), 분위수 정규화, 데드존 0.12. 2편(2026-05-25): 숙련 운전자 2.5시간 관찰 → 실제 현장 토공 자율 수행, 조명·장소 적응, 60대 이상 기계 협업, 영상 2개(success-grid, two-scoops)만 게시. 정량 지표·베이스라인·실패 사례 없음. 우리 시사점: 행동 공간을 조이스틱(=우리의 정규화 레버 명령 [−1,1] 4축)으로 둔 점이 APEX 명령 규격과 같다. 사전학습 모델 + 소량 현장 데이터로 동작했다는 주장은 우리의 파인튜닝 경로를 지지하지만 수치가 없어 기대치 산정에는 못 쓴다. 근거: 볼트 02_research/필드로봇/2026 Actor Labs - A VLA Policy for an Excavator_요약.md, 2026 Actor Labs - Excavator in the Wild_요약.md.

11. 기존 사례 ② 상하이교통대 — 시뮬레이터에서 SmolVLA

스크립트 교사 572회 시연으로 SmolVLA를 학습해 한 장면에서 83.5 % · 단, 감독기와 특권 정보 포함
공개 평가 영상 30초 · 왼쪽 전체 시점 + 오른쪽 정책 카메라 3대 · 감독기를 켠 상태의 한 사이클
데이터
Isaac Sim 입자 흙(약 4.5만 개) · 고정 차체 4축 · 흙더미를 아는 스크립트 교사가 10단계 굴착→트럭 적재 시연 · 품질 게이트 통과 572회 / 62,216 프레임
입·출력
카메라 3대(256²) + 고정 지시문 + 상태 27개(굴착 목표점·하역점·버킷 입자 수 포함) → 4축 관절 속도 50스텝 묶음, 앞 3스텝 실행
모델·학습
SmolVLA(0.45B) · 시각 인코더 고정, 액션 전문가·상태 투영층·추가한 단계 분류 헤드 학습 · 567회로 학습 후 평가 장면 5회로 미세학습 · GPU 대여 약 1,540위안
결과
같은 장면 200회 중 167회 성공(83.5 %) · 성공 = 트럭에 입자 1개 이상 · 감독기 없이 다른 팀이 500 장면 재평가 시 58 %
한계
들기 이후는 규칙 기반 감독기가 관절을 대신 움직임 · 목표점이 상태로 주어짐(어디 팔지 선택 안 함) · 평가 장면 = 학습 장면 · 학부 캡스톤, 라이선스 없음
출처: lingxiao-yang.github.io/Excavator_VLA_project_overview · github.com/jxbb824/ExcavatorVLA (smolvla) · SJTU ME 450 Group 19, 2026 · 그림·영상 © 원저자(라이선스 미표기)
12
발표자 메모 · 근거

SJTU Global College ME 450 캡스톤 Group 19(2026 여름, 후원 Builder[x] Robotics, 지도 Prof. Qianli Chen). 시뮬레이터 Isaac Sim GPU PhysX, 물리 60 Hz/정책 10 Hz, 입자 약 45,000개, 고정 베이스 4자유도 URDF, 속도 명령 적분 → 강성 PD 위치 드라이브, 유압 없음. 교사: 특권 스크립트(7×7 격자 점수화로 굴착점 선택, 해석적 IK 10단계 pre_dig→…→unload_to_bin), 572개/62,216프레임. 학습: SmolVLA(SmolVLM2-500M 기반, 약 4.5억), 시각 인코더 고정, 액션 전문가·상태 투영층·단계 분류 헤드 학습, AdamW lr 5e-5, batch 144, 567 → seed 2 장면 5개 미세학습 → ckpt 18,450. 평가: seed 2 고정 장면 200회, 350스텝 상한, 3스텝마다 재계획, 감독기 켬 → 167/200. 상태 27D(레거시 v3: base_x/y/yaw, 월드 좌표, 버킷 입자 수 포함), 성공 기준 트럭 적재함 입자 ≥1. 후속 제3자(moonlightplague/ExcavatorVLA_new): 감독기 없이 ckpt 040000, 무작위 500 장면, 입자 ≥100 기준 290/500(58 %) — 같은 선에서 비교 불가. 가져올 것: 단계형 교사와 단계 라벨, 두 층 품질 게이트, 정규화 통계 SHA 핸드셰이크, 실패 분류 코드. 피할 것: 특권 입력으로 과제 쉽게 만들기, 감독기 성공을 정책 성공으로 보고, 평가 장면을 학습에 포함. 근거: docs/research/2026-11-07-sjtu-excavator-smolvla-capstone-analysis.md, 세션 인계문서 2026-11-08-sjtu-excavator-vla-session-handoff.md.

12. 파인튜닝 방법 — GR00T N1.7

시각·언어 모델은 고정, 로봇별 투영층과 확산 헤드를 학습
고정학습파란 칸 = 로봇마다 따로 두는 작은 신경망(슬롯) · 굴착기는 빈 슬롯 10번을 씀카메라 영상캐빈 위 · 붐지시문“dig …”상태 8개관절각 4 + 속도 4잡음무작위 행동에서 출발시각·언어 모델Cosmos-Reason2 · 2B영상·지시문 → 특징고정상태 인코더 · 슬롯 10작은 MLP · 상태 132칸 → 1024 폭학습행동 인코더 · 슬롯 10잡음 행동 + 단계 → 1024 폭확산 액션 헤드DiT · 16층 · 폭 1024잡음 → 행동 묶음4단계 디노이징학습행동 디코더슬롯 10 · 작은 MLP1024 → 행동 132칸4축 명령 묶음8~16스텝 × 4(132칸 중 4칸)새 로봇 등록슬롯 번호(10) + modality.json(키·칸 수·정규화 범위)을 적는 설정 · 로봇팔 슬롯은 8칸·7칸용이라 4축엔 새 슬롯학습 대상슬롯 10의 작은 MLP 3개 + 확산 헤드 + 영상·언어 정규화층(공식 기본값) · 시각·언어 모델 고정 · LoRA 없음정규화데이터 1~99 백분위 → [−1, 1] · 범위 밖은 잘림 → 명령 크기가 데이터 범위에 묶임
13
발표자 메모 · 근거

기반 nvidia/GR00T-N1.7-3B, embodiment 태그 new_embodiment(슬롯 10). 학습 대상: 상태 인코더·행동 디코더(투영층) + DiT 액션 헤드, tune_vlln=True. LLM·시각 인코더 고정. LoRA 아님. 데이터셋 LeRobot v2.1 + meta/modality.json + modality config. 행동 4D ABSOLUTE·NON_EEF, delta_indices 0~15, 132D 패딩(strict_action_padding_mask 검토). 근거: docs/research/2026-11-04-model-io-contract.md §7(c), Isaac-GR00T 공식 파인튜닝 문서(gr00t/configs/finetune_config.py: tune_llm False, tune_visual False, tune_projector True, tune_diffusion_model True; tune_vlln True. getting_started/hardware_recommendation.md: 파인튜닝 최소 40 GB+ GPU, 기본 설정 약 35 GB, LLM·ViT까지 풀면 80 GB+).

13. 파인튜닝 방법 — π0.5

두 큰 블록은 LoRA, 영상 인코더와 입출력 투영은 전체 학습
LoRA학습큰 두 블록은 LoRA(작은 덧셈 행렬만 학습) · 나머지 작은 층은 그대로 학습카메라 영상224 × 224 · 슬롯 3지시문“dig …”상태 8개256구간 숫자 → 텍스트 토큰잡음무작위 행동에서 출발영상 인코더SigLIP학습PaliGemma · 3B영상 · 지시문 · 상태 토큰을한 줄로 읽는 언어 모델(상태 인코더 따로 없음)LoRA액션 전문가 · 0.3B플로우 매칭 10단계잡음 → 행동 묶음LoRA층별 특징행동 입력 투영잡음 행동 32칸 → 전문가 폭 (+ 단계 MLP)행동 출력 투영전문가 폭 → 행동 32칸→ 4축 명령 묶음 · 8~16스텝 (32칸 중 앞 4칸)왜 GR00T와 다른가각 모델의 공식 기본 설정을 따름 · GR00T: 시각·언어 고정 + 투영층·헤드 학습 · openpi: 전체 학습 기본, LoRA 변형 제공상태 경로π0.5는 상태를 텍스트 토큰으로 넣어 상태 인코더가 없음 · 행동 입·출력 투영 = GR00T의 행동 인코더·디코더 역할LoRA · 영상전체 학습 70 GB+ 대 LoRA 22.5 GB+ → 메모리 때문 · LoRA 설정은 언어 모델만 얼려서 영상 인코더는 학습됨(얼릴 수도 있음)
14
발표자 메모 · 근거

기반 pi05_base(gs://openpi-assets/checkpoints/pi05_base). 설정: gemma_2b_lora + gemma_300m_lora(이중 LoRA), 영상 인코더·action_in_proj/action_out_proj·time_mlp는 학습. 상태 discrete_state_input=True(256구간 → 프롬프트 토큰). 정규화 통계 compute_norm_stats로 사전 계산. 행동 32D 패딩 중 앞 4D 사용, action_horizon 16. 메모리 수치는 openpi 공식 README(openpi README 메모리 표: 추론 8 GB+, LoRA 22.5 GB+, 전체 70 GB+. 주의: 공식 config.py에는 pi05용 LoRA 설정이 없어 pi05=True + gemma_2b_lora/gemma_300m_lora + freeze_filter를 직접 조합해야 함). 근거: docs/execution/models/excavator-ft-entry.md L294–295·L604–606.

14. APEX에서 뽑는 데이터

ROS 2 토픽을 듣기만 하는 기록기로 받아 영상·상태·명령을 한 시각축에
APEX · Unity + AGX 흙굴착기 HR35 디지털 트윈유압 끔 · 관절 속도 명령카메라 RGB 2대캐빈 위 · 붐 아래 · 640×480 · 5 Hz관절각 · 관절 속도 4축스윙·붐·암·버킷 · 약 100 Hz명령 4축[−1, 1] 정규화 레버값 · 10 Hz차체 · 링크 자세롤·피치·요 · 링크 각 · 실린더 힘LiDAR 2대 → 높이 격자0.1 m 칸 · 미관측은 빈칸 · 5 Hz시계 · 좌표 변환(TF)촬영 시각 기준 정렬ROS 2 토픽 (읽기만)구독 기록기원시 바이트 + 이벤트 로그명령 없이 듣기만변환PNG(무손실) + JSONL촬영 시각으로 정렬LeRobot v2.1두 모델 공용 데이터셋+ modality.json한 에피소드5 Hz영상 기준 시각10 Hz명령 전송|u| ≤ 0.2느린 교사 속도q4 + v4상태u4행동(요청값)1문장지시문교사 제어기가 움직이는 동안 기록기는 듣기만 한다 → 요청 명령·적용 결과·영상을 같은 시각축에 놓는다
15
발표자 메모 · 근거

APEX: Unity + AGX 입자 흙, HR35 디지털 트윈, ROS 2 Humble, 유압(plant) 끔. 토픽: /apex/sensor/camera/{cabin,boom}/rgb(+camera_info) 640×480 5 Hz, /apex/hr35/measured_joint_states(r06에서 96.3 Hz), /apex/hr35/plant_state(18/24 슬롯: 링크 각·차체 롤피치요·GNSS·등가 실린더 힘·(plant 켤 때) 압력), /apex/hr35/command [1,swing,boom,arm,bucket] ∈[−1,1], /clock, /tf. LiDAR cabin·boom → hr35_lidar_grid_mapper → /apex/grid_map/elevation 0.10 m, 미관측 NaN, 셀별 최소 높이 누적, 5 Hz. 기록: scripts/apex/observe.py(구독 전용, 원시 CDR + events.jsonl) → scripts/apex/convert_raw.py(카메라별 JSONL + 무손실 PNG) → LeRobot v2.1 변환기, 아직 잠금). 수집 계약: 5 Hz 기준, 10 Hz 명령, |u|≤0.2, 상태 q4+v4, 행동 요청 u4, 지시문 "move the bucket edge to the red ball". 근거: docs/execution/apex/runbook.md, configs/apex/observer-commanded-r12.json, docs/execution/apex/intermediate-contract.md, state-signal-mapping-proposal-2026-11-07.md, model-io-contract §13.

15. 시험할 데이터셋 — 세 단계

쉬운 것부터 · 버킷 이동 → 굴착 → 전체 사이클 · 공격점 선택은 확장
1버킷 이동완료1-A학습 연결 점검기존 소량 자료로 한 번 갱신·과적합1-B·C좌표+영상 → 영상만좌표 없이 영상만으로 바로 진행1-D새 위치·새 목표 평가학습에 없던 위치 2곳 · 꼬깔콘2굴착 작업만진행 중2-A단계별 정책관입 · 끌기 · 닫기 · 올리기 따로 학습 ✓2-B전환은 알고리즘바깥 프로그램이 동작 전환 ✓2-C전환까지 정책모델이 다음 동작 판단 · 진행 중3전체 사이클계획3-A덤프 위치 → 공격점 이동3-B굴착 → 덤프 위치 이동3-C덤프 작업계획만 · 공격점은 외부에서 줌+확장 · 공격점까지 스스로 고르기세 단계는 공격점이 밖에서 주어진다고 가정 → 지형을 보고 어디를 팔지 정책이 고르려면 카메라 영상만으로는 부족, 지형 형상 입력이 필요
16
발표자 메모 · 근거

1단계 버킷 이동: 1-A 좌표+영상(연결·행동 출력 확인), 1-B 영상만으로 공 찾아가기(실패 시 모델 문제/과제 난이도 분리), 1-C 새 시작 위치·새 목표 평가. 현재 1-B·1-C 설계·분할 동결(20 에피소드), 수집 전. 2단계 굴착만: 교사가 관입·끌기·컬·들기로 나눠 단계 라벨 → 먼저 지시문으로 단계 주고 전환은 바깥 상태기계 → 다음 정책 하나가 전환까지. 3단계 전체 사이클: 덤프 위치 → 공격점 → 굴착 → 덤프 → 덤프 작업. 최종 보고 필수 아님(계획만). 확장: 공격점(POA) 선택까지 정책이. 지형 입력 필요 → 다음 장. 근거: handoff §4.2.

16. 공격점을 고르려면 지형이 보여야 한다

지형 높이 격자를 그림으로 VLM에 넣거나(길 A), CNN 토큰으로 상태에 붙이거나(길 B)
현재목표차이Unity 시뮬레이터APEX 관제 화면 — 라이다로 만든 지형 2D 격자칸 0.15 m · 색 = 높이 · 네모 = 팔 곳(초록)·버릴 곳(보라) · 차이 = 목표 − 현재길 A · 이미지로격자 그림 그대로→ 시각·언어 모델(VLM)의 영상 슬롯 3번째색↔높이 대응 고정 · 인코더 고정 → LoRA → 전체 학습소형 CNN격자 → 특징길 B · 토큰으로지형 토큰 몇 개(벡터)→ 상태에 붙여 액션 헤드 쪽으로GR00T: 상태 인코더 · π0.5: 상태 토큰 · 코드 수정뜻지형 높이를 (A) 그림으로 만들어 영상처럼 보게 하거나, (B) 숫자 격자를 작은 신경망으로 압축해 상태로 넣는다먼저 싸게 확인인코더 고정 + 선형층 하나로 교사의 공격점 좌표를 맞히는지 본다(선형 프로브) · 못 맞히면 길 B보조 출력행동과 함께 공격점 좌표도 내게 해 ‘고르기 오류’와 ‘가기 오류’를 분리데이터한 에피소드 안에서 여러 번 퍼서 달라진 지형에서 다음 공격점을 다시 고르는 장면 포함 · 영상과 같은 시각으로 기록
17
발표자 메모 · 근거

왼쪽 그림: APEX 관제 화면 실제 캡처(2026-11-13 사용자 제공, 두 번째 굴착 끝 장면). 왼쪽 세 칸 = 작업 설정 창의 지형 2D 격자 — 현재(라이다 실측 높이), 목표(편집한 목표 높이), 차이(목표 − 현재). 칸 0.15 m, 색 범위 −1 ~ +1 m, 회색 = 관측 없음, 초록 네모 = 흙을 팔 곳, 보라 네모 = 흙을 버릴 곳. 오른쪽 = 같은 순간의 Unity 시뮬레이터 화면. 캡처 6장(굴착 2회 × 시작·중간·끝) 중 1장을 잘라 썼고 원본 캡처는 수정하지 않았다. 이전 판의 RViz 화면·2026-09-10 높이 격자 변환 그림은 이 실제 관제 화면으로 바꿨다. 길 A: 부드러운 컬러맵 이미지를 세 번째 영상 슬롯에(π0.5 right_wrist 슬롯 / GR00T video 키 추가). 인코더 고정 → LoRA → 전체 학습 순. 이산 바둑판 이미지는 칸 경계를 무늬로 볼 위험. 길 B: 원 격자(현재·목표·차이 3채널) → 소형 CNN → 4×4 구역 토큰 16개를 모델 폭으로 투영해 토큰 줄에 추가. 공식 옵션 아님. 선형 프로브: 인코더 고정 + 선형층으로 교사 공격점 좌표 예측, 학습에 안 쓴 지형으로 평가(몇 시간 규모). 근거: handoff §4.4·§4.5, docs/execution/terrain/cpu-height-image.md, plan.md .

17. 첫 수집 데이터 — 교사 시연 20회

공 위치를 아는 교사 제어기가 움직이고, 기록기는 영상·상태·명령을 같은 시각으로 저장
교사 시연 예 · 왼쪽 캐빈 위 카메라, 오른쪽 붐 아래 카메라 · 2배속 · VLA 아님
20회 수집 → 19회 합격학습12 위치 × 1회검증2 위치 × 2회시험1 위치 × 4회← 1회 제외(프레임 속도)학습 자료684행 · 8스텝 창 593개지시문move the bucket edge to the red ball교사목표를 아는 비례 제어 · |u| ≤ 0.2 · 5 Hz형식LeRobot v2.1 · 두 모델 로더 통과
18
발표자 메모 · 근거

영상: (실행 기록)(교사가 명령, 정책은 기록만 하는 그림자 시험; 수집과 같은 교사·환경). 2배속으로 줄임. 수집 설계: configs/apex/splits/movement-v1-splits.json(수집 전 동결), 빨간 공 지름 0.3 m, 5 Hz, |u|≤0.2, 지시문 "move the bucket edge to the red ball". 품질 판정 D6~D9 규칙 적용 후 19/20 합격.

18. Lambda에서 파인튜닝한 과정

실패 원인을 하나씩 고쳐 GR00T 본 학습 완료 · 평가 오차 5.6배 감소
Lambda H100 · GR00T 학습 세션 (11/08 ~ 11/09)엘리스A100GPU 배정 안 됨 · 41분 대기실패1차H100 PCIe환경 OK → 1회 갱신 실패(모델 로딩 오류)실패2차H100 PCIe1회 갱신 통과 · 64회 과적합: 손실 65 %↓, 방향 미달부분3차H100 SXM1회 갱신 통과 · 본 학습 547회(20 epoch, 23분)통과π0.5H100 PCIe같은 절차로 첫 학습 · 이후 두 모델 모두 반복 학습완료외부 GPU 사용 · 오류는 오프라인 캐시 경로·배치 1 상태 dropout·bf16 검사 등 설정 문제였고 모두 수정평가용 자료 예측 오차 (행동 MAE, 낮을수록 좋음)0.122학습 전0.070183회0.027366회0.022547회항상 0을 내는 기준 0.0350.122 → 0.022 · 5.6배 감소 · 방향 일치 스윙 0.94 · 붐 0.67평가 자료 = 학습에서 뺀 한 위치(52창), 정식 검증 분할 아님
19
발표자 메모 · 근거

외부 GPU(Lambda H100 PCIe·SXM5)에서 GR00T 첫 학습 세션을 세 번 거쳤다. 1차: 환경 준비 통과, 한 번 갱신은 오프라인 모델 캐시 설정 오류로 실패 → 수정. 2차: 한 번 갱신 통과(배치 1 상태 dropout·bf16 재로드 검사 수정), 64회 과적합 검사에서 손실 −64.7 %지만 방향 일치 기준 미달(학습량 부족·정지 구간 75~92 % 분석). 3차: 본 학습 547회(20 epoch, batch 16, lr 1e-4 cosine, 약 23.5분), 평가 자료 MAE 0.1222 → 0.0695 → 0.0266 → 0.0218, 방향 일치 0.94/0.67/0.70/0.68, 0을 내는 기준 0.0346. 이후 같은 절차로 π0.5 첫 학습, 버킷 이동 2·3차와 공·콘 합본, 굴착 v2·v3 학습을 모두 외부 H100에서 했다. 근거: docs/execution/models/first-gr-session-result-2026-11-08.md, first-gr-g4-fit-analysis-2026-11-09.md, gr-second-session-result-2026-11-09.md.

19. 학습 후 첫 결과 — 버킷이 공까지 간다

11/09 파인튜닝한 GR00T 혼자 조종 · 학습에 안 쓴 위치에서 유효 3회 중 3회 도달

위치 6 · 2번째0.31 m

위치 7 · 3번째0.35 m

위치 7 · 1번째0.22 m

붐 아래 카메라 · 2배속 · 숫자는 버킷 끝~공 최소 거리 · 성공 = 0.5 m 안 1초 유지 · 학습 전 72회 0회 → 학습 후 3/3 · 추론은 로컬 RTX 5080, 약 0.1초

20
발표자 메모 · 근거

정책 단독 폐루프(교사 개입 없음, 모든 P 구간 명령 source=policy_g5 검증). 체크포인트 checkpoint-547(gr-second-01 G5). 추론: 로컬 RTX 5080 bf16, 공식 Gr00tPolicy + ZMQ(127.0.0.1), VRAM 약 6.4 GB, H100 평가와 MAE 0.02174 대 0.02177로 일치, 지연 p95 109.8~114.0 ms, 5 Hz 제어 경계 전 도착 15/15. 결과: P6-S2 d_min 0.307 m(16.2 s에 유지 충족), P7-S3 0.354 m(20.8 s), P7-S1 0.223 m(18.0 s; 1차 시도는 창 포커스 문제로 시작 전 실패 → 재실행). N=4, infra 1, n=3, k=3, Wilson 95 % [0.439, 1.0]. 위치 6·7은 dev 분할(학습 제외). 한계(11/09 당시): 분모가 작고, 시험 분할(test P2×4)과 π0.5는 이 시점 미평가 → 다음 장부터 이후 결과. 학습 전 0/72는 MuJoCo HR35 무학습 시험으로 환경이 다르다(직접 동일 비교 아님). 근거: (실행 기록), docs/execution/models/g5-policy-server-2026-11-09.md.

20. 버킷 이동 — 검증 위치 결과

모델을 바꿔 가며 다시 학습해도 위치 7 · 3번째에서만 반복 실패
위치 6 · 2위치 7 · 1위치 7 · 3공콘GR00T 1차0.31 m0.22 m0.35 m3/3—π0.5 2차0.44 m0.24 m제외2/2—GR00T 2차0.29 m0.76 m0.30 m2/3—GR00T 3차0.26 m0.38 m0.67 m2/3—π0.5 3차0.26 m0.18 m0.62 m2/3—π0.5 공·콘 ①0.35 m0.24 m0.66 m2/32/3π0.5 공·콘 ②0.25 m0.26 m0.33 m3/33/3GR00T 공·콘 ②0.26 m0.28 m0.25 m3/33/3성공(0.5 m 안 1초)실패판정 제외숫자 = 버킷 끝과 표적의 최소 거리 · ② = 보충 시범 추가 후

π0.5 공·콘 ① · 위치 7·3 · 콘 실패

최소 거리0.65 m
꼬깔콘 표적 · 붐 카메라 · 2배속 · 모델 구간만
팔을 거의 접지 않고 멈춤(공도 0.66 m 실패)
공·콘 합본 = 빨간 공과 꼬깔콘 표적을 한 모델로 함께 학습
21
발표자 메모 · 근거

dev 3장면(P6-S2, P7-S1, P7-S3, 출발 거리 0.84–1.23 m) 장면마다 1회. 성공 = 모델 혼자 운전하는 약 12초 구간에서 버킷 끝과 표적 사이 0.5 m 안에 1초 이상 연속 + 0.3초 넘는 기록 공백 없음 + 끝난 뒤 정지 확인 + 명령 거부 없음. π0.5 2차 P7-S3는 인프라 제외(참고 0.768 m). π0.5 공·콘 ② P7-S3 0.327 m는 원 판정이 '구간 안 사진 59장'으로 인프라였으나 구간 경계 계산 문제(최대 공백 0.23 s)라 '60장 이상' 보완 규칙으로 성공(그 전 run에는 사후 보완 규칙). 콘: π0.5 공·콘 ① 2/3(P7-S3 실패 0.647 m), ② 3/3(P7-S3 0.277), GR00T 공·콘 ② 3/3(P7-S3 0.252, P6-S0 0.042). 측정 조건: 로컬 RTX 5080 16 GB 1장(시뮬레이터와 모델 서버 공유), 드라이버 595.91.07, bf16, 10 Hz 명령·8단계 묶음 중 앞 4단계 실행·명령 크기 ±0.2, 정책 seed 7. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §1.1, 비교표 docs/execution/apex/policy-eval-comparison-dev3-2026-11-09.md. 영상: 정책(모델) 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존.

21. 버킷 이동 — 실패 원인과 보충 시범

원인은 출발 자세 빈칸 · 팔을 접는 시범 8개 보충 → 같은 위치 성공

π0.5 공·콘 ① 실패

첫 팔 명령 +0.040.65 m

π0.5 공·콘 ② 성공

첫 팔 명령 −0.230.28 m

GR00T 공·콘 ② 성공

첫 팔 명령 −0.200.25 m

① 그 출발 자세의 학습 장면 17개 중 팔 접기 0개 · 관절 상태만 바꿔 넣으면 첫 명령이 접기로 바뀜(카메라 사진만 바꾸면 그대로)
② 교사(규칙 제어기, VLA 아님) 보충 시범 8개(4위치 × 공·콘) 추가 → 검증 위치 공·콘 두 모델 6/6
위치 7·3 · 꼬깔콘 표적(공도 같은 결과) · 붐 카메라 · 2배속 · 모델 구간만 · 보충 장면은 실패를 본 뒤 그 근처에서 골랐다(처음 보는 위치 일반화 근거 아님)

22
발표자 메모 · 근거

실패한 4 run(GR00T 3차·π0.5 3차·π0.5 공·콘 ① 공·콘)은 첫 명령부터 팔 명령이 0 근처이거나 펴는 쪽이었고 끝 팔 각도 0.62–0.67 rad. 교사는 출발 2.4초 동안 팔을 최대 속도로 접어 0.600 → 0.297 rad. 바꿔 넣기 시험(로컬 GPU, 2026-11-10): π0.5 공·콘 ①에 P7-S3 첫 관측을 넣고 관절 상태만 P7-S1 것으로 바꾸면 팔 첫 명령 +0.03 → −0.18 ~ −0.24(seed 3개 모두), 카메라 사진만 바꾸면 +0.03 ~ +0.07. 이 모델의 첫 명령은 화면이 아니라 출발 관절 자세로 정해진다. 보충 수집: S3 자세에서 가까운 표적으로 팔을 접는 교사 장면 8개, 8개 모두 학습 자료 판정 수락. 학습 자료 run 24 → 32, 학습 창 1,217 → 1,610, S3 자세 행 17 → 35(팔 접기 0 → 18). 실제 운전(P7-S3): π0.5 ① 공 +0.033 / 0.656 m 실패 → ② 공 −0.233 / 0.327 m 성공, ② 콘 −0.232 / 0.277 m 성공, GR00T ② 공 첫 명령 −0.200 / 0.251 m 성공. 팔은 여전히 교사만큼 접지 않는다(끝 +0.12–0.17 rad). 슬라이드 영상(2026-11-13 콘으로 교체): π ① 콘 첫 팔 +0.042 / 0.647 m 실패, π ② 콘 −0.232 / 0.277 m 성공, GR ② 콘 −0.200 / 0.252 m 성공(근거 2026-11-12-numbers.md §1.3 표, policy-eval-gr-joint-v2 §2). 측정 조건: 로컬 RTX 5080 16 GB 1장(시뮬레이터와 모델 서버 공유), 드라이버 595.91.07, bf16, 10 Hz 명령·8단계 묶음 중 앞 4단계 실행·명령 크기 ±0.2, 정책 seed 7. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §1.2–§1.3, 분석 docs/execution/apex/p7s3-failure-analysis-2026-11-10.md. 영상: 정책(모델) 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존.

22. 버킷 이동 — 최종 시험 위치

잠가 둔 시험 위치에서 GR00T 7/8 · π0.5 7/8 · 단, 출발이 표적 가까워 변별력 낮음

GR00T · 꼬깔콘 · 시험 위치 성공

최소 거리0.30 m

π0.5 · 꼬깔콘 · 시험 위치 성공

최소 거리0.18 m

GR00T · 꼬깔콘 · 위치 6 성공

검증 위치 · 콘0.04 m

시험 결과(공 4 + 콘 4): GR00T 7/8(콘 1건은 끝난 뒤 관절 기록 0.54 s 공백으로 규칙상 실패) · π0.5 7/8(공 1건 화면 지연으로 제외)
시험 위치는 출발할 때 이미 표적과 0.24–0.56 m(검증 위치는 0.84–1.23 m) → “표적 근처에서 벗어나지 않는 능력”에 가깝고 두 모델을 가르지 못한다 · 붐 카메라 · 2배속 · 모델 구간만

23
발표자 메모 · 근거

최종 test(P2, 각 모델 공·콘 seed 4개씩 1회, 실행 전 고정 규칙). GR00T 공·콘 ②: 공 0.234/0.198/0.293/0.330 4/4, 콘 S0 실패(버킷은 12초 내내 0.5 m 안·최소 0.24 m였으나 끝난 뒤 정지 확인 단계 관절 상태 메시지 0.54 s 공백, 허용 0.5 s → 규칙대로 실패) 0.203/0.302/0.323 → 7/8. π0.5 공·콘 ②: 공 0.170/0.039/인프라(프레임 간격 99 % 값 78.4 ms, 기준 60 ms, 분모에 남김)/0.389 3/4, 콘 0.179/0.211(재실행: 무관한 예약 작업 CPU 사용으로 시작 전 멈춤)/0.325/0.241 4/4 → 7/8. '아무것도 안 하는 정책' 기준선은 측정하지 않았다(미검증). 차이가 드러난 점(참고): GR00T는 60개 표본 중 51–60개를 0.5 m 안에, π0.5는 7–60개. 모델 응답 중앙값 GR00T 103–109 ms, π0.5 119–122 ms. 영상(꼬깔콘): GR00T 공·콘 ② 시험 S2 콘 0.302 m 성공, π0.5 공·콘 ② 시험 S0 콘 0.179 m 성공(이전 판의 공 영상 GR S2 0.293 m·π S1 0.039 m를 같은 결과의 콘 영상으로 교체, 2026-11-13). 세 번째 영상은 시험이 아니라 검증 위치 6 꼬깔콘(GR00T 공·콘 ②, 0.042 m). 측정 조건: 로컬 RTX 5080 16 GB 1장(시뮬레이터와 모델 서버 공유), 드라이버 595.91.07, bf16, 10 Hz 명령·8단계 묶음 중 앞 4단계 실행·명령 크기 ±0.2, 정책 seed 7. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §1.4, docs/execution/apex/policy-eval-test-final-2026-11-10.md. 영상: 정책(모델) 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존.

23. 버킷 이동 — 처음 보는 위치

어느 자료에도 없던 위치 2곳 · GR00T 4/8 · π0.5 6/8 · 높은 곳은 움직임이 모자람

π0.5 · 낮은 위치 · 콘 성공

최소 거리0.11 m
낮은 위치(위치 17)는 8 run 모두 0.39 m 안

π0.5 · 높은 위치 · 콘 실패

최소 거리0.49 m
높은 위치(위치 16)는 8 run 모두 0.42–0.53 m에서 멈춤

꼬깔콘 표적 · 붐 카메라 · 2배속 · 모델 구간만 · 출발 거리 0.92–1.26 m

읽는 법
4/8 · 6/8GR00T · π0.5
  • 방향은 처음 보는 위치에서도 대체로 맞다
  • 크기가 모자람: 높은 위치에서 붐이 0.12–0.17 rad 낮고 팔이 0.25–0.32 rad 덜 접힘
  • GR00T 실패 4건 중 2건은 끝난 뒤 기록 공백 → 거리만 보면 6/8 대 6/8, 우열 미확정
24
발표자 메모 · 근거

새 위치(실행 전 고정 규칙): P16 = 전방 2.5 m·오른쪽 0.5 m·높이 0.75 m, P17 = 전방 2.5 m·왼쪽 0.5 m·높이 0.35 m. 둘 다 학습 위치 사이(보간), 가장 가까운 기존 위치와 0.64 m. 학습 범위 밖(외삽) 후보는 시뮬레이터 점검을 통과한 것이 없어 시험하지 않음. GR00T 공·콘 ②: 공 P16-S1 실패 0.494 / P16-S3 성공 0.426 / P17-S2 실패(정지 확인) 0.284 / P17-S3 성공 0.321, 콘 실패 0.490 / 실패(정지 확인) 0.424 / 성공 0.385 / 성공 0.298 → 4/8(거리 기준만 6/8). π0.5 공·콘 ②: 공 성공 0.449 / 실패 0.528 / 성공 0.115 / 성공 0.135, 콘 실패 0.485 / 성공 0.454 / 성공 0.113 / 성공 0.080 → 6/8. P16 성공 3번도 경계(0.43–0.45 m). 교사는 같은 곳을 2 mm까지 간다(오프라인 재현). 정지 확인 실패 3건은 모두 GR00T(관절 상태 0.51–0.80 s 공백, 관절은 실제로 멈춤, 원인 미확인). 영상(꼬깔콘, 2026-11-13 교체): π0.5 콘 P17-S2 성공 0.113 m, π0.5 콘 P16-S1 실패 0.485 m(이전 판은 공 P17-S2 0.115 m·공 P16-S3 0.528 m; 콘 P16-S3은 0.454 m로 성공이라 실패 예시는 S1). GR00T 새 위치 영상은 싣지 않는다. 측정 조건: 로컬 RTX 5080 16 GB 1장(시뮬레이터와 모델 서버 공유), 드라이버 595.91.07, bf16, 10 Hz 명령·8단계 묶음 중 앞 4단계 실행·명령 크기 ±0.2, 정책 seed 7. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §1.5, docs/execution/apex/policy-eval-newpos-2026-11-10.md. 영상: 정책(모델) 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존.

24. 굴착 — 네 동작으로 나눠 학습

관입 → 끌기 → 닫기 → 올리기를 동작별 지시문으로 한 모델에 학습
1관입버킷 날을 흙에 넣기날 깊이 2 cm 이상2끌기흙 속에서 앞으로 끌기0.25 m 이동 · 80 % 이상 흙 속끝에 흙 1 kg 이상3닫기버킷을 말아 흙 담기버킷 −130° 이하흙 0.5 kg 이상 유지4올리기흙을 담은 채 들기흙 위 1.2 m · 흙 80 % 유지동작별 평가교사(규칙 제어기)가 직전 동작까지 운전 → 그 동작만 모델이 운전교사 구간은 VLA 아님 · 영상은 모델 구간만연속 굴착모델이 네 동작을 혼자 이어서 운전 · 다음 동작으로 넘기는 신호만 바깥 프로그램지시문을 동작마다 바꿔 줌학습 자료교사 굴착 시연 · 흙 위치 3곳(학습 창 833) → 끌기 보강으로 새 위치 12곳 추가(학습 창 1,996)공통 판정: 시뮬레이터 화면이 기준(초당 90장 이상 등)보다 느리면 '판정 제외' — 실패가 아니라 검증 불가
25
발표자 메모 · 근거

성공 기준(동작별, 실행 전 고정): 관입 = 끝 날 깊이 0.02 m 이상(최대 0.15 m 이하), 끌기 = 전진 0.25 m 이상 + 끄는 동안 날이 흙 속에 있던 비율 0.80 이상 + 끝 흙량 1.0 kg 이상, 닫기 = 버킷 각도 −130° 이하 + 흙 0.5 kg 이상이고 그때까지 최대량의 70 % 이상, 올리기 = 날이 흙 표면 위 1.2 m 이상 + 흙 80 % 이상 유지. 여기에 화면 기준까지 넘어야 '성공', 화면 기준을 못 넘으면 '판정 제외'(실패가 아님, 이 PC 시뮬레이터에서 검증 불가). 위치: 학습 위치(몸통 회전 0)와 검증 위치(+0.12 rad). v3 모델은 학습 위치(+0.10, +0.14)가 검증 위치를 양쪽에서 감싸 '보간'에 가깝다. 학습 자료: v2 = 흙 위치 3곳·학습 창 833, v3 = + 새 위치 12곳·학습 창 1,996(관입 882, 끌기 55 → 187, 닫기 332, 올리기 595), 끌기 창 3배 반복. 두 모델 모두 외부 H100에서 학습. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §2.0·§2.3.

25. 굴착 — 첫 평가: 끌기에서 날이 뜬다

첫 평가 GR00T 2/4 · π0.5 1/4 · 끌기 4칸 모두 실패, 흙 실은 동작은 판정 불가

π0.5 · 끌기 · 검증 위치 실패

날이 흙 위로 뜸 · 흙 속 비율0.22
붐 카메라 · 작은 화면 = 모델 입력 화면(운전석 · 버킷 이동용 표적 공이 함께 보임) · 0.5배속 · 모델 구간(2.4 s)만 · 앞 동작은 교사(VLA 아님)
첫 평가 (11/10, v2 모델)GR00Tπ0.5학습 위치검증 위치학습 위치검증 위치관입제외성공성공성공끌기실패실패실패실패닫기제외제외제외제외올리기제외성공제외제외
  • 문제 ① 끌기 중간 날 깊이: 교사 +1.6~2.1 cm(흙 속) ↔ 모델 −2.5~−3.8 cm(흙 위)
  • 문제 ② 흙을 실은 닫기·올리기에서 화면이 느려져 판정 제외
26
발표자 메모 · 근거

1차 동작별 폐루프(11/10, v2 모델, 판정 규칙 v3 사전 고정). 교사가 직전 동작까지 운전 → 그 동작만 모델이 운전. 관입: GR00T 학습 위치 판정 제외(정지 확인 실패), 검증 위치 성공 / π0.5 두 위치 성공. 끌기: GR00T 흙 속 0.46·0.23, π0.5 0.25·0.22 모두 실패. 닫기: 모두 판정 제외(화면 느림). 올리기: GR00T 검증 위치만 성공, 나머지 판정 제외. 통과 동작(두 위치 중 한 곳 이상 성공): GR00T 2/4(관입·올리기), π0.5 1/4(관입). 정책 동작만 본 기준(참고): 관입 5/5, 끌기 5/5 실패, 닫기 7/8, 올리기 7/7 통과. 연속 굴착 진입 조건(3/4) 미달. 측정 조건: RTX 5080, 595.91.07, bf16, 벽시계 화면 기준(동기 정지 전). 근거 정리본: docs/execution/results/2026-11-12-numbers.md §2.4–§2.5, docs/execution/apex/dig-closedloop-eval-v3-2026-11-10.md. 영상: 정책(모델) 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존.

26. 굴착 — 보완 세 가지

자료 보강 · 시뮬레이터 동기 정지 · 명령 적용 일정 맞추기 — 재학습은 첫 번째뿐
1끌기 자료 보강

새 흙 위치 12곳에서 교사 시연 수집 · 끌기 학습 창 55 → 187 · 끌기 3배 반복해 재학습

왜: 끌기 창이 다른 동작(215–294)보다 훨씬 적었다

오프라인 끌기 붐 오차 1/3–1/4로 감소
실제 끌기는 여전히 실패 → 3번으로
2시뮬레이터 동기 정지

모델이 계산하는 0.12–0.2 s 동안 시뮬레이터 시간을 멈추고, 답이 오면 재개

왜: 같은 GPU에서 π0.5 계산 중 화면이 5–8배 느려짐 · 원격 추론은 왕복 0.94 s로 불가

멈춤 218회 모두 정상 · 닫기·올리기도 판정 가능해짐
3명령 적용 일정 맞추기01234567모델이 낸 8칸 묶음0번 = 적용 땐 이미 지난 몫 → 건너뜀1번부터 실행

왜: 학습 자료의 명령은 관측 0.07 s 뒤 것인데 시험 프로그램은 요청 0.2 s 뒤부터 적용 → 0번 칸이 늦어 붐을 더 올림 · 계산 중엔 시뮬레이터를 멈추므로 계산 시간 탓 아님

재학습 없이 끌기 8/8
27
발표자 메모 · 근거

보완 1(11/11): 새 흙 위치 12곳 교사 수집(14 run 모두 정상, 끌기 12/12 채택), 학습 창 833 → 1,996, 끌기 창 3배 반복(실행 전 고정). 검증 위치 끌기 붐 오차 GR00T 0.0192 → 0.0050, π0.5 0.0137 → 0.0056(오프라인 지표, 실제 굴착 성공을 뜻하지 않음). 보완 2(11/11): 모델 계산 중 시뮬레이터 시간 0배, 화면 기준 시계 = 시뮬레이터 시간(수치는 그대로). 같은 GPU에서 π0.5 계산 중 관입 화면 198 → 34장/초(GR00T는 약 1.5배 느려짐). 원격 추론 시험: 외부 H100(미국 서부), 모델 계산 0인 가짜 서버, 실제 굴착 사진 2장 150회 왕복 p50 938 ms·p99 1,569 ms(필요 0.2 s) → 불가. 보완 3(11/12): 모델이 낸 8칸 묶음(0.2 s 간격) 중 0번 칸을 건너뛰고 1번 칸부터 실행. 원인은 모델이 아니라 시험 실행 프로그램(발행기)의 명령 적용 일정과 학습 자료의 명령 시점 정의가 어긋난 연결 문제다: 학습 자료의 각 관측 정답은 '관측 70 ms 뒤에 나간 명령'인데, 시험 프로그램은 요청 직전 최신 화면으로 묶음을 받아 요청 0.2 s 뒤에 첫 칸을 적용 → 0번 칸 기준 약 0.13 s 늦고 1번 칸 기준 약 0.07 s 이르다. 굴착 시험은 모델 계산 중 시뮬레이터를 멈추는 동기식이므로 모델 계산 시간은 이 어긋남을 만들지 않는다(이전 판의 '추론 지연 보정'이라는 이름은 기전을 잘못 가리켜 고침, 2026-11-13). 모델 묶음은 교사와 거의 같음(붐 차이 −0.01 ~ +0.02)이나 0번 칸이 늦게 들어가 붐을 +0.016 ~ +0.035 더 올림. 모델 재학습 없음. 모의 실행에서 둘째 칸부터 실행 시 흙 속 1.0. 이 실행 방식은 끌기 실패를 본 뒤 골랐다(규칙 자체는 실행 전 고정). 주의: 첫 평가 → 재평가 사이에 모델(v2 → v3)·진행 방식(동기 정지)·화면 시계가 함께 바뀌었다. 개선을 한 가지 원인으로 돌리지 않는다. 재평가 → 끌기 보정은 실행 방식 하나만 바뀌었다. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §2.5, docs/execution/models/dig-drag-improve-2026-11-11.md, docs/execution/apex/dig-eval-infra-2026-11-11.md, docs/execution/models/dig-drag-round2-2026-11-12.md.

27. 굴착 — 동작별 재평가

보완 1·2 적용 후 두 모델 모두 관입 · 닫기 · 올리기 통과 (3/4)
관입
닫기
올리기
GR00T3/4 동작
검증 위치 · 깊이 6.1 cm성공
검증 위치 · −132° · 13.0 kg성공
학습 위치 · 끝 18.3 kg성공
π0.53/4 동작
학습 위치 · 성공성공
학습 위치 · −133° · 14.4 kg성공
학습 위치 · 끝 17.8 kg성공

붐 카메라 · 작은 화면 = 모델 입력 화면(운전석 · 버킷 이동용 표적 공이 함께 보임) · 실제 속도 · 끌기는 아직 실패 → 다음 장

28
발표자 메모 · 근거

동작별 재평가(11/11, v3 모델, 동기식, 규칙 v4.2 실행 전 고정). GR00T: 관입 학습 위치 성공(깊이 0.037 m)·검증 위치 성공(0.061 m), 끌기 실패(흙 속 0.33, 0.68 kg / 0.59, 1.94 kg), 닫기 학습 위치 판정 제외(흙 14 kg 물리 부하로 검증 불가)·검증 위치 성공(α −132.1°, 13.0 kg), 올리기 성공(끝 18.3 kg / 15.1 kg) → 3/4. π0.5: 관입 학습 위치 성공·검증 위치 판정 제외(가드 감시 오류·메모리 압력 비상 정지), 끌기 실패(0.53, 0.95 kg / 0.75, 1.75 kg), 닫기 학습 위치 성공(α −132.5°, 14.4 kg)·검증 위치 판정 제외(19 kg 검증 불가), 올리기 학습 위치 성공(17.8 kg)·검증 위치 미실행(시작 전 여유 메모리 부족) → 3/4. 끌기 개선 정도: 구간 절반 날 깊이 −2.5 ~ −3.8 cm → −0.3 ~ −1.2 cm, π0.5 흙 속 0.22–0.25 → 0.53–0.75. 이전 판정과 나란히: GR00T 2/4 → 3/4, π0.5 1/4 → 3/4. 측정 조건: 로컬 RTX 5080, 드라이버 595.91.07, bf16, 동작당 모델 서버 1개. v4.2 이후 동기식(모델 계산 중 시뮬레이터 정지), 화면 기준은 시뮬레이터 시간으로 계산(정책 구간 초당 90장 이상·느린 1 % 프레임 60 ms 이하·사진 공백 0.3 s 이하). 모델·동작·위치당 유효 run 1개 → 위치 일반화·모델 우열을 주장하지 않는다. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §2.6, docs/execution/apex/dig-closedloop-eval-v42-2026-11-11.md. 영상: 정책(모델) 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존.

28. 굴착 — 끌기: 명령 적용 일정을 맞추자

원인은 모델이 아니라 시험 프로그램의 명령 적용 일정 · 재학습 없이 끌기 8/8
GR00T · 학습 위치
π0.5 · 검증 위치
보정 전11/11
흙 속 0.33 · 0.68 kg실패
흙 속 0.75 · 1.75 kg실패
둘째 칸부터 실행
8/8끌기 성공
  • 학습 자료 명령 = 관측 0.07 s 뒤 · 시험 적용 = 0.2 s 간격 일정 → 첫 칸이 늦음
  • 두 모델 × 두 위치 × 실행 칸 수 2가지 · 흙 속 비율 1.0
  • 재학습 없음 · 계산 중 시뮬레이터 정지라 계산 시간 탓 아님
보정 후11/12
흙 속 1.0 · 3.83 kg성공
흙 속 1.0 · 5.50 kg성공

붐 카메라 · 작은 화면 = 모델 입력 화면(운전석 · 버킷 이동용 표적 공이 함께 보임) · 0.5배속 · 끌기 모델 구간만 · 앞 동작은 교사(VLA 아님) · 이 실행 방식은 끌기 실패를 본 뒤 골랐다

29
발표자 메모 · 근거

끌기 명령 적용 일정 맞춤 시험(11/12, 규칙 v4.2-k2 실행 전 고정, 판정 기준·판정기 동일; 이전 판 이름 '추론 지연 보정'은 기전을 잘못 가리켜 2026-11-13 고침). 실행 방식 2가지: 1–4번 칸 실행, 1·2번 칸 실행. 원인: 학습 자료의 명령 시점(관측 70 ms 뒤)과 시험 실행 프로그램의 적용 일정(요청 0.2 s 뒤 첫 칸, 0.2 s 간격)이 어긋남 → 0번 칸 기준 약 0.13 s 늦음, 1번 칸 기준 약 0.07 s 이름. 굴착 시험은 모델 계산 중 시뮬레이터를 멈추므로 모델 계산 시간 탓이 아니다. 근거 docs/execution/models/dig-drag-round2-2026-11-12.md B2, docs/research/2026-11-13-fieldfit-framework-critique.md §3.2. 단서: 둘째 칸은 실제 어긋남보다 0.07 s 앞선 명령이라 날이 더 깊이 들어갔을 수 있다 — '붐을 덜 올리게 하는 다른 치우침'으로도 끌기가 살았을 가능성을 가르는 시험(0.13 s 보간 적용 등)은 하지 않았다. 4칸·2칸은 같은 둘째 칸에서 시작해 독립 시행이 아니다(보수적으로 모델 × 위치 4조건 0/4 → 4/4). 결과 8/8: GR00T 학습 위치 흙 속 1.0·이동 0.255 m·3.83 kg(4칸) / 1.0·0.260·3.19(2칸), π0.5 학습 위치 1.0·0.259·5.58 / 1.0·0.263·3.18, GR00T 검증 위치 1.0·0.257·3.88 / 1.0·0.261·2.65, π0.5 검증 위치 1.0·0.261·5.50 / 1.0·0.260·5.83. 날 깊이 중간값 +1.3–2.4 cm(교사 +1.6–2.1 cm). 흙을 교사보다 더 담는다 — 다음 동작(닫기)의 흙 부하가 커지는 부작용. 4칸과 2칸 우열은 말하지 않는다(모델·위치·방식당 1 run). 끌기 단독 평가(교사가 관입까지 운전). 한계: 같은 위치 2곳에서 확인했을 뿐 다른 위치·장면 일반화 근거는 아니다. 측정 조건: 로컬 RTX 5080, 드라이버 595.91.07, bf16, 동작당 모델 서버 1개. v4.2 이후 동기식(모델 계산 중 시뮬레이터 정지), 화면 기준은 시뮬레이터 시간으로 계산(정책 구간 초당 90장 이상·느린 1 % 프레임 60 ms 이하·사진 공백 0.3 s 이하). 모델·동작·위치당 유효 run 1개 → 위치 일반화·모델 우열을 주장하지 않는다. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §2.7, docs/execution/apex/dig-closedloop-eval-v42-k2-2026-11-12.md. 영상: 정책(모델) 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존.

29. 굴착 — 연속 굴착

두 모델 모두 교사 없이 관입 → 끌기 → 닫기 → 올리기를 두 위치 완주 (각 2/2)

GR00T · 학습 위치 · 바깥에서 동작 전환 시연

GR00T · 검증 위치 · 스스로 동작 전환 시연

  • 위 두 영상 = 밖에서 찍은 시연 녹화 · 공식 결과 아님 · 2배속
  • 스스로 전환은 같은 조건 3회 중 2회 완주
  • 공식 판정 = 아래 네 run · 흙 30 kg↑ 화면 느려짐 → ‘전체 시연 성공’으로 세지 않음

GR00T · 학습 위치 4/4

흙 31.8 kg동작 판정 4/4

GR00T · 검증 위치 4/4

흙 32.7 kg동작 판정 4/4

π0.5 · 학습 위치 4/4

흙 42.0 kg동작 판정 4/4

π0.5 · 검증 위치 4/4

흙 48.0 kg동작 판정 4/4

아래 네 칸 = 공식 run의 붐 카메라 · 2배속 · 동작 넘김 신호만 바깥 프로그램 · π0.5는 시간 한도만 8 → 20 s

30
발표자 메모 · 근거

연속 굴착(11/12, 규칙 2단계 v3 실행 전 고정). 네 동작 모두 둘째 칸부터 실행. 흙 수치는 끌기 끝 → 닫기 끝 → 올리기 끝. GR00T 학습 위치: 네 동작 끝 신호 4/4, 동작 판정 4/4 통과, 시간 전환 0, 최종(화면 기준 포함) 관입·끌기 성공·닫기·올리기 화면 기준 제외, 흙 7.1 → 30.4 → 31.8 kg. GR00T 검증 위치: 4/4, 4/4 통과, 시간 전환 0, 관입 성공·끌기·닫기·올리기 화면 기준 제외, 흙 8.9 → 30.3 → 32.7 kg. π0.5(11/12 재실행, 규칙 v5 실행 전 고정 = 동기 정지 누적 상한 8 → 20 s, 끝 구간 회수 속도 틱당 10 → 40 ms만 변경, 정책 구간 명령 일정·판정 기준 불변): 학습 위치 네 동작 끝 신호 4/4·동작 판정 4/4 통과, 시간 전환 0, 관입 성공·끌기·닫기·올리기 화면 기준 제외, 멈춤 48회 합계 9.18 s, 끝 밀림 0, 흙 16.4 → 39.8 → 42.0 kg. 검증 위치 4/4·4/4 통과, 관입·끌기 성공·닫기·올리기 화면 기준 제외, 멈춤 48회 8.32 s, 끝 밀림 0, 흙 15.0 → 46.5 → 48.0 kg. 학습 위치 첫 시도는 시뮬레이터 에디터 시작 지연(정책과 무관)으로 시작 전 실패 → 규칙대로 1회 재시도. 이전 π0.5 시도(한도 8 s)는 판정 불가였다: 학습 위치는 끝 시간 보정 0.61 s 부족, 검증 위치는 올리기 도중 정지. 같은 설정의 GR00T 대조 실행 2회는 관측 사진 지연 연속 2회로 안전 정지(판정 불가) → GR00T 공식 결과는 첫 실행 그대로. 영상(2026-11-13 재배치, 사용자 결정 '외부 시점 위주'): 아래 네 칸은 공식 run 녹화의 붐 카메라만(운전석 카메라에는 버킷 이동용 표적 공이 함께 보여 뺐다). 위 두 칸은 외부 시점 시연 녹화(공식 결과 아님, 공 숨김): 왼쪽 = GR00T 학습 위치 바깥에서 동작 전환(공식 run과 같은 방식의 재현, 네 동작 판정 통과, 관입 깊이 4.0 cm), 오른쪽 = GR00T가 지시문 하나로 스스로 동작을 바꾼 검증 위치 run(네 동작 판정 통과·순서 정확, 관입 깊이 4.2 cm), 외부 카메라 1280×720 30 fps를 2배속 960×540으로 줄임, 공 숨김. 같은 조건 자체 전환 시연 누적 GR00T 3회 중 2회 완주. 외부 카메라는 모델 입력에 넣지 않음. 공식 판정 수치는 바뀌지 않음. 근거 docs/execution/apex/dig-self-switch-results-2026-11-13.md Part G. 규칙상 '전체 시연 성공'(네 동작 모두 최종 성공)은 두 모델 모두 아니다 — 이유는 모델 동작이 아니라 흙 30–50 kg에서의 시뮬레이터 속도(초당 20–33장)이다. 측정 조건: 로컬 RTX 5080, 드라이버 595.91.07, bf16, 동작당 모델 서버 1개. v4.2 이후 동기식(모델 계산 중 시뮬레이터 정지), 화면 기준은 시뮬레이터 시간으로 계산(정책 구간 초당 90장 이상·느린 1 % 프레임 60 ms 이하·사진 공백 0.3 s 이하). 모델·동작·위치당 유효 run 1개 → 위치 일반화·모델 우열을 주장하지 않는다. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §2.8–§2.9, docs/execution/apex/dig-closedloop-part2-results-2026-11-12.md, docs/execution/apex/dig-part2-timing-ext-2026-11-12.md. 영상: 정책(모델) 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존.

30. VLA 대 비VLA 기준선 — 같은 자료·같은 시험

언어를 읽지 않는 작은 모델 ACT도 대체로 비슷 · 처음 보는 위치·관입은 더 낮음 · 우열 일반화 안 함
시험GR00Tπ0.5ACT (비VLA)
버킷 · 검증 위치
공·콘 3위치
6/66/66/6
버킷 · 시험 위치
출발이 표적 근처 → 변별력 낮음
7/87/86/8
버킷 · 처음 보는 위치
ACT는 낮은 위치 4번 중 3번 실패
4/86/83/8
굴착 · 동작별 통과
ACT 관입 두 위치 실패 · 끌기는 둘째 칸 방식
4/44/43/4
연속 굴착 · 동작 판정
학습 위치 · 검증 위치
4/4 · 4/44/4 · 4/44/4 · 4/4
연속 굴착 · 화면 기준까지 성공
성공 동작 수 · 나머지는 판정 제외(검증 불가)
2 · 11 · 24 · 3
연속 굴착 · 최대 흙
흙이 적으면 시뮬레이터가 덜 느려짐
32 · 33 kg42 · 48 kg20 · 13 kg
모델 응답 시간(중앙)
같은 GPU
103–109 ms119–122 ms14 ms
읽을 때 주의
  • ACT = 카메라 2대·관절 상태만 보고 명령 묶음을 내는 작은 모방학습 모델 · VLA 아님
  • 모델·위치·방식당 run 1개 → 우열을 일반화하지 않음
  • ACT 연속 굴착 ‘네 동작 성공’은 흙이 VLA의 절반 이하라 시뮬레이터가 덜 느려진 것 · VLA의 ‘판정 제외’는 실패가 아니라 검증 불가
  • ACT는 응답이 7–9배 빨라 시뮬레이터 멈춤도 짧음
31
발표자 메모 · 근거

비VLA 기준선(11/13): 독립 비판 검토의 지적에 따라 VLA가 아닌 학습 정책을 같은 자료·같은 시험으로 학습·운전(live 33 run). ACT = 행동 묶음 + 트랜스포머 방식의 모방학습(2023 로봇팔 연구, 굴착기 연구 ExACT 2024도 사용). 버킷(성공 = 0.5 m 안 1초 + 정지 확인 + 공백 없음, VLA와 같은 60장 이상 규칙으로 재판정): ACT dev 공 0.089/0.210/0.289·콘 0.203/0.188/0.110 m → 6/6. test 공 0.227/0.331/0.508✕/0.063, 콘 0.243/0.185/0.546✕/0.164 → 6/8(S2만 벗어남). 새 위치 공 P16-S1 0.607✕/P16-S3 0.425/P17-S2 0.617✕/P17-S3 0.408, 콘 0.688✕/0.285/0.511✕/0.560✕ → 3/8. VLA와 달리 낮은 쪽 P17이 어려웠다(원인 미분석, 사후 참고). 굴착 동작별(v4.2 + 끌기 둘째 칸 방식): ACT 관입 학습 위치 깊이 0.019 m(기준 0.02) 실패·검증 위치 시간 초과 실패, 끌기 두 위치 흙 속 1.0(6.3·5.8 kg), 닫기 학습 위치 성공(−132.3°, 17.9 kg, 1회차 화면 느림으로 규칙 내 재실행)·검증 위치 판정 제외(두 번 모두 화면 기준 미달), 올리기 두 위치 성공(19.1·17.7 kg) → 3/4. VLA 4/4는 끌기 둘째 칸 방식(11/12)과 나머지(11/11)를 합친 같은 조합. 연속 굴착(규칙 2단계 v5): ACT 네 동작 끝 신호·동작 판정 두 위치 4/4, 시간 전환 0. 학습 위치는 화면 기준까지 네 동작 모두 성공(이 시험의 첫 ‘전체 시연 성공’), 검증 위치는 관입·끌기·올리기 성공·닫기 판정 제외. 그러나 ACT는 끌기 끝 흙이 13.0·9.8 kg로 VLA의 절반 이하라 정책 구간 화면이 초당 156·142장으로 덜 느려졌고, 추론 약 10 ms라 멈춤도 짧았다(41·43회). 이 차이를 모델 우열로 읽지 않는다. 연속 굴착 관입(둘째 칸 방식)은 성공했는데 동작별 관입(첫 칸부터)은 실패 — 실행 방식 차이로 보이나 확인 시험 없음. 응답 시간: ACT run별 중앙 13.8–31.4 ms(p95 최대 34.7), GR00T 103–109 ms, π0.5 119–122 ms. 인프라·재실행: 콘 P17-S2 1회(구간 사진 59장), 닫기 학습 위치 1회(화면 45.5장/초), 교사 관문 1회 더(규칙 내). 정책 실패는 재실행하지 않음. 측정 조건: 로컬 RTX 5080 16 GB(시뮬레이터와 공유), 드라이버 595.91.07, ACT fp32(버킷 25,000 step·굴착 35,000 step, 공식 기본 학습량의 약 35 %), VLA는 bf16. 같은 학습 자료·같은 카메라 2대 + 관절 상태 입력·같은 8칸 명령 묶음·같은 실행 방식과 판정기. ACT는 지시문 대신 과제 번호(버킷 공·콘, 굴착 네 동작)를 받는다. 근거: docs/execution/models/act-baseline-2026-11-13.md Part D(D1–D5), 결과 묶음 (실행 기록), VLA 수치 docs/execution/results/2026-11-12-numbers.md §1·§2.

31. 비VLA 기준선 — 영상으로 보기

ACT 연속 굴착 네 동작 성공(흙 20 kg) · 처음 보는 낮은 위치에서는 표적 앞에서 멈춤

ACT · 연속 굴착 · 학습 위치 네 동작 성공

흙 최대 20.0 kg · VLA는 32–48 kg화면 기준까지 4/4
붐 카메라 · 작은 화면 = 모델 입력 화면(운전석 · 버킷 이동용 표적 공이 함께 보임) · 2배속 · 모델 구간만 · 흙이 적어 시뮬레이터가 덜 느려진 결과 → 모델 우열 근거 아님

π0.5 · 낮은 위치 · 콘 성공

최소 거리0.11 m

ACT · 같은 위치 · 콘 실패

최소 거리0.51 m

처음 보는 위치 결과 GR00T 4/8 · π0.5 6/8 · ACT 3/8 · 오른쪽 두 영상은 같은 위치·같은 출발(붐 카메라 · 2배속) · 모델·위치당 run 1개 · ACT도 VLA가 아님 · 응답 ACT 14 ms 대 VLA 103–122 ms

32
발표자 메모 · 근거

왼쪽: ACT 연속 굴착 학습 위치(규칙 2단계 v5) — 네 동작 끝 신호 4/4, 동작 판정 4/4, 화면 기준까지 네 동작 모두 성공, 최대 흙 20.0 kg(끌기 끝 13.0 kg). 앞부분 준비 자세까지는 교사 운전(VLA·ACT 아님). 같은 장의 VLA 연속 굴착(앞 장)은 흙 32–48 kg에서 닫기·올리기가 화면 기준 판정 제외였다(실패 아님). 오른쪽: 처음 보는 위치 P17-S2(전방 2.5 m·왼쪽 0.5 m·높이 0.35 m) 꼬깔콘. π0.5 공·콘 ② 0.113 m 성공, ACT 0.511 m 실패(0.5 m 안 1초 유지 못 함; 같은 키 첫 run은 구간 사진 59장 인프라 → 규칙대로 1회 재실행한 run). 영상: 정책 구간만 잘라 재인코딩(960×360, h264), 원본 run 영상은 그대로 보존. 측정 조건: 로컬 RTX 5080 16 GB(시뮬레이터와 공유), 드라이버 595.91.07, ACT fp32(버킷 25,000 step·굴착 35,000 step, 공식 기본 학습량의 약 35 %), VLA는 bf16. 같은 학습 자료·같은 카메라 2대 + 관절 상태 입력·같은 8칸 명령 묶음·같은 실행 방식과 판정기. ACT는 지시문 대신 과제 번호(버킷 공·콘, 굴착 네 동작)를 받는다. 근거: docs/execution/models/act-baseline-2026-11-13.md Part D(D1–D5), 결과 묶음 (실행 기록), VLA 수치 docs/execution/results/2026-11-12-numbers.md §1·§2.

32. 관로 — 지도 보고 팔 곳 고르기 · 1단계

굴착 준비 자세까지 접근 9번 모두 성공 · GR00T는 한 번에 교사보다 많이 파냄

GR00T · 검증 지형 · 굴착 한 사이클 끝까지 수행

관로에 남은 흙0.048 → 0.025 m³
붐 카메라 · 작은 화면 = 모델 입력 화면(운전석 · 버킷 이동용 표적 공이 함께 보임) · 입력에는 지도 그림 한 장이 더 들어감 · 2배속 · 모델 구간만 · 뒤의 선회·덤프는 교사(VLA 아님)
관로 단면 — 파기 전과 한 번 판 뒤0−5−10 cm3.03.54.04.55.0기계 앞쪽 거리 (m)목표 깊이파기 전교사가 한 번 판 뒤GR00T가 한 번 판 뒤파기 전교사GR00T규칙이 고른 팔 곳
한 번 판 뒤 남은 흙 0.048 → 교사 0.039 → GR00T 0.025 m³ · 목표보다 깊이 판 곳 없음 · 교사 = 규칙 제어기(VLA 아님)

관로 = 기계 앞 3.3–4.7 m · 깊이 10 cm · 팔 곳(공격점)은 규칙(Jud 2017)이 계산 · 완결 측정 1번 · 교사는 일부러 얕게 팜 → 우열 근거 아님 · π0.5는 흙에 들어가다 멈춤

33
발표자 메모 · 근거

관로(트렌치) 과제(11/13–11/14): 기계 정면 전방 3.3–4.7 m·폭 0.5 m·깊이 0.10 m 관로를 판다. 다음에 팔 곳(공략점)은 Jud 외(2017) 규칙으로 정한다 — 목표면보다 3 cm 넘게 높은 칸 중 '높이 + 0.75 × 거리'가 최대인 칸에서 전방 0.10 m. 교사(규칙 제어기, VLA 아님)는 기존 한 버킷 굴착 자세를 그 위치로 옮겨 운전하고, 목표면 아래로 파지 않도록 진입 높이를 제한한다. 정책 입력 = 운전석·붐 카메라 + 지도 그림 1장 + 관절 상태 + 한 문장 지시. 정책이 접근 → 관입 → 끌기 → 닫기 → 올리기를 맡고 선회·덤프·복귀는 교사. 1단계(1차 학습 모델, 지도 1판 = LiDAR 높이 지도) 폐루프, 결과가 있는 run 9개: 두 모델 모두 접근 9/9 완료. GR00T 검증 지형(팔 곳 4.25 m) 3회: 정상 완료 1회 = 접근·관입·끌기·닫기 통과, 올리기는 시간 안에 높이 미달(버킷 흙 40 kg), 관로 잔여 0.0480 → 0.0253 m³(−0.0227, 교사 같은 지형 −0.0093), 목표면보다 깊이 판 칸 0. 나머지 2회는 다섯 동작 모두 통과했으나 실행 끝 0.3초가 잘려 최종 지형이 없다(평가 실행 코드 결함, 수정함). 진입 위치는 팔 곳보다 0.12–0.16 m 가까웠다. GR00T 다른 지형(팔 곳 4.65 m) 2회: 접근·관입·끌기 통과, 닫기 중 카메라 영상 지연(0.2–0.7초) 안전 정지, 진입은 팔 곳보다 0.65 m 가까움. π0.5 4회: 접근 통과, 관입이 시간 안에 끝나지 않음(깊이 0.3 cm 이하), 잔여 감소 0.0001–0.0009 m³. 단서: 완결 측정은 GR00T 1회뿐이고 교사는 바닥 보호로 일부러 얕게 파므로 'GR00T가 교사보다 굴착을 잘한다'는 근거가 아니다. 화면 속도 중앙값 70장/초(내부 기준 90 미만). 영상: 정상 완료 run의 두 화면 영상에서 모델 구간(접근 시작~올리기 끝 40 s)만 2배속, 위쪽 글자 띠를 잘라냄. 카메라 원본은 디스크 확보를 위해 삭제했고 이 영상이 유일본이다. 단면 그림: 관로 폭 평균 높이(시작 지형·교사 run 최종 지형·GR00T run 최종 지형 파일에서 계산). 측정 조건: 로컬 RTX 5080 16 GB(시뮬레이터와 공유), 드라이버 595.91.07, bf16, 동기식(모델 계산 중 시뮬레이터 정지), 8칸 중 둘째 칸부터 4칸 실행. 굴착 한 사이클 = run 하나, 사이클 사이 지형은 파일로 불러옴. 검증 지형 2개(팔 곳 4.25 m·4.65 m), 시험 지형은 잠근 채 미사용. 근거: docs/execution/models/trench-results-summary-2026-11-14.md(정본 요약), docs/execution/results/2026-11-14-numbers.md §8.

33. 관로 — 안 된 것과 교훈

지도 보고 팔 곳 고르기는 두 번 학습 모두 확인 못 함 · 들어간 곳은 늘 4.0–4.2 m

모델 입력 지도 · 1판 (넓게)

지도 1판

모델 입력 지도 · 2판 (관로 확대)

지도 2판

같은 지형 B · 가운데 띠 = 관로 · 밝을수록 덜 판 곳 · 팔 곳 표식은 넣지 않음(모델이 스스로 고르는지 시험)

버킷이 실제로 들어간 곳GR00Tπ0.51차2차 학습지형 A팔 곳 4.25 m팔 곳GR00T 1차 4.11 mGR00T 1차 4.13 mGR00T 1차 4.09 mπ0.5 1차 4.20 mπ0.5 1차 4.22 mGR00T 2차 4.12 mπ0.5 2차 4.07 m지형 B팔 곳 4.65 m팔 곳GR00T 1차 4.00 mGR00T 1차 3.99 mπ0.5 1차 4.15 mπ0.5 1차 4.16 mGR00T 2차 4.13 mπ0.5 2차 4.17 m4.04.24.44.64.8기계 앞쪽 거리 (m)13번 모두 이 구간
① 장면만 봐도 답이 정해졌다

1차 자료는 지형 모습과 팔 곳이 한 쌍씩 묶임(값 5개) → GR00T는 본 지도만 외우고, π0.5는 지도 대신 카메라로 정함

② 지도를 키워도 연결이 안 생겼다

2차: 관로 확대 지도 + 같은 장면에 팔 곳만 다른 시연 추가(값 9개) → 지도만 바꿔 넣으면 진입 위치 이동 최대 4 cm

③ 추가 시연의 결함

새 시연 16번 중 12번은 교사 버킷이 흙에 닿지 않음 → 2차 모델은 4번 모두 흙에 들어가지 않음

다음 과제

팔 곳을 규칙이 계산해 숫자·표식으로 알려 주기 · 흙을 실제로 파는 시연으로 다시 수집 · 조건마다 반복 수 늘리기

34
발표자 메모 · 근거

지도 기반 위치 선택이 확인되지 않은 근거. 폐루프 진입 위치(진입 단계 마지막 버킷 날 끝의 전방 거리, 교사는 팔 곳 +0.006 m): 지형 A(팔 곳 4.25 m) — 1차 GR00T 4.11·4.13·4.09, π0.5 4.20·4.22, 2차 GR00T 4.12, π0.5 4.07. 지형 B(팔 곳 4.65 m) — 1차 GR00T 4.00·3.99, π0.5 4.15·4.16, 2차 GR00T 4.13, π0.5 4.17. 13회 모두 3.99–4.22 m. 지도 반사실(오프라인, 영상·관절 상태는 그대로 두고 지도만 다른 지형 것으로 교체, 예측 행동을 적분해 진입 끝 추정 — 교사 행동 적분은 실측과 2 cm 안 일치): 1차 모델 GR00T −0.06 ~ +0.08 m, π0.5 −0.01 ~ +0.02 m(방향 무관). 2차 모델은 학습 전에 기준을 등록 — 기준 1(팔 곳 차 0.2 m 이상인 지도 교체마다 차이의 50 % 이상 이동) GR00T 0/10·π0.5 0/10(최대 4 cm·1.3 cm), 기준 2(출발 순간 버킷 명령 부호) 12/16·12/16. 2차 폐루프 기준(두 지형 오차 0.15 m 이하)도 두 모델 실패(−0.125/−0.520, −0.183/−0.477 m). 원인 ①: 1차 접근 학습 12 run의 팔 곳 값은 5개(4.05–4.80 m, 평균 4.46)이고 같은 지형의 사이클 2·3이 같은 값 — 장면과 1:1. GR00T는 학습 지도에는 그 지도에 맞게 반응하고 처음 보는 검증 지도에는 무반응, π0.5는 지도와 무관하게 장면으로 결정. 원인 ②: 2차는 지도 2판(전방 3.0–5.0 m × 좌우 ±0.6 m 확대, 실행 시작 지형 파일에서 그림 — LiDAR 지도가 아님)과 추가 16 run(같은 장면에 팔 곳만 0.4 m 다르게)으로 접근 학습 36 run·값 9개. GR00T는 처음 보는 지도에도 출력이 달라지기 시작했으나 방향이 맞지 않음. 팔 곳을 직접 가르치는 신호(표식·숫자·보조 학습)는 넣지 않은 조건(사용자 결정: 스스로 고르는지 시험). 원인 ③: 추가 수집 지형은 팔 곳 바로 앞까지 목표 깊이로 미리 파 둔 형태라 교사의 바닥 보호가 진입 높이를 올림 — 교사 관입 최대 깊이 중앙값 기존 +0.6 cm, 추가분 −1.7 cm(지면 위), 흙에 들어간 run 16개 중 4개. 2차 모델 폐루프 4회 모두 관입 미완(버킷 날이 지면 위 1–8 cm). 인과는 한 번의 재학습에서 추정한 것(지도·자료·학습 횟수가 함께 바뀜). 말할 수 없는 것: 'VLA는 지도 기반 위치 선택을 할 수 없다'는 일반화(이 자료 규모·표식 없음·학습 1회씩의 조건), LiDAR 지도 입력 성능, 여러 사이클 연속 굴착. 평가 실행 코드 결함 3건(예열 요청 누락·끝 구간 지연 회수·판정 분류)은 1단계 중 고쳤고 2차 평가 4회는 장애 0. 지도 그림: 학습 자료의 지도 영상 첫 프레임(검증 지형, 팔 곳 4.65 m). 1판 아래 붉은 반원은 기계 밑(미관측). 측정 조건: 로컬 RTX 5080 16 GB(시뮬레이터와 공유), 드라이버 595.91.07, bf16, 동기식(모델 계산 중 시뮬레이터 정지), 8칸 중 둘째 칸부터 4칸 실행. 굴착 한 사이클 = run 하나, 사이클 사이 지형은 파일로 불러옴. 검증 지형 2개(팔 곳 4.25 m·4.65 m), 시험 지형은 잠근 채 미사용. 근거: docs/execution/models/trench-results-summary-2026-11-14.md(정본 요약), docs/execution/results/2026-11-14-numbers.md §8.

34. 관로 3차 — 교사를 고쳐 다시 학습

정해 둔 기준을 채운 모델은 없음 · 32번 중 4번은 실제로 흙을 파냄

GR00T · 통과한 실행 성공

버킷에 담긴 흙36 kg
붐 카메라 · 작은 화면 = 운전석 · 2배속 · 모델 구간만(접근 → 올리기)
모델 8개 × 4번 = 32번통과흙 속 진입까지진입 못 함시범 전체로 학습0 / 16통과GR00T · 표식GR00T · 표식 진입 못 함GR00T · 표식 진입 못 함GR00T · 표식 진입 못 함GR00T · 표식 진입 못 함π0.5 · 표식π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함GR00T · 표식 없음GR00T · 표식 없음 진입까지GR00T · 표식 없음 진입 못 함GR00T · 표식 없음 진입 못 함GR00T · 표식 없음 진입 못 함π0.5 · 표식 없음π0.5 · 표식 없음 진입 못 함π0.5 · 표식 없음 진입 못 함π0.5 · 표식 없음 진입 못 함π0.5 · 표식 없음 진입 못 함시범 절반으로 학습4 / 16통과GR00T · 표식GR00T · 표식 통과GR00T · 표식 통과GR00T · 표식 진입까지GR00T · 표식 진입 못 함π0.5 · 표식π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함GR00T · 표식 없음GR00T · 표식 없음 통과GR00T · 표식 없음 진입까지GR00T · 표식 없음 진입까지GR00T · 표식 없음 진입까지π0.5 · 표식 없음π0.5 · 표식 없음 통과π0.5 · 표식 없음 진입까지π0.5 · 표식 없음 진입 못 함π0.5 · 표식 없음 진입 못 함
통과 4번 = 흙 14–36 kg · 관로 완성이 아니라 한 번 파기 · 지도 표식의 이점은 안 보임

바꾼 것: 교사가 매번 흙을 파도록 수정 → 시범 60번 다시 수집 → 모델 8개(두 모델 × 표식 유무 × 시범 전체·절반) · 전체·절반 차이의 이유는 가르지 못함(학습 한 번씩)

35
발표자 메모 · 근거

관로 3차(11/14 밤 수집, 11/15 학습·평가). 1·2차에서는 교사(규칙 제어기, VLA 아님)가 미리 파 둔 자리에 내려가다 흙에 닿지 않은 시범이 많았다. 3차는 흙이 남은 자리만 진입 위치로 인정하고 진입 높이를 보정했다: 시범 60번(학습 56 + 검증 4) 모두 정상 완료, 모두 흙에 들어감(진입 최대 깊이 2.5–5.8 cm, 중앙 4.3 cm). 같은 장면에 진입 위치만 다른 쌍으로 모음(위치 값 13개). 구성: 지도에 진입 위치를 노란 띠로 그려 주는 구성(위치 판단은 규칙)과 표식 없는 구성, 시범 전체(55번·학습 창 7,531)와 먼저 모은 절반(27번·3,748, 무작위 표집 아님) → 모델 8개. 사전 등록 판정: 폐루프 구성 성공(한 모델이 두 지형 모두 과반 통과) 0건, 지도·표식만 바꿔 넣는 오프라인 기준도 8개 모두 미통과. 한 실행의 통과 조건 = 진입 끝 위치 오차 0.15 m 이내 + 진입 깊이 2 cm 이상 + 흙 제거량이 같은 지형 교사의 50 % 이상 + 과굴착·안전 정지 없음. 실행 통과: 시범 전체 모델 0/16, 절반 모델 4/16(GR00T 표식 2, GR00T 표식 없음 1, π0.5 표식 없음 1). 진입 동작 완료 1/16 대 9/16. 위치 조건 4/16 대 8/16. 표식 유무는 통과 2/16 대 2/16, 위치 조건 6/16 대 6/16. 통과 4번은 실제로 흙을 팠다(독립 검토가 지형 기록·흙 질량 기록으로 재계산): 흙 제거 0.0103–0.0267 m³(같은 지형 교사 0.0125–0.0129), 올리기 끝 버킷 안 흙 14.3–36.2 kg. 관로 완성 표시는 4번 모두 없음(한 사이클 부분 굴착). 측정 공백: 32번 중 13번은 실행 끝 지형이 저장되지 않아 흙 제거량이 없다. 그중 2번은 다섯 동작을 끝내고 버킷에 흙을 실었으나 통과로 세지 않았다(그림의 '흙 속 진입까지'에 포함). 전체 0/16 대 절반 4/16: 확인한 범위에서 시범 구성의 큰 차이는 찾지 못했으나, 학습 횟수(3,000 대 2,000회)가 다르고 학습이 조건당 1회라 자료량·학습 횟수·학습 우연을 분리하지 못했다. '시범을 줄이면 좋아진다'로 읽지 않는다. 영상: 통과 실행(GR00T 표식·절반, 진입 위치 4.15 m)의 두 화면 영상에서 모델 구간만 2배속, 위쪽 글자 띠를 잘라냄. 카메라 원본은 삭제(이 영상이 유일본). 측정 조건: 로컬 RTX 5080 16 GB(시뮬레이터와 공유), bf16(드라이버는 3차 평가 기록에 없어 미확인), 약 10 Hz 명령, 8칸 중 첫 칸을 건너뛰고 4칸 실행. 검증 장면 하나의 두 지형(진입 위치 4.15 m·4.55 m, 같은 장면에서 위치만 0.40 m 다름), 모델당 4회. 근거: docs/execution/models/trench-round3-plan-2026-11-14.md §11–18, 독립 검토 docs/execution/models/trench-round3-cause-review-codex-2026-11-16.md(다르면 독립 검토의 정정을 따름), 요약 docs/execution/models/trench-results-summary-2026-11-14.md §8, docs/execution/results/2026-11-14-numbers.md §8.5–§8.8.

35. 관로 3차 — 왜 흙에 못 들어갔나

진입 실패 22번 중 21번: 충분히 들어가기 전에 당기기 시작

GR00T · 실패한 실행 실패

날이 표면에 닿자 당김빈 버킷
같은 지형 · 팔 곳까지는 맞게 감 · 2배속 · 모델 구간만
교사 시범 — 당기기 직전 1초모델이 당기기시작한 자세지면필요한 깊이 2 cm024 cm1.5초 전1.00.5당김교사가 당기기 시작하기까지 남은 시간1.0초 전 -0.6 cm0.8초 전 +0.6 cm0.5초 전 +2.1 cm0.3초 전 +2.8 cm-0.0초 전 +3.6 cm버킷 날 깊이(교사)여유 0.4–0.5초
교사는 깊이 2 cm에 닿고 0.4–0.5초 만에 당김 · 조금만 일러도 깊이 부족 · 교사 = 규칙 제어기(VLA 아님)

주된 실패 경로는 확인 · 원인 확정은 아님 · 다음: 교사가 깊이 넣고 머문 뒤 당기도록 고친 4차 재수집 진행 중

36
발표자 메모 · 근거

사후 분석(사전 등록 판정은 바꾸지 않음). 관측: 진입에 실패한 22번 중 21번에서, 진입 깊이(2 cm)를 확보하기 전에 당기는 방향의 명령(암 당김·붐 올림)이 이어졌다. 독립 검토가 원 명령 기록에서 다시 세어 같은 수를 얻었다. 진입에 성공한 10번 중에도 1번 있어 필요충분조건은 아니다. 나머지 실패 1번은 깊이 1.99 cm에서 머물다 시간 한도로 끝났다. 미통과 28번 = 진입 실패 22 + 진입 뒤 미통과 6. 당기기 시작한 순간의 깊이: GR00T(시범 전체) 중앙 0.0 cm, π0.5(시범 전체) 중앙 −5.5 cm(지면 위). π0.5는 더 일찍 멈추거나 팔 자세가 어긋나 지면 위에 머문 경우가 많았다. 교사 시범(검증 두 지형의 대표 2회, 실시간 추정 깊이): 당기기 1.0초 전 −0.4/−0.9 cm(지면 위), 0.8초 전 +0.7/+0.5, 0.5초 전 +2.2/+2.0, 0.3초 전 +2.9/+2.7, 당기는 순간 +3.7/+3.5 cm. 깊이 2 cm에 처음 닿은 뒤 당기기까지 0.50/0.39초. 그림은 두 번의 평균이다. 시범 55번 전체의 분포는 확인하지 않았다. 모델이 당기기 시작한 자세는 교사 궤적으로 치면 진입 끝 0–2.0초 전(GR00T 1.0–1.4초 전 — 그림의 붉은 띠, π0.5는 가까운 지형 0–0.8초·먼 지형 1.5–2.0초 전)에 해당한다. 단계 종료 기준 차이: 교사는 관절각이 목표에 수렴하면 다음 동작으로 넘어가고, 평가는 깊이 2 cm 이상 0.3초 유지로 진입 종료를 판정한다. 말할 수 없는 것: 원인을 확정했다는 것(교사 여유·모델의 진입 궤적 오차·실행 단계의 시간과 관측 차이가 함께 작용했을 수 있음), 교사를 고치면 해결된다는 것(저장된 궤적의 수식 재계산에서 21번 중 13–19번이 깊이 조건을 채우나 가정에 따라 달라지며 성공률 예측이 아님), 자료량의 효과. 모델이 화면에서 깊이를 보는지에 대한 시험은 모델 1개만 수행. 영상: 실패 실행(GR00T 표식·시범 전체, 같은 지형)의 모델 구간(접근 시작 ~ 진입 시간 한도) 2배속. 측정 조건: 로컬 RTX 5080 16 GB(시뮬레이터와 공유), bf16(드라이버는 3차 평가 기록에 없어 미확인), 약 10 Hz 명령, 8칸 중 첫 칸을 건너뛰고 4칸 실행. 검증 장면 하나의 두 지형(진입 위치 4.15 m·4.55 m, 같은 장면에서 위치만 0.40 m 다름), 모델당 4회. 근거: docs/execution/models/trench-round3-plan-2026-11-14.md §11–18, 독립 검토 docs/execution/models/trench-round3-cause-review-codex-2026-11-16.md(다르면 독립 검토의 정정을 따름), 요약 docs/execution/models/trench-results-summary-2026-11-14.md §8, docs/execution/results/2026-11-14-numbers.md §8.5–§8.8.

36. 원래 계획 대비 진행

확정 순서 0~6단계는 시뮬레이터 안에서 모두 한 바퀴 · 확장 과제는 진행 중
단계원래 계획11/15까지 결과상태
0 모델 입출력 확인공식 코드의 입력·출력 확인구조·입출력 정리 → 굴착기 4관절 행동으로 연결완료
1 LIBERO 로봇팔 추론공식 가중치 실제 추론두 모델 10/10완료
2 버킷 이동(학습 전)가중치 그대로 굴착기에 적용72회 중 0.5 m 도달 0회 → 학습 필요완료
3 수집 환경 정비APEX · Isaac 재검토APEX 기록기·명령 경로·시뮬레이터 동기 정지 완성 · Isaac 미착수일부
4 데이터 수집교사 시연 → 학습 자료버킷 공·콘 학습 run 32 · 굴착 흙 위치 15곳(학습 창 1,996)완료
5 외부 GPU 파인튜닝GR00T · π0.5버킷 이동·굴착 모두 두 모델 학습완료
6 굴착기 폐루프 재평가학습 후 실제 운전버킷 검증 6/6 · 시험 7/8 · 새 위치 4/8·6/8 · 굴착 동작별 3/4 · 끌기 8/8 · 연속 두 모델 2/2완료
+ 굴착 스스로 전환모델이 다음 동작까지 판단검증 위치 두 모델 네 동작 완주 · 학습 위치는 관입에서 멈춤일부
+ 지도 보고 팔 곳 고르기카메라에 지형 높이 지도 추가관로 세 번 학습: 접근 성공 · 기준 통과 없음 · 3차 32번 중 4번 굴착 · 4차 진행 중일부
+ Isaac 시뮬레이터다른 시뮬레이터로 재현—미착수
37
발표자 메모 · 근거

확정 실행 순서(2026-11-04 합의): 0 모델 입출력 확인 → 1 LIBERO 로봇팔 추론 → 2 굴착기 버킷 이동(학습 전) → 3 수집 환경 정비(APEX·Isaac 재검토) → 4 데이터 수집 → 5 GR00T·π0.5 외부 GPU 파인튜닝 → 6 굴착기 폐루프 재평가. 입력은 V1 RGB 다음 V2 LiDAR 그리드. 6단계 '완료'는 정해 둔 평가를 모두 실행했다는 뜻이며 목표 달성 전부를 뜻하지 않는다: 버킷 시험 위치는 변별력이 낮고, 새 위치는 높은 곳에서 움직임 크기가 부족하며, 굴착은 모델·동작·위치당 1 run, 흙 부하 구간은 화면 기준 판정 불가, π0.5 연속 굴착은 실행 시간 한도를 늘린 규칙으로 판정. '굴착 스스로 전환'(2026-11-13): 검증 위치에서 GR00T·π0.5 모두 지시문 하나로 네 동작을 순서대로 완주(동작 판정 4/4, GR00T 관입·끌기 성공·닫기·올리기 화면 기준 제외, π0.5 화면 판정 불가), 학습 위치는 두 모델 모두 관입 정체. 시연 반복(공식 표와 별도): GR00T 검증 위치 3회 중 2회 완주, π0.5 3회 중 1회(완주 1회는 화면 판정 불가). 근거 docs/execution/apex/dig-self-switch-results-2026-11-13.md. 지형 지도 입력: LiDAR 지형 격자 시험 녹화 뒤 사용자 결정(11/13)으로 굴착 지점을 알려 주는 단계에서는 입력에서 빼고, 다음 굴착 위치를 스스로 정하는 단계(관로 과제, 11/13–11/14)에서 처음 넣었다. 결과: 두 모델 모두 접근 13회 완료, 1차 GR00T는 한 사이클에 관로 잔여 0.048 → 0.025 m³, 그러나 진입 위치는 팔 곳과 무관하게 4.0–4.2 m였고 지도만 바꿔 넣는 시험에서도 따라 움직이지 않음(학습 2회 모두). 1차 지도 = LiDAR 높이 지도, 2차 지도 = 실행 시작 지형 파일을 관로 주변만 확대한 그림(LiDAR 지도 아님). 근거 docs/execution/models/trench-results-summary-2026-11-14.md. 근거 정리본: docs/execution/results/2026-11-12-numbers.md §1·§2·§4.

37. 계획서의 연구내용은 이 실험으로 채워진다

시뮬레이터 결과로 연구내용 ①~③을 채우는 중 · 실차 2단계는 대리 실험으로 범위 명시
계획서 연구내용계획서가 요구하는 것이 실험에서 나오는 것보고서에 쓰는 법
① VLA 모델 서베이
거의 확보
π0.5·GR00T 2종의 입출력·데이터 요구량·제로샷/퓨샷 일반화 · 야외 필드 적합성 평가 기준구조·입출력 분석 · 로봇팔 실측 지연·VRAM · 굴착기 제로샷 72회 · 기존 사례 2건 · 학습 후 두 모델 같은 기준 비교7축 평가표에 실측값 기입 → 2종 비교표 v2 → 기술보고서로 등록
② 데이터셋 설계·시범 구축
시뮬 확보
A-O Pair 정의·동기화 표준 · Co-training 전략 · 굴착 시범 데이터셋 1종(시뮬+실환경)APEX 추출 신호·기록기 · 버킷 이동 공·콘 학습 run 32 · 굴착 네 동작 자료(흙 위치 15곳)정의서 + 데이터 카드 + 품질 게이트 결과 · 실환경분은 기존 실차 로그로 보강하고 범위 명시
③ 모델 적용 실험
시뮬 1단계 확보
1단계 시뮬 사전 검증 → 2단계 실차 테스트베드 · 제로샷 성공률 · 퓨샷 향상률 · 추론 FPS · 위치 오차제로샷 0/72 → 버킷 검증 6/6 · 시험 7/8 · 새 위치 4/8·6/8 · 굴착 동작별 3/4 · 끌기 8/8 · 연속 두 모델 2/2 · 추론 약 0.1초지표표를 시뮬 수치로 채움 · 실차는 APEX 고충실도 대리 실험 + 섀도 모드로 쓰고 미수행 명시 · 주행 과제는 범위 밖
④ 중장기 로드맵
기완료
실험 결과에 근거한 2027 전략사업 로드맵·기획서데이터 효율·전이 갭·성공률 수치기존 로드맵의 성능 목표 근거에 11월 수치 연결
⑤ 정량 성과
준비
논문 1건 투고 · 기술보고서 1건 · 소프트웨어 등록 1건제로샷 실패 분석 + 파인튜닝 결과 · ①의 비교 보고서 · 변환·품질검사·평가 도구논문: 실패 분석+학습 효과 · 기술보고서: ① · SW 등록: APEX→LeRobot 도구
계획서: (붙임1) 연구개발계획서 제3장 1·2·3절(연차목표 ①~④, 표 3-3·3-4·3-8) · 수행 방법 대응: 261022 재계획 총괄표
38
발표자 메모 · 근거

계획서(연구개발계획서_이한민_ff) 제3장: 연차 목표 (1) VLA 모델 야외 필드 적합성 심층 분석 (2) 필드 데이터셋 설계 및 시범 구축 (3) 모델 적용 실험(시뮬→실환경) (4) 중장기 로드맵·전략과제 기획. 성과지표: 모델 2종 비교분석, 데이터셋 1종, Sim→Real 2단계 검증 보고서 1건; 정량: 기타 논문 1, 기술보고서 1, SW 등록 1. 표 3-8 정량 지표: 제로샷 성공률, 퓨샷 성능 향상률, 추론 속도(FPS), 위치 오차. 계획서 대상 태스크에는 굴착 외 주행(Traversal)도 있었으나 현재 실험 범위는 굴착기 팔 작업(버킷 이동→굴착)뿐이다 → 보고서에 범위 명시. 대응 원칙(261022 재계획 총괄표): 7축 필드 적합성 평가표(실시간성·자원·행동공간·관측·데이터효율·강건성·개방성)에 시뮬 실측값 기입, 2종 비교표 → 기술보고서. 데이터셋: A-O Pair 정의서·동기화 규칙·품질 검사 도구, 시뮬 v0 → 실차 로그 보강 v1. 실험: 1단계 시뮬(Isaac/APEX) + 시뮬레이터 간 전이를 실차 전이의 대리 지표로, 실차는 R4 섀도 모드(추론만, 명령 미전송) 가능 시. 로드맵: 기완료, 11월 수치 연결. 정량 성과: 논문 11/17 전 투고, SW 등록 신청, 기술보고서 등록. 현재 상태(11/12): ① 두 모델 학습 후 같은 기준 비교까지 확보, ② 버킷 이동·굴착 시뮬 데이터 확보, ③ 버킷 이동·굴착 시뮬 폐루프 결과 확보(추론 응답 중앙값 GR00T 103–109 ms, π0.5 119–122 ms), ④ 기완료, ⑤ 준비. 근거 docs/execution/results/2026-11-12-numbers.md. 볼트 경로: 01_project/2026_기본사업_자체사업_필드로봇탐색연구/계획서_보고서_발표자료/.

38. 진행 중 · 다음 단계

스스로 동작 전환은 검증 위치 완주, 반복은 불안정 · 지도 보고 팔 곳 고르기는 세 번 학습, 기준 통과 없음
A굴착 스스로 전환지시문 하나로 관입 → 끌기 → 닫기 → 올리기
검증 위치: 두 모델 완주
학습 위치: 관입에서 멈춤
반복: GR00T 3회 중 2회 · π0.5 3회 중 1회
일부 완료
B지도 보고 팔 곳 고르기지형 높이 지도를 넣은 관로 과제 · 세 번 학습
1·2차: 지도로 위치 고르기 미확인
3차: 32번 중 4번 굴착 · 기준 통과 없음
다음: 교사가 깊이 넣고 머문 뒤 당기는 4차
4차 진행 중
CIsaac 재검토다른 시뮬레이터에서 같은 과제 재현미착수
39
발표자 메모 · 근거

11/11 실험 수치 마감(권고), 11/17 보고서·발표 내용 동결, 11/18 최종 발표. A 근거 docs/execution/models/dig-self-switch-2026-11-12.md(설계: 한 지시문 + 이어진 교사 자료, 학습 창 1,996 → 2,192), 결과 docs/execution/apex/dig-self-switch-results-2026-11-13.md(검증 위치 두 모델 4/4 순서 정확, 학습 위치 관입 정체; 시연 반복 GR00T 3회 중 2회, π0.5 3회 중 1회 — π0.5는 관입 깊이가 실시간 기준 2 cm 근처에서 갈림). B 근거 docs/execution/models/trench-results-summary-2026-11-14.md(관로 정본 요약: 접근 13회 완료, 진입 위치는 팔 곳과 무관, 지도 교체 시험 기준 미달, 2차 추가 시연은 교사가 흙에 닿지 않은 것이 대부분). 1차 지도는 LiDAR 높이 지도, 2차 지도는 실행 시작 지형 파일을 확대한 그림이라 LiDAR 지도 입력의 성능은 아직 말할 수 없다. 3차(같은 문서 §8, docs/execution/models/trench-round3-plan-2026-11-14.md): 교사 수정 뒤 재수집, 사전 등록 기준 통과 구성 0, 실행 통과 32회 중 4회(실제 흙 14–36 kg), 진입 실패 22회 중 21회가 깊이 확보 전 끌기 시작, 원인 확정 아님. 4차(교사 진입 방식 수정)는 진행 중이며 결과 없음. 이전 LiDAR 지도 시험 docs/execution/models/lidar-grid-v2-2026-11-12.md: 시험 녹화에서 지도-실제 높이 차 중앙값 0.0003 mm·상위 5 % 5.4 mm, 지연 p95 0.012 s. 그러나 관입·끌기·닫기 동안 판 자리가 버킷에 가려 2 cm 이상 파인 칸 0개(올리기 뒤 16개). 사용자 결정(2026-11-13): 굴착 지점을 외부에서 지정하는 현 단계는 입력 제외, 다음 굴착 위치·방법을 스스로 정하는 단계에서 필수 입력. V1/V2 재수집·학습 비교는 취소. π0.5 연속 굴착 재판정은 완료되어 연속 굴착 장으로 옮겼다.