VLA 모델 2종 필드 적합성 심층 비교 분석 보고서초안 v2.32026-11-16검토용 초안결과 대기 0곳
한국기계연구원 기본사업(창의·도전형) · 필드로봇 피지컬 AI 파운데이션 모델 탐색 연구

VLA 모델 2종 필드 적합성 심층 비교 분석 보고서

GR00T N1.7·π0.5의 굴착기 적용 가능성 평가 — 필드 적합성 평가 보고서 (검토용 초안)

초안 v2.3 · 2026-11-16

보고서 번호 〔기관 등록 시 부여 — 미부여〕

작성 〔사용자 확정〕

보고서 정보

항목 내용
보고서명 VLA 모델 2종 필드 적합성 심층 비교 분석 보고서 (계획서 결과물 명칭: 필드 적합성 평가 보고서)
과제 한국기계연구원 기본사업(창의·도전형) 필드로봇 피지컬 AI 파운데이션 모델 탐색 연구 (NK264F)
판 초안 v2.3 (2026-11-16)
보고서 번호 〔기관 등록 시 부여 — 미부여〕
작성자 〔사용자 확정〕
발간·등록일 〔기관 절차 확인 후〕
공개 범위 〔사용자·기관 결정〕
성과 인정 기준 연구개발계획서의 "보고서 작성 여부 확인", "기술보고서 1건 작성 완료"
상태 시뮬레이터 실측 반영. 관로 굴착 실험(첫·둘째 학습 2026-11-14, 세 번째 학습 2026-11-15, 네 번째 학습 2026-11-16)과 비VLA 기준선 재학습 확인 결과 반영. 네 번째 학습의 사후 보충 평가까지 반영. 사용자 확정 전

표기

목 차

요약

1. VLA 모델 총정리

1.1 로봇 파운데이션 모델의 등장

1.2 주요 VLA 계열 정리

1.3 공개 수준별 구분

1.4 필드 장비 관점의 공통 한계

2. 비교 대상 2종 선정 사유

2.1 선정 조건

2.2 π0.5 선정

2.3 GR00T N1.7 선정

2.4 서로 다른 구조 — 비교 의미

2.5 제외 모델과 사유

2.6 참고용 굴착 특화 사례

3. 다른 로봇·장비 적용 사례

3.1 로봇팔 밖 적용 사례

3.2 여러 모델을 같은 장비·같은 규칙으로 비교한 사례

3.3 사례별로 평가한 항목

3.4 공통 발견

3.5 공백 — 굴착기 + VLA + 공개 지표

4. 모델별 파인튜닝 방법

4.1 새 장비 적용의 공통 단계

4.2 GR00T N1.7 — 시각·언어 모델 고정, 장비별 투영층·행동 헤드 학습

4.3 π0.5 — 큰 블록은 LoRA, 영상 인코더·투영층은 전체 학습

4.4 방법별 자원·비용 비교

4.5 지형 지도 입력을 넣는 두 가지 방법

4.6 우리가 실제로 쓴 설정과 겪은 문제

5. 필드로봇 평가 기준 8가지

5.1 필드 장비 적용의 어려움

5.2 구조

5.3 평가 전제 E — 시험을 믿을 수 있는가

5.4 관문 G1–G4

5.5 비교 축 P1–P4

5.6 판정 대신 원인 찾기에 쓰는 진단 도구

5.7 한계

6. 2종 평가 결과

6.1 시험 환경·과제·판정 규칙

6.2 전제 E 점검

6.3 관문별 판정

6.4 비교 축별 결과

6.5 관로 굴착 및 기준선 재학습 결과

6.6 종합 — 우열보다 적용 조건과 한계

7. 향후 연구

부록 C. 용어

참고문헌

요약

목적. 범용 VLA(시각-언어-행동) 파운데이션 모델 GR00T N1.7과 π0.5를 굴착기에 적용할 수 있는지 같은 기준으로 살핌. 결과는 2027 전략연구사업의 모델 선정 근거로 씀.

구성.

  1. 로봇 파운데이션 모델과 주요 VLA 계열을 구조·입출력·학습 데이터·공개 범위로 정리했음(1장).
  2. 가중치·학습 코드 공개, 새 장비 등록 절차, 최신 정식판을 조건으로 GR00T N1.7과 π0.5를 골랐음(2장).
  3. 로봇팔 밖 장비(수확·사족·휠로더·가정용 이동 로봇)와 여러 모델 비교 사례를 모아 무엇을 평가했는지 비교했음(3장).
  4. 두 모델을 새 장비에 파인튜닝하는 방법을 모델별로 정리하고, 우리가 실제로 쓴 설정과 겪은 문제를 적었음(4장).
  5. 필드로봇 평가 기준 8가지(관문 4개 + 비교 축 4개)와 그 앞의 전제, 원인 찾기용 진단 도구를 정의했음(5장).
  6. 굴착기 시뮬레이터에서 두 모델과 비VLA 기준선(ACT)을 같은 자료·같은 시험으로 운전해 기준별로 정리했음(6장).

굴착 결과 한눈에(6.4–6.5절).

주요 결과(시뮬레이터, 유압 제외, 조건당 대부분 1회).

결론. 이번 결과는 "어느 모델이 더 적합한가"가 아니라 "어떤 조건에서 이 장비에 VLA를 붙일 수 있고, 무엇이 아직 막혀 있는가"를 보여 줌. 열려 있는 것은 공개 가중치·학습 코드로 새 장비에 맞추는 경로임. 막혀 있거나 확인하지 못한 것은 유압 포함 운전, 시간을 멈추지 않는 현장 운전, 안전 평가, 충분한 시행 수임.

추가 실험 결과(6.5절). 관로(트렌치) 굴착에서 지도를 보고 공략점을 고르는 실험은 두 번 학습했으나 두 모델 모두 지도 기반 공략점 선택을 보이지 못했음. 접근 동작은 13회 모두 끝냈고, 첫 학습의 GR00T는 한 지형에서 실제로 흙을 팠음. 교사가 매번 흙을 파도록 고쳐 다시 모은 세 번째 학습에서도 사전에 정한 기준을 채운 구성은 없었음(32회 중 4회 통과, 4회 모두 실제로 흙을 판 한 사이클 굴착). 진입에 실패한 22회 중 21회는 깊이를 확보하기 전에 끌기를 시작했고, 교사 시범 자체의 전환 여유가 0.4–0.5초로 작았음. 교사가 목표 자세에 닿은 뒤 2.0초 머문 다음 끌도록 고쳐 다시 모은 네 번째 학습에서는 진입 실패 경로가 해소됨을 확인했음(깊이 2 cm 이상 진입 12/12, 진입 중 이른 끌기 22/32 → 1/12). 그러나 관로 굴착 성공 기준은 채우지 못했음(12회 중 4회 통과, 한 모델이 두 지형 모두 통과한 구성 0). 12회 중 7회는 끌기 단계의 시간 한도에서 끊겼으나, 한도만 2초 늘린 사후 보충 평가 4회도 통과 0/4여서 한도는 주된 걸림돌이 아니었음. GR00T는 3회 목표 바닥 아래로 팠고(그중 2회 기준 초과), π0.5는 흙을 담지 못했음. 남은 과제는 GR00T의 굴착 깊이 제어, π0.5의 흙 담기, 올리기 완료임. 비VLA 기준선은 장면 끝의 관입 구간을 학습 입력에 넣자 같은 학습량(35,000회)의 오프라인 비교에서도 이른 끌기 명령이 사라졌음. 재학습 선택본(70,000회)은 두 위치에서 관입을 통과했으나, 원 모델(35,000회)보다 학습량이 많아 실제 운전의 개선을 자료 규칙만의 효과로 단정하지 않음.

1. VLA 모델 총정리

1.1 로봇 파운데이션 모델의 등장

1.2 주요 VLA 계열 정리

표 1-1. 주요 로봇 파운데이션 모델·VLA 계열 (원문 확인 범위 기준)

계열 개발 구조·입출력 학습 데이터 새 장비 처리 방식 확인 수준
GR00T N1 [2] NVIDIA VLM + 행동 헤드. 입력 RGB(224×224) + 언어 + 상태. 기체별 MLP 상태·행동 인코더/디코더 GR-1 휴머노이드, Open X-Embodiment 일부, AgiBot 등 기체별 사후학습. 학습에 없던 기체 무학습 평가 없음. 평가는 짧은 탁상 과제 중심 본문 §1–§5 초입
GR00T N1.6 [54] NVIDIA 상태 기준 상대 행동 묶음. 상태·행동 최대 29차원, 행동 구간 16, 행동 헤드 32층 AgiBot·Unitree G1 자료 추가 NEW_EMBODIMENT 태그로 파인튜닝 공식 페이지·저장소, 세부 [요약]
GR00T N1.7 [3][4] NVIDIA Cosmos-Reason2-2B(Qwen3-VL 구조) 백본 + flow matching 확산 트랜스포머(DiT) 16층, 약 3B. 상태·행동 최대 132차원, 행동 구간 최대 40 양팔·반휴머노이드·휴머노이드 로봇 자료 + 사람 영상(EgoScale) 2만 시간 [공식] NEW_EMBODIMENT + meta/modality.json + Python 설정 파일 저장소·모델 카드
π0 [47] Physical Intelligence VLM + flow matching 행동 전문가. 입력 RGB 2–3장 + 관절 상태. 저차원 로봇은 최대 차원(18)까지 0으로 채움 UR5e·Franka·Trossen·ARX·AgileX 등 여러 팔·이동 로봇 + Open X-Embodiment 새 과제는 파인튜닝. 학습에 없던 로봇 무학습 미평가 본문 §I–§VII
π0.5 [1][5] Physical Intelligence PaliGemma(Gemma 2B) VLM + 약 300M 행동 전문가, flow matching. 기본 설정은 상태를 256구간 이산 토큰으로 넣음. 행동 32차원 패딩 1만 시간 넘는 로봇 자료(저장소 기준), 다중 로봇·상위 의미 예측·웹 자료 공동학습 장비 등록 개념 없음. 입출력 변환·설정 작성 → 정규화 통계 → 학습. 새 집 평가이지 새 로봇 평가는 아님 본문 §I–§IV-C, 저장소
Open X-Embodiment / RT-X [48] 공동 연구 카메라 1장 중심. 데이터 형식에 깊이 포함 22종 기체(단일팔~양팔·사족) 보류 기체 시험 없음. 데이터셋별 정규화로 "같은 행동 벡터가 로봇마다 매우 다른 움직임을 낼 수 있다"고 명시 본문 §I–§V-B
Octo [49] 공동 연구 RGB(+일부 힘) 입력 트랜스포머 정책 Open X-Embodiment 25개 데이터셋 새 관측·행동은 어댑터·새 헤드 + 약 100궤적 파인튜닝. 파인튜닝 평균 72 % 앞부분 본문
OpenVLA [50] 공동 연구 단일 RGB + 언어 → 행동을 1–99 % 분위수 256구간 이산 토큰으로 출력 Open X-Embodiment 97만 궤적 새 설정은 10–150 시연 파인튜닝 [요약] 본문 §1–§5.1
CrossFormer [51] 공동 연구 영상 + 고유감각. 기체 종류별 행동 헤드 20종(팔·ALOHA·이동 로봇·사족·드론) 90만 궤적 관측·행동 공간을 수작업으로 맞추지 않고 한 정책으로 학습. 새 관측·행동 조합으로의 무학습은 아님 앞부분 본문
HPT [52] 공동 연구 기체별 입력부(stem)·출력부(head) + 공유 트렁크 27–52개 데이터셋 새 기체는 입출력부 새로 학습 + 트렁크 고정 앞부분 본문
SpatialVLA [53] 공동 연구 추정 깊이를 3차원 위치 정보로 바꿔 넣음. 행동은 적응형 격자로 이산화 Open X-Embodiment + RH20T 110만 시연 새 로봇은 행동 격자를 다시 나누고 학습 초록~표 II
π0.6·π0.7 [45] Physical Intelligence 미확인 미확인 가중치 비공개 π*0.6 초록
ACT [6] (VLA 아님) 학계 영상 + 관절 상태 → 행동 묶음(트랜스포머). 언어 입력 없음 과제별 시연 과제별 처음부터 학습(영상 백본만 사전학습) 본문

1.3 공개 수준별 구분

표 1-2. 공개 수준별 구분

공개 수준 해당 모델 이 과제에서의 의미
가중치·학습 코드·추론 코드 공개 π0·π0.5(openpi), GR00T N1.6·N1.7(Isaac-GR00T) 굴착기 자료로 다시 학습할 수 있음. 비교 대상 후보
가중치 공개, 단 접근 승인·별도 이용 조건 GR00T N1.7(백본 Cosmos-Reason2-2B가 접근 승인 모델, NVIDIA Open Model License) [3][57] 학습은 가능하나 승인 절차와 라이선스 해석이 조건이 됨
연구 공개(논문·코드), 공개 범위 세부 미확인 Octo, OpenVLA, CrossFormer, HPT, SpatialVLA 이번 비교 대상에서는 뺐고 사례·배경으로만 인용
가중치 비공개 π0.6·π0.7, 상용 폐쇄형 모델 굴착기 자료로 다시 학습할 수 없음. 제외

1.4 필드 장비 관점의 공통 한계

  1. 로봇팔 중심 자료. 확인한 계열의 사전학습 자료는 탁상 조작 팔, 양팔, 휴머노이드, 일부 이동 로봇임. 굴착기 같은 유압 중장비 자료는 보이지 않았음. 범용 VLA를 굴착기·건설 대형 기계에 적용한 1차 논문도 이번 검색 범위에서 찾지 못했음(없다는 증명은 아님).
  2. 실내·짧은 과제. GR00T N1의 평가는 짧은 탁상 과제 중심이고[2], π0 논문은 훨씬 다른 영역으로의 확장을 향후 과제로 둠[47]. 흙 접촉, 긴 연속 작업, 야외 조명·분진은 학습·평가 범위 밖임.
  3. 행동 크기가 학습 로봇에 묶임. 행동은 학습 자료의 1–99 % 분위수로 정규화됨[1][48][50]. 같은 출력이라도 실제 움직임의 크기는 학습 로봇 자료의 범위에 묶임. 학습에 없던 큰 로봇에 같은 가중치를 무학습으로 적용한 평가는 확인한 문헌에서 찾지 못했음.
  4. 영상 위주 입력. 확인한 VLA는 대부분 RGB 영상을 받음. 깊이·점군을 쓰는 사례(SpatialVLA, PointVLA, 3D-VLA)는 모두 추가 학습을 함[53][58][59]. 굴착기처럼 작업 지점이 버킷에 가려지고 지형 높낮이가 중요한 장비에는 별도 입력 경로가 필요할 수 있음.
  5. 새 장비 = 파인튜닝. 확인한 모든 계열에서 새 기체는 그 기체의 시연으로 파인튜닝하는 것이 표준 절차임. 학습 없이 바로 쓰는 경로는 확인되지 않았음.

2. 비교 대상 2종 선정 사유

2.1 선정 조건

  1. 가중치와 학습 코드가 공개되어 있을 것. 굴착기는 사전학습에 없던 장비이므로 굴착기 시연으로 다시 학습해야 함(1.4절).
  2. 새 장비를 등록하는 절차가 공식적으로 있을 것. 굴착기의 관절 4개 명령과 센서를 모델 입출력에 맞추는 방법이 문서로 있어야 재현할 수 있음.
  3. 최신 정식판일 것. 개발사가 지원하는 주 개발선이어야 결과가 다음 사업에서도 쓸모가 있음.
  4. 서로 구조가 다를 것. 같은 계열 두 모델은 비교 의미가 작음.

2.2 π0.5 선정

2.3 GR00T N1.7 선정

2.4 서로 다른 구조 — 비교 의미

표 2-1. GR00T N1.7과 π0.5 구조 비교 ([공식] 원문 기준)

구분 GR00T N1.7 π0.5 (openpi)
시각·언어 부분 Cosmos-Reason2-2B(Qwen3-VL 구조) PaliGemma(Gemma 2B) + SigLIP 영상 인코더
행동 부분 flow matching DiT 16층 약 300M 행동 전문가, flow matching
상태 입력 기체별 MLP로 연속 벡터 인코딩(최대 132차원 패딩) 256구간 이산 토큰으로 바꿔 언어 프롬프트에 넣음(기본)
행동 출력 연속 행동 묶음, 최대 132차원·구간 40 연속 행동 묶음, 32차원 패딩
공식 학습 방식 시각·언어 모델 고정, 투영층·행동 헤드 학습 전체 학습 기본, LoRA 변형 제공(JAX 전용)
학습 자원 파인튜닝 40 GB 이상 GPU 권장 LoRA 22.5 GB 초과, 전체 70 GB 초과
추론 자원·속도 16 GB 이상. H100 eager 85.8 ms, TensorRT 27.9 ms(디노이징 4단계·카메라 1대) 8 GB 초과. 공식 지연 수치 없음
배포 경로 ONNX·TensorRT, Jetson AGX Thor·Orin 원격 추론 서버(websocket) 예제
데이터 형식 LeRobot v2.1 + modality.json LeRobot v2.1

2.5 제외 모델과 사유

모델 제외 사유
π0.6·π0.7 가중치 비공개. 굴착기 자료로 다시 학습할 수 없음. 외부 대회에서 π0.7로 굴착기를 학습한 사례가 있으나 공개 π0.5로 재현할 수 있다는 근거가 아님
상용 폐쇄형 모델 가중치·학습 코드 비공개
GR00T N1.6 같은 계열의 이전판. N1.7을 대신 씀
OpenVLA·Octo·CrossFormer·HPT·SpatialVLA 등 계획서가 주력 2종을 지정했고 예산·일정상 두 모델에 집중했음. 이 모델들은 사례(3장)와 배경(1장)으로만 인용함

2.6 참고용 굴착 특화 사례

표 2-2. 굴착 특화 참조 사례

구분 ExT [8] Actor Labs [46]
자료 성격 학술 논문(ETH Zürich) 기업 블로그·2차 기사, 동료평가 없음
접근 시뮬레이션 대량 다중 과제 사전학습 → 미세조정(VLA 아님) π0.5 LoRA 미세조정
입력 고유수용 상태, 카메라 없음 단안 카메라 여러 대 + 언어
행동 관절 속도 명령 조이스틱 4축(다음 조이스틱 상태 예측), 불감대 0.12, 분위 정규화
보고 결과 시뮬레이션+실기에서 굴착 사이클 전체를 cm 수준 정확도로 수행. 실기 성능은 전용 단일 과제 제어기와 비슷. 분포 밖·새 기계 구성 적응은 시뮬레이션에서 평가 운전자 작업 2.5시간 관찰 뒤 실현장 토공 수행 주장. 성공률·공차·사이클 시간 공개 없음
이 보고서에서의 쓰임 전용 제어기 기준선 관행, 작업 성능 지표의 근거 가장 가까운 비교 대상이나 검증 불가. "산업계 시연 주장, 지표 미공개"로만 인용

3. 다른 로봇·장비 적용 사례

3.1 로봇팔 밖 적용 사례

표 3-1. 로봇팔 밖 장비·현장 적용 사례 (확인 수준 표시)

사례 장비·환경 정책 실물/시뮬 주지표 기준선 확인 수준
HarvestFlex [20] 딸기 수확 팔, 온실 탁상 재배 π0·π0.5·WALL-OSS 미세조정 실물 성공률·사이클 시간·작물 손상률 모델 간, 기존 수확 시스템 본문
NaVILA [19] 사족·휴머노이드, 실내·야외 VLA가 "75 cm 전진" 같은 중간 명령 → 하위 RL 보행 정책 실물 성공 88 %(25 지시 × 3회). VLA 약 1 FPS GPT-4o 초록·본문
sensVLA [27] 휠로더, 실제 장비 녹화 자료 VLA + LiDAR 조감도 실제 자료, 오프라인 단계별 오차 카메라 전용 arXiv 초록(ICRA 2026 워크숍)
HSR 이동 조작 [24] 도요타 HSR 가정용 이동 로봇(11자유도) π0.5 2종, SmolVLA 실물 4점 척도, 모델당 20회, 검정 모델 간 워크숍 포스터
ExT [8] 굴착기 다과제 사전학습(VLA 아님) 시뮬 + 실기 사이클 수행, cm 정확도 전용 단일 과제 제어기 초록·본문
ExACT [9] 굴착기 ACT, LiDAR·카메라·관절 → 밸브 시뮬(실데이터 기반 밸브 모델) 도달·굴착·덤프 — 초록
Zhao 외 2026 [10] 굴착(토사 더미) 마스크 조건 ACT 시뮬 표적 성공 96 %, 더미 제거 76.8 %, 사람 정규화 효율 91.0 % 조건 없는 ACT 초록
바위 굴착 RL [29] 12 t 굴착기 현장 강화학습 실물 성공 70 % 운전자 83 % 초록
Baidu 자율 굴착 [28] 굴착기 모듈형 자율 시스템 실물 24시간 넘는 무개입 운전, 운전자 수준 굴착량 운전자 보도자료(논문 본문 미대조)
Actor [46] 굴착기 실현장 π0.5 VLA 실물(주장) 공개 지표 없음 — 기업 자체 주장·2차 기사
UR5 VLA [18] UR5e 팔 OpenVLA 계열 미세조정 실물 폐루프 거동 — 초록·본문

3.2 여러 모델을 같은 장비·같은 규칙으로 비교한 사례

표 3-2. 다중 모델 비교 사례 (모두 동료평가 전 원고 또는 워크숍 논문)

사례 장비 비교 모델 시행·판정 핵심 수치 신뢰도 메모
HarvestFlex [20] 딸기 수확 팔(실물) π0, π0.5, WALL-OSS × 전체/LoRA + 기존 시스템 조건당 50회 π0.5 전체 미세조정 74 %·사이클 32.6 s, 기존 시스템 89 %·8.3 s. 동기 → 비동기 70 → 74 %(우연 범위), 사이클 45.7 → 32.6 s 판정 기준·통계 미기재
RoboColosseum [21] SO-101, Franka, 양팔 YAM, G1 휴머노이드(실물) GR00T N1.7, π0.5 외 미세조정 과제당 25회, 개방 경연 5,699쌍 이중맹검 장비마다 1위가 다름(장비 간 순위 일치도 W 0.24). 무학습 순위가 미세조정 순위를 맞히지 못함 미세조정 세부 수치 [요약]. 지연 수치 없음
SO-101 실패·회복 [22] SO-101 팔(실물) π0.5, Wall-X, SmolVLA, ACT 모델×과제 20회(총 320) 평균 성공 π0.5 56.3 %, ACT 33.8 %. 회복률 3–31 % 일부 표 [요약]
ALOHA 벤치마크 [23] 이동 양팔 ALOHA(실물) + MuJoCo ACT, OpenVLA-OFT, RDT-1B, π0 조건당 50회 분포 안 π0 72.3 %, ACT 48.3 %. 학습 기간 ACT 약 0.17일, π0 약 2일 신뢰구간 값 없음, 본문-표 불일치
HSR 이동 조작 [24] 도요타 HSR(실물) π0.5 2종, SmolVLA 모델당 20회, 4점 척도, 검정 녹화 자료 오차가 가장 작은 모델이 실제로는 2위 워크숍 포스터, 공정 비교 아님(저자 인정)
Robot Control Stack [25] Franka FR3 등(실물) Octo, OpenVLA, π0 실물 30회 + 시뮬레이션 100회 세 모델 모두 5 Hz·동기 한 스텝 예측으로 맞춰 비교 성공률 수치는 그림에만 있음
ROBOGATE [26] Franka·UR(시뮬레이션만) GR00T N1.6 외 VLA 7종 + 스크립트 IK 산업 집기 시나리오 68개 스크립트 100 %, VLA 모두 0 % 신뢰도 낮음: 판 사이 결과 교체, 수치 불일치

3.3 사례별로 평가한 항목

표 3-3. 사례별로 다룬 평가 항목

사례 시험 조건·판정 규칙 명시 개방성·적응 경로 입출력·장비 연결 시간·실행 방식 안전·실패 양상 작업 성공 일반화 데이터 자원·비용
HarvestFlex △ ○ ○ ○ △ ○ △ ○ ○
RoboColosseum ○ △ △ ○ ○ △
SO-101 △ ○ ○ △ △
ALOHA 벤치마크 △ △ △ ○ ○ △ ○
HSR ○ △ ○ △
Robot Control Stack ○ ○ △ △
ROBOGATE △ ○ ○ △ △

○ 직접 비교·측정, △ 일부·서술만, 빈칸 다루지 않음. 열 순서는 5장의 전제 E, G1–G4, P1–P4 순서와 같음.

주: ○/△ 판정은 이 보고서 작성자들의 해석임. 각 사례의 저자가 이 항목들로 자기 연구를 평가한 것이 아님. 판정 근거는 표 3-2의 수치·메모임.

3.4 공통 발견

  1. 장비가 바뀌면 순위가 바뀜. 같은 모델들도 장비마다 1위가 달랐고, 장비 간 순위 일치도는 W 0.24였음[21]. 로봇팔에서의 순위를 굴착기로 옮길 수 없음. 장비마다 따로 평가해야 함.
  2. 녹화 자료 오차와 실제 성공이 일치하지 않음. 녹화 자료 오차가 가장 작은 모델이 실제 운전에서 2위였음[24]. 공개 체크포인트 6개 비교에서 검증 오차와 실물 성능의 선형 상관은 r = 0.308이었음[12]. 실물 UR5 미세조정 연구도 "유망한 오프라인 지표"와 "불안정한 폐루프 거동"의 간극을 보고했음[18]. 다만 필드 VLA 중에는 녹화 자료 오차를 주지표로 쓴 사례도 있음[27].
  3. 실행 방식에 따라 결과가 달라짐. 동기·비동기 실행에 따라 수확 사이클 시간이 45.7 s에서 32.6 s로 줄었고[20], 여러 모델을 공정하게 비교하려고 제어 주기·실행 방식을 맞춰야 했음[25]. 사족 로봇은 약 1 FPS VLA를 하위 보행 정책이 받치는 계층 구조로 실물에서 운전했음[19].
  4. 비VLA 기준선이 앞서는 경우가 있음. 기존 수확 시스템 89 %·8.3 s 대 VLA 74 %·32.6 s[20], 스크립트 100 % 대 VLA 7종 0 %(시뮬레이션)[26]. 기준선 없이 VLA만 보면 적합성을 과대평가할 수 있음.
  5. 실패 양상과 회복 능력이 모델마다 크게 다름. 회복률 3–31 %[22]. 안전 평가에 실패 양상을 넣을 근거임.

3.5 공백 — 굴착기 + VLA + 공개 지표

4. 모델별 파인튜닝 방법

4.1 새 장비 적용의 공통 단계

데이터 형식LeRobot v2.1정규화1–99 % 분위수 → [−1, 1]학습공개 가중치에서 출발추론출력 일치 확인 후 운전통계는 학습 분할에서만 만들고 고정 · 학습은 외부 GPU, 운전은 로컬 GPU

그림 4-1. 새 장비 적용 공통 단계

  1. 데이터 형식. 시연을 LeRobot v2.1 형식으로 바꿈. 한 프레임 = 카메라 영상 + 관절 상태 + 지시문 + 행동(명령).
  2. 정규화. 학습 자료에서 상태·행동의 1–99 % 분위수를 구해 [−1, 1]로 맞춤. GR00T는 범위 밖 값을 자르고(clip), π0.5는 자르지 않음. 통계는 학습 분할에서만 만들고 고정함.
  3. 학습. 공개 사전학습 가중치에서 출발해 모델별 공식 방식으로 일부 또는 전체를 학습함.
  4. 추론. 학습 장비에서 저장한 모델을 운전 장비로 옮겨 정책 서버로 띄우고, 학습 장비 출력과 일치하는지 확인한 뒤 운전함.

4.2 GR00T N1.7 — 시각·언어 모델 고정, 장비별 투영층·행동 헤드 학습

카메라 영상운전석·붐 2장지시문예: dig …관절 상태 8각도 4 + 속도 4잡음 행동무작위에서 출발시각·언어 모델Cosmos-Reason2-2B · 고정상태 인코더장비 칸 MLP · 132칸행동 인코더장비 칸 MLP확산 행동 헤드DiT 16층 · 4단계 디노이징행동 디코더장비 칸 MLP4축 명령 묶음8칸 × 4 (132칸 중 4)고정학습(공식 기본)출력

그림 4-2. GR00T N1.7 파인튜닝 구조 (공식 기본 설정)

4.3 π0.5 — 큰 블록은 LoRA, 영상 인코더·투영층은 전체 학습

카메라 영상224 × 224지시문예: dig …관절 상태 8256구간 → 텍스트 토큰잡음 행동무작위에서 출발영상 인코더SigLIP · 학습언어 모델PaliGemma(Gemma 2B) · LoRA행동 입력 투영32칸 → 전문가 폭행동 전문가약 300M · flow matching · LoRA행동 출력 투영→ 32칸4축 명령 묶음32칸 중 앞 4칸층별 특징LoRA 학습전체 학습출력

그림 4-3. π0.5 파인튜닝 구조 (이번에 쓴 LoRA 설정)

4.4 방법별 자원·비용 비교

표 4-1. 학습 방식 비교 (공식 문서와 문헌 실증)

항목 GR00T 공식 기본(헤드 학습) π0.5 전체 학습 π0.5 LoRA
학습하는 부분 투영층·행동 헤드(시각·언어 고정) 전체 LoRA 덧셈 행렬 + 영상 인코더·투영층
GPU 메모리 [공식] 40 GB 이상 권장 70 GB 초과 22.5 GB 초과
우리 실측 최대 메모리 39.2 GiB(H100) 미수행 19.18 GB(JAX, H100)
학습에 없던 장비에서의 문헌 결과 동결 대 비동결 비교 실증 찾지 못함 딸기 수확 74 %(LoRA 64 %, 각 50회)[20]. 양팔 로봇 76 %(LoRA 32.5–52.5 %)[55] 위 두 사례에서 전체 학습보다 낮음
사전학습 포함 장비 — UR5e: 전체 0.76, LoRA 0.65–0.74(유의차 없음), 시각·언어 동결 0.15[56] 같은 사례

4.5 지형 지도 입력을 넣는 두 가지 방법

LiDAR 높이 지도현재·목표·차이길 A · 그림으로색 그림색 ↔ 높이 대응 고정영상 칸 3번째공식 입력 경로시각·언어 모델고정 → LoRA → 전체길 B · 토큰으로소형 CNN숫자 격자 압축지형 토큰 몇 개상태 쪽에 붙임행동 헤드 쪽코드 수정 필요이번 선택: 길 A (지도 그림 56 × 56, 빨강 = 높이 · 초록 = 남은 양 · 파랑 = 관측 여부)

그림 4-4. 지형 높이 지도를 VLA에 넣는 두 길

4.6 우리가 실제로 쓴 설정과 겪은 문제

표 4-2. 실제 학습 설정 (외부 H100, 첫 버킷 이동 학습 기준)

항목 GR00T N1.7 π0.5 ACT(기준선)
출발 가중치 GR00T-N1.7-3B pi05_base ResNet18(ImageNet) 백본, 나머지 처음부터
학습 부분 공식 기본(투영층·행동 헤드) LoRA + 영상 인코더·투영층(학습 매개변수 약 4.7억 / 고정 약 29.4억) 전체
입력 운전석·붐 카메라 RGB 2장 + 관절 상태 8(위치 4 + 속도 4) + 지시문 같음(상태는 이산 토큰) 같음, 지시문 대신 과제 번호
출력 4관절 속도 명령 8칸 묶음(절대값·관절 공간) 같음(32칸 중 앞 4칸) 같음
배치·학습률·갱신 수 16, 1e-4 cosine, 547회(20바퀴), 상태 dropout 0.2 16, 최고 2.5e-5 cosine, 742회(20바퀴) 공식 기본 100,000 step 중 시간 상한으로 35,000 step(35 %)에서 정지
최대 메모리 약 40 GB 19.2 GB(JAX) 3,631 MiB(A100)
저장본 선택 학습에 쓰지 않은 확인용 자료의 움직임 오차 최소 같음 같음
학습 자료(최종) 버킷 이동 1,610창, 굴착 1,996창(관입 882·끌기 187·닫기 332·올리기 595), 끌기 3배 반복 같음 같음

겪은 문제와 대처

문제 무엇이 일어났나 대처·교훈
로컬 GPU 부족 두 모델 모두 학습 메모리가 16 GB를 넘었음 외부 H100에서 학습 → 로컬로 회수 → 로컬 서버 출력이 학습 장비와 일치하는지 확인 후 운전
학습 설정 오류(GR00T) 오프라인 캐시 경로, 배치 1에서의 상태 dropout, bf16 재적재 검사 때문에 첫 학습 갱신이 실패 하나씩 고쳐 1회 갱신 → 과적합 → 본 학습 순으로 확인
π0.5 LoRA 설정 공식 π0.5용 LoRA 예시가 없음 π0.5 + 두 LoRA 설정 + 고정 범위를 직접 조합하고 1회 갱신 시험으로 학습·고정 매개변수를 확인
패딩 차원 π0.5 JAX 손실은 32차원 전체 평균이라 실제 4차원 신호가 희석됨 결함은 아님. 학습률·갱신 수 해석에 반영
상태 처리 차이 π0.5는 이산 토큰, GR00T는 연속 벡터로 상태를 받음 두 모델이 같은 방식으로 상태를 받았다고 말하지 않음
자료 빈칸 버킷 확인 장면 하나에서 그 출발 자세의 학습 행 17개 중 팔을 접는 행이 0개 보충 장면 8개를 넣어 해결. 실패를 보고 골랐으므로 일반화 근거 아님
학습 창 규칙 "뒤 8칸이 같은 장면 안에 있어야 함" 규칙이 관입 장면 끝 7프레임(흙 접촉 구간)을 입력에서 뺌 ACT 관입 실패의 원인 가설을 지지(같은 35,000회 재학습본의 오프라인 비교에서 이른 끌기 명령이 사라짐. 실제 운전 관입 통과는 70,000회 선택본, 6.5절 표 6-15)
클라우드 장애 고장 서버 2대, 회수 중 네트워크 끊김(약 40분 추가 가동) 비정상 인스턴스는 바로 교체, 세션당 사용 상한 유지
실행 일정 학습 자료의 명령 시점과 실행 프로그램 적용 일정이 어긋나 끌기 실패 5장 G3-A로 정리, 6.3절 결과

5. 필드로봇 평가 기준 8가지

5.1 필드 장비 적용의 어려움

어려움 내용 평가에 주는 뜻
유압 굴착기는 유압으로 움직이며 제어 결합, 상태에 따라 달라지는 불감대, 시간 지연이 있음[30] 모델 명령이 장비의 무엇으로 바뀌는지, 사이 계층을 명시해야 함
흙 접촉 날을 흙에 넣고 끄는 접촉 작업은 명령 시점·크기에 민감하고, 작업 지점이 버킷에 가려짐 자유 공간 이동과 접촉 작업을 따로 봐야 함
연속 작업 관입 → 끌기 → 닫기 → 올리기 → 선회 → 덤프가 이어지고, 앞 동작의 결과(흙 양)가 다음 동작의 부하가 됨 단일 동작 성공만으로 작업 성공을 말할 수 없음
현장 시간 현장은 계산하는 동안 시간을 멈출 수 없음 계산 지연과 실행 방식을 함께 봐야 함
안전 실패는 되돌릴 수 없고, 자율 토공기계는 별도 안전 표준의 대상임[33] 모델 단독 성능과 별도로 안전 계층과의 결합을 봐야 함

5.2 구조

전제 E · 평가 타당성이 시험으로 판정해도 되는가 — 충족 못 하면 '판정 제외'관문G1 적응 가능성개방성·학습 경로G2 입출력·제어관측·명령·하위 계층G3 시간 정합A 통합 계약 · B 모델 지연G4 안전 결합바깥 안전 계층통과 / 조건부(조건 명시) / 불가 / 미판정 — 판정 규칙 (안)비교 축P1 작업 성능단계별 성공P2 일반화·강건성처음 보는 조건P3 데이터 요구·수집양·다양성·빈칸P4 자원·비용메모리·지연·비용측정 정의·분모·기준선만 — 합격선·합산 점수 없음진단 도구 D1–D4 (판정에 쓰지 않음)오프라인 오차 · 입력 바꿔 넣기 · 명령 시점 모의 · 끝 자세 비교

그림 5-1. 평가 기준의 구조 — 전제 E → 관문 G1–G4 → 비교 축 P1–P4, 옆에 진단 도구 D1–D4

모든 판정에 붙이는 꼬리표

꼬리표 값 이유
귀속 모델 / 통합(우리 연결 방식) / 환경(시뮬레이터·장비) 모델의 성질과 우리 연결 방식의 성질을 섞지 않기 위해
과제 작업 범위 단계 + 과제 이름 같은 모델도 과제에 따라 판정이 다를 수 있음
성숙도 예: 시뮬레이터·유압 제외 결과가 어느 배치 단계의 것인지 드러냄[42]

작업 범위 단계: 1단계 단일 동작(버킷 이동, 관입 하나) / 2단계 바깥 프로그램이 동작을 바꿔 주는 연속 동작 / 3단계 모델 스스로 동작을 바꾸는 연속 동작 / 4단계 전체 작업 사이클(이동·굴착·덤프 반복, 작업 목표까지).

5.3 평가 전제 E — 시험을 믿을 수 있는가

표 5-1. 전제 E 점검 항목

항목 지표 판정 규칙(안)
E1 규칙 사전 고정 판정 run 중 규칙 파일 지문이 실행 기록에 남은 비율 100 %가 아니면 해당 run은 보조 결과로만
E1b 결과 의존 여부 규칙이 같은 위치·과제의 이전 결과를 본 뒤 작성되었는가 '예'면 확인 시험이 아니라 재현 시험으로 표기
E2 판정 가능 비율 판정 가능 시행 / 전체 시행. '판정 제외'를 실패와 따로 셈 하한(예: 70 % 미만이면 그 과제 비교 보류)은 (안)
E3 판정기 교정 같은 판정기로 교사(규칙 제어기)를 판정한 통과율 교사도 떨어지면 기준 재검토
E4 판별력 출발 조건 난이도(예: 출발 거리), '아무것도 안 하는 정책' 기준선 쉬운 장면은 비교에서 낮게 가중
E5 시행 수와 불확실성 조건당 시행 수, 이항 Wilson 95 % 구간 1회면 우열 판정 불가. 반복 수를 사전에 정함
E6 운용 조건·충실도 명세 시뮬레이터, 물리 단순화(예: 유압 제외), 흙 질량·위치 범위, 조명, 실차 대응 여부 결과의 일반화 범위를 여기서 정함[36]

5.4 관문 G1–G4

G1 적응 가능성 [귀속: 모델]

G2 입출력·제어 계층 정합 [귀속: 모델 + 통합 + 장비]

G3 시간 정합 [두 하위 항목, 귀속이 다름]

시간 문제는 원인이 둘임. 하나는 우리 연결 방식의 약속, 다른 하나는 모델의 계산 시간임. 둘을 하나로 묶으면 연결 문제를 모델 성질로 잘못 읽게 됨.

G3-A 통합 시간 계약 [귀속: 통합]

G3-B 모델 지연과 실시간 운용 [귀속: 모델 + 자원]

G4 안전 계층 결합 [귀속: 시스템]

5.5 비교 축 P1–P4

공통 보고 규칙(안)

P1 작업 성능

P2 일반화·강건성

P3 데이터 요구·수집

P4 자원·비용

5.6 판정 대신 원인 찾기에 쓰는 진단 도구

표 5-2. 진단 도구 D1–D4 (판정에 쓰지 않음)

도구 내용 이번 쓰임
D1 오프라인 행동 오차 학습에 쓰지 않은 창의 움직임 오차 저장본 선택, 끌기 오차 감소 확인. 폐루프를 대신하지 못함
D2 입력 바꿔 넣기·가림 관절 상태·사진·지시를 다른 장면 것으로 바꿔 첫 명령 변화 확인 π0.5 버킷 실패 장면: 첫 명령은 사진이 아니라 출발 관절 자세가 정함. ACT 관입: 사진 주도. 지시문 바꿔 넣기는 미측정
D3 명령 시점 모의 계산 기록된 묶음을 다른 실행 일정으로 적용했을 때의 궤적 모의 둘째 칸부터 실행 시 흙 속 비율 1.0을 실행 전에 예측
D4 끝 자세 대 목표 자세 정책의 끝 관절 자세와 교사 목표 비교 처음 보는 높은 위치에서 붐 0.12–0.17 rad 낮고 암 0.25–0.32 rad 덜 접힘

5.7 한계

  1. 사례에서 나온 기준임. 이 기준은 이번 굴착기 실험에서 부딪힌 문제와 외부 사례·표준을 함께 정리해 만들었음. 이번 사례가 잘 들어맞는 것은 당연한 면이 있음.
  2. 검증 전임. 다른 장비·실차·다른 연구팀이 이 기준으로 평가해 본 적이 없고, 전문가 검토도 거치지 않았음. 관문 판정 규칙은 모두 (안)이며, 다른 연구자가 같은 판정을 재현하기에는 정의가 아직 부족함.
  3. 점수를 합산하지 않음. 관문은 범주, 비교 축은 단위가 서로 다름. 기준 8가지를 하나의 점수로 더하지 않음.
  4. 외부 근거만으로 도출되는지 점검: 우리 결과를 빼고 외부 문헌만 보아도 E, G1, G2, G3-B, G4, P1–P4는 근거가 있음. G3-A만 외부 근거가 약하고 우리 사례 의존이 큼.
  5. 반증 조건(안): 이 기준이 틀렸다면 다음이 보일 것임. ① 시간 계약을 맞춘 시험에서 오프라인 오차가 줄면 폐루프 성공도 오름(그렇다면 D1을 진단으로 내린 것이 지나침). ② 시간 정지 없이 운전하지 못하는 모델도 실제 장비 속도의 연속 굴착에서 성공함. ③ 유압을 포함해도 P1이 떨어지지 않음(그렇다면 G2 '조건부' 꼬리표가 불필요). 아직 시험하지 않았음.
  6. 다루지 않는 것: 보안·악의적 입력[38], 사람 감독·원격 개입·자율 수준 조절, 해석 가능성(진단 도구가 일부 대신함).

6. 2종 평가 결과

모든 결과는 [성숙도: 시뮬레이터·유압 제외]다. 조건당 대부분 1회이므로 순위를 매기지 않음.

6.1 시험 환경·과제·판정 규칙

표 6-1. 시험 환경

항목 값
시뮬레이터 APEX HR35(Unity + AGX Dynamics 변형 지형), 소형 굴착기 HR35 디지털 트윈
무학습 예선 MuJoCo 간이 굴착기 시뮬레이터(시뮬레이터·판정 기준이 달라 본실험과 직접 비교하지 않음)
하위 제어 유압 제외, 관절 직접 속도 명령
로컬 GPU RTX 5080 16 GB 1장, 드라이버 595.91.07. 시뮬레이터와 모델 서버가 같은 GPU를 나눠 씀
학습 GPU 외부 클라우드 H100(PCIe·SXM5), ACT는 A100 40GB
추론 정밀도 GR00T·π0.5 bf16, ACT fp32
명령(버킷 이동) 10 Hz 발행, 8칸 묶음 중 앞 4칸 실행, 명령 크기 ±0.2 제한
명령(굴착) 위와 같음 + 모델 계산 중 시뮬레이터 정지. 끌기 보정 이후는 둘째 칸부터 4칸 실행
시행 수 모델·과제·위치·방식당 대부분 1회

표 6-2. 과제와 학습 자료

과제 내용 작업 범위 단계
버킷 이동 빨간 공·꼬깔콘 표적으로 버킷 끝을 가져가 0.5 m 안에 1초 이상 머묾 1단계
굴착 동작별 교사가 직전 동작까지 운전 → 그 동작(관입·끌기·닫기·올리기)만 모델이 운전 1단계
연속 굴착(바깥 전환) 모델이 네 동작을 혼자 운전, 바깥 프로그램이 동작 끝 신호로 지시문을 바꿈 2단계
연속 굴착(스스로 전환) 지시문 하나("excavate one bucket of soil")로 모델이 스스로 네 동작을 이어 감 3단계
관로 굴착 지형 지도를 입력으로 공략점을 고르고 굴착(1단계만 수행, 여러 사이클은 미수행) 3단계 쪽 시도(6.5절)

판정 규칙(모두 실행 전에 고정)

6.2 전제 E 점검

표 6-3. 전제 E 점검 결과 (GR00T·π0.5·ACT 공통)

항목 결과
E1 규칙 사전 고정 충족. 모든 판정 run에 규칙 지문 기록. 결과를 본 뒤 다시 판정한 1건은 보조로만 표기
E1b 결과 의존 끌기 실행 일정 맞춤, 버킷 보충 장면 선택, π0.5 실행 시간 한도 확장은 이전 결과를 본 뒤 정함 → 재현 시험 성격
E2 판정 가능 비율 부분. 흙 14 kg 이상 닫기·올리기는 시뮬레이터가 초당 17–85장으로 느려져 검증 불가 구간이 많음. 교사만 운전해도 닫기 화면 기준 실패 15/23
E3 판정기 교정 끌기 '흙 속 비율 0.80' 기준을 교사 15회에 같은 구간으로 대면 7/15가 0.80 미만 — 기준이 교사보다 엄격
E4 판별력 잠근 시험 장면은 출발 0.24–0.56 m로 이미 성공 거리 근처. '아무것도 안 하는 정책' 미측정
E5 시행 수 조건당 대부분 1회 — 우열 판정 불가
E6 운용 조건 명세 APEX HR35, 유압 제외, 흙 질량·위치 범위 기록. 조명·분진·토양 종류 변화 없음

6.3 관문별 판정

표 6-4. 관문 판정 (판정 규칙(안)을 적용한 결과)

관문 GR00T N1.7 π0.5 ACT(참고)
G1 적응 가능성 조건부 — 공식 절차로 학습·운전함. 조건: 백본 접근 승인, 라이선스 표기 불일치, 사전학습 데이터 일부 공개 조건부 — 공식 절차(JAX)로 학습·운전함. 조건: 사전학습 데이터 일부 공개, 가중치 이용 조건 별도 확인 필요(Apache-2.0과 Gemma 이용약관 병존), PyTorch LoRA 미지원 해당 없음(파운데이션 모델 아님). 공개 구현으로 학습·운전
G2 무학습 불가 — 72회 도달 0(로봇팔 후학습 체크포인트) 불가 — 같음 해당 없음
G2 학습 후 조건부 — 4관절 속도, 카메라 2대 + 관절 상태로 운전. 조건: 유압 제외 조건부 — 같음 같음
G2 LiDAR 경로 입력 경로 구축, 지형 재현 5 mm 안. 현 단계 입력 제외. 관로 실험에서 지도 그림을 세 번째 영상으로 넣어 학습·운전함. 지도 기반 공략점 선택은 확인되지 않음(6.5절) 같은 경로로 학습·운전함. 지도 기반 공략점 선택은 확인되지 않음(6.5절) 해당 없음
G3-A 통합 시간 계약 불일치 발견(첫 칸 약 0.13 s 늦음) → 보정 후 충족(E1b 예) 같음 보정된 일정으로만 운전
G3-B 모델 지연 버킷 이동: 정지 없이 운전 → 통과(안 적용). 굴착: 조건부(시뮬레이터 정지 필요). 원격: 이 설정에서 주기 초과 → 탑재 필요 버킷 이동: 정지 없이 운전 → 통과(안 적용), 단 시뮬레이터 시간 감속 여부 미확인. 굴착: 조건부. 연속 굴착: 처음 한도에서 멈춤 누적으로 판정 불가 → 한도 확장 판에서 완주(여전히 정지 조건) 굴착은 정지 조건, 추론 약 10 ms라 멈춤 짧음. 정지 없는 굴착은 시험 안 함
G4 안전 계층 결합 미판정 — 명령 ±0.2 제한·관절 한계·감시 아래에서만 운전. 실패 양상은 정성 기록만 미판정 미판정

G2 — 무학습 적용과 입출력 연결

G3 — 끌기와 통합 시간 계약

표 6-5. 끌기 실패에서 성공까지 [귀속: 통합, E1b: 예]

단계 내용 결과
끌기 자료 보강 끌기 학습 창 55 → 187, 3배 반복 재학습 오프라인 붐 오차 GR00T 0.0192 → 0.0050, π0.5 0.0137 → 0.0056(D1). 폐루프 끌기 0/4(흙 속 비율 0.33–0.75, 기준 0.80)
원인 분석 모델 묶음 자체는 교사와 거의 같음. 학습 라벨 0.07 s 대 첫 칸 적용 0.2 s → 첫 칸 약 0.13 s 늦음. 계산 중 시뮬레이터가 멈춰 있었으므로 계산 시간은 원인 아님 모의 계산(D3)이 둘째 칸부터 실행 시 흙 속 1.0을 예측
실행 일정 맞춤 재학습 없이 둘째 칸부터 실행. 규칙을 실행 전에 고정 8/8 성공(두 모델 × 두 위치 × 두 실행 길이). 흙 속 1.0, 끝 흙 2.6–5.8 kg
끌기 일정 맞춤 전
맞춤 전 · 흙 속 비율 0.33 · 끝 흙 0.68 kg · 실패
끌기 일정 맞춤 후
둘째 칸부터 실행 · 흙 속 비율 1.0 · 끝 흙 3.83 kg · 성공

왼쪽 운전석·오른쪽 붐 카메라. 맞춤 전(왼쪽)은 정식 평가 영상의 정지 화면(운전석 화면은 위쪽 일부를 확대 표시), 맞춤 후(오른쪽)는 시연 재촬영(표적 공 숨김), 수치는 정식 평가.

그림 6-1. 끌기 — 실행 일정 맞춤 전(왼쪽)과 후(오른쪽) (GR00T, 학습 위치, 대표 영상의 정지 화면)

G3 — 모델 지연

6.4 비교 축별 결과

P1 작업 성능

표 6-6. 버킷 이동 (성공/시행, 괄호는 Wilson 95 % 구간) [사전, 1단계]

시험 GR00T N1.7 π0.5 ACT 비고
확인 장면 3곳 × 공·콘 6/6 (0.61–1.00) 6/6 (0.61–1.00) 6/6 (0.61–1.00) 출발 거리 0.84–1.23 m
잠근 시험 장면 4곳 × 공·콘 7/8 (0.53–0.98) 7/8 (0.53–0.98) 6/8 (0.41–0.93) 판별력 낮음: 출발 0.24–0.56 m

표 6-7. 굴착 동작별 (학습 위치 / 검증 위치) [사전, 1단계]

동작 GR00T π0.5 ACT
관입 성공 / 성공 성공 / 판정 제외 실패 / 실패
끌기(처음 일정) 실패 / 실패 실패 / 실패 (미실시)
끌기(일정 맞춤 후) 성공 / 성공 성공 / 성공 성공 / 성공
닫기 판정 제외 / 성공 성공 / 판정 제외 성공 / 판정 제외
올리기 성공 / 성공 성공 / 미실행 성공 / 성공
통과 동작(한 위치 이상) 3/4 → 끌기 보정 후 4/4 3/4 → 끌기 보정 후 4/4 3/4(관입 실패)

표 6-8. 연속 굴착 — 바깥 프로그램이 동작을 바꿔 줌 [사전, 2단계]

모델 위치 네 동작 끝 신호 / 동작 판정 최종(화면 기준 포함) 흙(kg): 끌기 끝 → 닫기 끝 → 올리기 끝
GR00T 학습 4/4 / 4/4 통과 관입·끌기 성공, 닫기·올리기 판정 제외 7.1 → 30.4 → 31.8
GR00T 검증 4/4 / 4/4 통과 관입 성공, 나머지 판정 제외 8.9 → 30.3 → 32.7
π0.5(처음 한도) 학습·검증 1회 완주, 1회 올리기 중 정지 판정 불가(멈춤 합계가 한도에 걸림) —
π0.5(한도 확장) 학습 4/4 / 4/4 통과 관입 성공, 나머지 판정 제외 16.4 → 39.8 → 42.0
π0.5(한도 확장) 검증 4/4 / 4/4 통과 관입·끌기 성공, 닫기·올리기 판정 제외 15.0 → 46.5 → 48.0
ACT 학습 4/4 / 4/4 통과 네 동작 모두 성공 끌기 끝 13.0, 최대 20.0
ACT 검증 4/4 / 4/4 통과 관입·끌기·올리기 성공, 닫기 판정 제외 끌기 끝 9.8, 최대 13.4
GR00T 연속 굴착 검증 위치

(가) 모델 입력 카메라 — 왼쪽 운전석·오른쪽 붐

옆에서 본 굴착 과정

(나) 옆에서 본 버킷(녹화 전용) — 진입 끝 · 가장 깊은 순간 · 올리기

(다) 굴착기 전체 측면 · 진입 끝
(다) 굴착기 전체 측면 · 진입 끝
(라) 굴착기 전체 측면 · 올리기
(라) 굴착기 전체 측면 · 올리기

시연 재촬영(표적 공 숨김), 수치는 정식 평가. 노란 선 = 시작 지형, 초록 선 = 진입 지점, 빨간 선 = 날 끝이 지나간 길. 화면 안 깊이·흙 값은 재촬영 실행의 기록이며 판정 수치는 표의 정식 평가 값. 흙 30 kg 이상 구간은 화면 기준 판정 제외라 '전체 시연 성공'으로 세지 않음.

그림 6-2. 연속 굴착 — GR00T, 검증 위치(바깥 전환, 네 동작 완주, 흙 32.7 kg) (모델 입력 카메라, 옆에서 본 버킷의 진입 끝·가장 깊은 순간·올리기, 굴착기 전체 측면의 진입 지점과 깊이)

GR00T · 학습 위치 · 31.8 kg
GR00T · 학습 위치 · 31.8 kg
GR00T · 검증 위치 · 32.7 kg
GR00T · 검증 위치 · 32.7 kg
π0.5 · 학습 위치 · 42.0 kg
π0.5 · 학습 위치 · 42.0 kg
π0.5 · 검증 위치 · 48.0 kg
π0.5 · 검증 위치 · 48.0 kg

π0.5 학습 위치는 정식 평가 영상의 정지 화면(운전석 화면은 위쪽 일부를 확대 표시), 나머지 세 장은 시연 재촬영(표적 공 숨김), 수치는 정식 평가.

옆에서 본 π0.5 · 검증 위치 — 진입 끝 · 가장 깊은 순간 · 올리기
옆에서 본 π0.5 · 검증 위치 — 진입 끝 · 가장 깊은 순간 · 올리기
옆에서 본 GR00T · 학습 위치 — 진입 끝 · 가장 깊은 순간 · 올리기
옆에서 본 GR00T · 학습 위치 — 진입 끝 · 가장 깊은 순간 · 올리기

옆에서 본 버킷은 녹화 전용 화면(모델 입력 아님). 시연 재촬영(표적 공 숨김), 수치는 정식 평가.

그림 6-3. 연속 굴착 네 실행 — 두 모델 × 두 위치 모두 동작 판정 4/4 (대표 영상의 정지 화면, 숫자는 올리기 끝 버킷 안 흙. 아래 두 줄은 옆에서 본 굴착 과정)

표 6-9. 연속 굴착 — 모델 스스로 동작 전환 [사전, 3단계]

모델 위치 결과 비고
GR00T 학습 관입 정체(실패) 최대 깊이 −0.011 m. 교사와 비슷한 시점(약 11.6–12.0 s)에 스스로 끌기 명령으로 넘어감
GR00T 검증 네 동작 순서대로 완주, 동작 판정 4/4 관입·끌기 성공, 닫기·올리기 판정 제외(흙 부하). 흙 8.1 → 32.8 → 35.9 kg
π0.5 학습 관입 정체(실패) 최대 깊이 0.015 m(기준 0.02)
π0.5 검증 1차: 완주·동작 판정 4/4, 화면 기준 판정 불가(실행 중 다른 창이 열려 시뮬레이터가 포커스를 잃음). 재실행: 관입 정체 재실행 추정 깊이 0.017 m

P2 일반화·강건성

표 6-10. 처음 보는 위치 (버킷 이동, 보간 위치, 가장 가까운 학습 위치와 0.64 m)

시험 GR00T N1.7 π0.5 ACT
2곳 × 2장면 × 공·콘 4/8 (0.22–0.78), 거리 기준만 6/8 6/8 (0.41–0.93) 3/8 (0.14–0.69)
실패 양상 높은 위치에서 크기 부족(방향 맞음) 같은 양상 낮은 위치에서 실패(원인 미분석)

P3 데이터 요구·수집

항목 GR00T·π0.5 ACT
학습 자료 버킷 이동 1,610창, 굴착 1,996창 같음
빈칸 진단·보충 버킷: 출발 자세 빈칸 → 보충 8장면으로 해결(실패를 보고 고름). 굴착: 끌기 창 55 → 187 관입 흙 접촉 구간 빈칸(학습 창 규칙) 발견 → 장면 끝 채움으로 재학습(100,000회 중 70,000회 선택)하자 두 위치에서 관입 통과(깊이 0.040·0.044 m, 사후 참고. 원 모델과 학습량이 다름)
교사 특권 정보를 쓰는 규칙 제어기 같음
자료량별 성능 곡선 미측정 미측정

P4 자원·비용

표 6-11. 추론 지연과 메모리 [실측, RTX 5080·bf16(ACT fp32)]

항목 GR00T N1.7 π0.5 ACT
단독 추론 p50/p95(소켓 100회) 91.1 / 93.0 ms 110.1 / 134.1 ms 추론 약 7–9 ms, 왕복 p95 11–14 ms
굴착 모델 소켓 p95 93–95 ms 113–137 ms —
버킷 폐루프 응답 중앙값 103–109 ms 119–122 ms 14 ms
추론 메모리 예약 6.06 GiB 서버 9,858 MiB(실제 최대 6,655 MiB) 서버 320 MiB
학습 최대 메모리 39.2 GiB(H100) 19.18 GB(JAX, H100) 3,631 MiB/모델(A100)
계산 중 시뮬레이터 화면 저하(같은 GPU) 약 1.5배 5–8배 미측정
공식 참고값 H100 eager 85.8 ms, TensorRT 27.9 ms 공식 수치 없음 —

표 6-12. 학습 자원 (외부 GPU 사용 내역. 금액은 이 문서에 적지 않음)

구분 내용
VLA 학습·측정 외부 GPU 14세션(H100 중심): 두 모델 버킷·굴착 학습, 원격 지연 측정
그중 학습 없이 쓴 자원 고장 서버 2대, 원격 지연 측정 1세션, 로컬 대기 약 83분분
ACT 기준선 A100 40GB 1대, 3시간 30분, 두 모델 동시 학습
LiDAR 지도 학습 비교 취소
관로 실험(첫·둘째 학습) H100 4세션(두 모델 × 학습 2회)
관로 실험(세 번째 학습) H100 서버 9대: 모델 8개 학습(두 모델 × 표식 유무 × 자료 전체·절반, 갱신 3,000회·2,000회) + 회수 전 자동 종료로 유실된 1개의 재실행
관로 실험(네 번째 학습) 외부 GPU 서버 5대: 모델 3개 확보(GR00T 표식 있음·없음, π0.5 표식 있음, 각 갱신 2,000회). 그 밖에 1개는 회수 중 자동 종료로 유실, 1대는 준비 단계에서 멈춰 학습 없이 종료

6.5 관로 굴착 및 기준선 재학습 결과

관로(트렌치) 굴착 — 지형 지도 입력을 통한 공략점 선정

목적과 실제 범위. 굴착 지점을 바깥에서 정해 주던 지금까지의 시험을 넘어, 모델이 지형 지도를 보고 공략점(버킷이 처음 땅에 들어가는 점)을 스스로 고르고 굴착하는지 봄. 처음 계획은 공략점 선정, 여러 사이클, 목표 깊이에서 멈추기의 세 단계였음. 실제 평가는 첫 단계의 검증 지형 두 곳에 한정했고, 여러 사이클과 종료 판단은 평가하지 않았음.

과제 설정

교사(공략점 규칙) — Jud 외 2017[43] 식 (24)–(28)

표 6-13. 처음 계획한 단계·자료·평가(실제 수행은 아래 "실제 수행"과 표 6-14 참조. 1단계만 수행했고, 치수·자료 수·오차 정의가 실제와 다름)

단계 내용 자료 평가 지표
1(필수) 무작위 지형에서 공략점 고르기 + 한 번 굴착 학습 지형 8개 × 3사이클 24 run, 검증 2 × 2, 시험 2 × 1 공략점 오차(관입 시작 순간 날 끝 위치 − 교사 공략점, 기준 |오차| ≤ 0.15 m는 가정), 굴착 성공(동작 판정 + 순서), 처음 보는 지형
2(최대한) 굴착 뒤 바뀐 지형으로 다음 공략점, 여러 사이클 위 자료의 사이클 2–3 사이클별 공략점 오차·성공, 누적 진척(관로 잔여 부피 감소, 같은 지형 교사 사슬과 비교)
3(최대한) 목표 깊이에서 더 파지도 덜 파지도 않고 끝냄 추가 8 run(목표 깊이 0.05·0.15 m, 완료 상태 포함) 과굴착 부피(목표면 2 cm 아래), 미굴착 부피, 종료 판단(완료 지형에서 움직이지 않음)

기준 대응: P1(공략점 선택 + 스스로 전환을 시도, 덤프는 고정 제어), P2(무작위 굴곡의 검증 지형 2개), G2(지도 입력 경로, 기계 기준 좌표, 잔여량 채널), P3(교사 특권 정보 대 모델 지도, 수집 비용 run당 약 7.5분), E(판정 기준 사전 고정). 지도 관측 비율 80 % 이상 run만 채택하는 규칙은 계획 항목이었고, 실제 적용 여부는 정본 요약에서 확인하지 못했음.

표 6-14. 관로 굴착 결과(첫·둘째 학습)

항목 GR00T N1.7 π0.5
접근(굴착 준비 자세까지) 첫 학습 5회·둘째 학습 2회 모두 완료 첫 학습 4회·둘째 학습 2회 모두 완료
첫 학습(LiDAR 지도) 공략점 오차 지형 4.25 m: −0.16, −0.14, −0.12 m / 지형 4.65 m: −0.65, −0.66 m 지형 4.25 m: −0.05, −0.03 m / 지형 4.65 m: −0.50, −0.49 m
첫 학습 굴착 지형 4.25 m: 3회 중 1회에서 실행 종료와 최종 지형 기록을 확보함. 이 실행은 접근·진입·끌기·닫기 기준을 통과했으나 올리기 높이와 화면 속도 기준은 충족하지 못함(버킷에 흙 40 kg), 관로 잔여 0.0480 → 0.0253 m³(교사 0.0387 m³), 목표면 아래로 판 곳 없음. 나머지 2회는 다섯 동작 통과(끝 0.3초가 잘려 최종 지형 없음). 지형 4.65 m: 닫기 중 영상 지연으로 안전 정지 2회 접근 뒤 진입이 시간 안에 끝나지 않음(4회 모두, 지형 변화 거의 없음)
지도만 바꿔 넣는 오프라인 시험 진입 위치 이동 −0.06 ~ +0.08 m, 공략점 방향과 무관. 둘째 학습 사전 기준 0/10 이동 −0.01 ~ +0.02 m. 둘째 학습 사전 기준 0/10
둘째 학습(지형 파일 지도) 공략점 오차·굴착 −0.125 m, −0.520 m. 버킷 날이 지면 위 2 cm·8 cm에 머물러 굴착 없음 −0.183 m, −0.477 m. 지면 위 1 cm·7 cm, 굴착 없음
판정(두 지형 모두 오차 0.15 m 이하) 두 번 모두 미달 — 지도 기반 공략점 선택 미확인 두 번 모두 미달 — 지도 기반 공략점 선택 미확인
2단계 사이클별 오차·누적 진척 수행하지 않음(1단계에서 종료) 수행하지 않음
3단계 과굴착·미굴착·종료 판단 수행하지 않음 수행하지 않음

읽는 법과 원인. - 된 것: 두 모델의 실행을 합한 13회 모두 접근 동작을 끝냈음(GR00T 7회, π0.5 6회). 첫 학습의 GR00T는 가까운 공략점 지형에서 한 사이클에 관로 잔여를 0.0227 m³ 줄였음(교사 0.0093 m³). 다만 완결된 측정은 1회이고 교사는 바닥 보호 때문에 일부러 얕게 파므로, GR00T가 교사보다 잘 판다고 말할 수는 없음. 이 실행의 화면 속도 중앙값은 70장/초로 내부 기준(90)보다 낮았음. - 안 된 것 ① 지도 기반 공략점 선택(두 번 모두). 진입 위치가 지형·학습 회차와 무관하게 약 4.0–4.2 m에 모였음. 첫 학습 자료는 장면과 공략점이 1:1로 묶여 있어(접근 학습 12 run, 공략점 값 5개) 지도를 읽지 않아도 됐고, 지도를 키우고 장면과 공략점을 분리한 둘째 학습(36 run, 값 9개)에서도 지도 기반 위치 선정 기준을 충족하지 못했음. 공략점을 지도 표식이나 지시문으로 직접 알려 주지 않은 조건의 결과임. - 안 된 것 ② 둘째 학습의 굴착(0회). 추가로 모은 16 run은 공략점 바로 앞까지 미리 파 둔 지형이라 교사의 바닥 보호가 진입 높이를 올려, 16 run 중 12개에서 교사가 흙에 닿지 않았음. "지면 위에서 멈추는 진입" 시연이 늘어난 뒤 GR00T의 관입이 사라졌음. 지도·자료·학습 횟수가 함께 바뀌었으므로 이 인과는 추정임. - 교훈: (1) 이번 두 번의 학습·평가에서는 지도만 입력에 더한 행동 복제로 지도 기반 위치 선정 기준을 충족하지 못했음 — 판단은 규칙이 하고 실행을 모델이 맡는 구성, 또는 공략점을 직접 가르치는 신호가 필요한지 비교해야 함. (2) 시연을 모을 때 교사가 실제로 흙을 파는지 수집 직후 확인해야 함. (3) LiDAR 지도는 관로 칸에서 지형과 평균 3.0 cm 어긋난 사례가 있어, 센서 지도로 돌아가려면 정확도를 먼저 올려야 함. - 말할 수 없는 것: "VLA는 지도 기반 굴착 위치 선택을 할 수 없다"는 일반화, 둘째 학습의 지형 파일 지도 결과를 LiDAR 관측 조건의 성능으로 일반화하는 것, 시험 지형 결과(미사용), 여러 사이클 연속 굴착.

세 번째 학습(교사 수정 뒤 재수집) — 결과와 실패 분석 [사전 기준 + 사후 분석]. 첫·둘째 학습에서 교사가 흙에 닿지 않은 시범이 많았던 결함을 고쳐 한 번 더 수행했음.

표 6-14b. 관로 굴착 결과(세 번째 학습, 모델당 4회 중 횟수)

자료 모델 지도 표식 통과 위치 오차 0.15 m 이내 진입 깊이 2 cm 이상 진입 동작 완료
전체 GR00T N1.7 있음 0 1 2 0
전체 π0.5 있음 0 2 0 0
전체 GR00T N1.7 없음 0 1 1 1
전체 π0.5 없음 0 0 0 0
절반 GR00T N1.7 있음 2 3 4 3
절반 π0.5 있음 0 0 2 0
절반 GR00T N1.7 없음 1 3 4 4
절반 π0.5 없음 1 2 2 2
합계(32회) 4 (전체 0/16, 절반 4/16) 12 (4/16, 8/16) 15 (3/16, 12/16) 10 (1/16, 9/16)

네 번째 학습(교사 진입 유지 시간 수정 뒤 재수집) — 결과 [사전 기준, 2026-11-16]. 세 번째 학습의 주된 실패 경로(깊이 확보 전 끌기 시작)를 교사 시범 쪽에서 고쳐 다시 수행했음.

3차 교사0.4~0.5초 뒤 끌기 시작 · 진입 깊이 중앙 4.3 cm4차 교사1.7초 뒤 끌기 시작 · 진입 깊이 중앙 5.8 cm깊이 2 cm 도달막대 길이 = 날이 깊이 2 cm에 닿은 뒤 끌기로 넘어가기까지의 시간 · 4차 교사는 깊이 2 cm 이상인 상태가 1.8초 이어진 뒤 끌기 시작(3차는 자세가 맞으면 곧바로 끌기)

그림 6-4. 교사 시범의 수정(세 번째 → 네 번째 학습) — 깊이 2 cm 도달 뒤 끌기까지의 여유와 진입 깊이(교사는 규칙 기반 제어기, VLA 아님)

표 6-14c. 관로 굴착 결과(네 번째 학습, 모델당 4회 중 횟수)

모델 지도 표식 통과 위치 오차 0.15 m 이내 진입 깊이 2 cm 이상 진입 동작 완료 비고
GR00T N1.7 있음 2 4 4 4 그 밖에 1회 과굴착, 1회 최종 지형 미저장(다섯 동작 수행·버킷 54 kg, 제거량 확인 불가)
GR00T N1.7 없음 2 4 4 4 그 밖에 1회 과굴착
π0.5 있음 0 3 4 3 진입 깊이는 4회 모두 충족, 굴착 효과 미달
합계(12회) 4 11 12 11 진입 중 이른 끌기 1/12(세 번째 22/32)
① 접근 끝
① 접근 끝
② 진입
② 진입
③ 끌기
③ 끌기
④ 올리기
④ 올리기

그림 6-5. 네 번째 학습 통과 장면의 흐름 — 접근 끝 → 진입 → 끌기 → 올리기(GR00T, 지도 표식 없음, 붐 카메라. 다섯 동작 완료, 흙 제거 0.020 m³, 버킷 안 흙 29.5 kg)

세 번째 학습 · 진입 끝
세 번째 학습 · 진입 끝
세 번째 학습 · 가장 깊은 시점
세 번째 학습 · 가장 깊은 시점
네 번째 학습 · 진입 끝(깊이 3.8 cm)
네 번째 학습 · 진입 끝(깊이 3.8 cm)
네 번째 학습 · 가장 깊은 시점(8.8 cm)
네 번째 학습 · 가장 깊은 시점(8.8 cm)

정식 평가 영상의 단면 화면. 갈색 = 흙, 노란 선 = 시작 지형, 흰 점선 = 실행 뒤 지형, 빨간 선 = 버킷 날 끝이 지나간 길, 초록 선 = 진입 지점, 오른쪽 칸 = 진입 지점 확대(세로 눈금 cm).

그림 6-6. 단면으로 본 진입과 굴착 깊이 — 위 두 장: 세 번째 학습 통과 실행, 아래 두 장: 네 번째 학습 통과 실행(GR00T). 각 실행의 진입이 끝난 시점과 가장 깊이 판 시점

진입 깊이 2 cm 이상3차 15/324차 12/12진입 동작 완료3차 10/324차 11/12진입 중 이른 끌기(낮을수록 좋음)3차 22/324차 1/12실행 통과3차 4/324차 4/123차 = 32회(전체·절반 자료 합), 4차 = 12회 · 교사·자료·모델 수가 달라 같은 조건의 비교는 아님

그림 6-7. 세 번째 대 네 번째 학습의 진입 지표 — 교사 수정 뒤 진입 실패 경로 해소(교사·자료·모델 수가 달라 같은 조건의 비교는 아님)

3차(32회 중 4회 통과)4차(12회 중 4회 통과)전체 · GR00T · 표식 있음미통과미통과미통과미통과전체 · π0.5 · 표식 있음미통과미통과미통과미통과전체 · GR00T · 표식 없음미통과미통과미통과미통과전체 · π0.5 · 표식 없음미통과미통과미통과미통과절반 · GR00T · 표식 있음통과통과미통과미통과절반 · π0.5 · 표식 있음미통과미통과미통과미통과절반 · GR00T · 표식 없음통과미통과미통과미통과절반 · π0.5 · 표식 없음통과미통과미통과미통과GR00T · 표식 있음통과통과과굴착미확인GR00T · 표식 없음통과통과과굴착미통과π0.5 · 표식 있음미통과미통과미통과미통과과굴착 = 목표 바닥 아래로 기준 넘게 팜미확인 = 다섯 동작 수행·버킷 54 kg, 최종 지형 미저장π0.5 4회 = 진입 깊이는 충족, 흙 제거량 미달칸 하나 = 실행 1회(모델당 4회 = 지형 2개 × 2회) · 3차는 모델별 통과 횟수만 표시(칸 순서는 실행 순서가 아님)

그림 6-8. 세 번째·네 번째 학습의 실행별 결과

비VLA 기준선 재학습 — 장면 끝 채움으로 관입 확인 [사후 참고]

표 6-15. 재학습 확인 시험 결과

시험 결과
재학습 ACT 오프라인(전환 순간 명령) 흙 접촉 순간 사진에서 끌기 전환 없이 붐을 천천히 계속 내림: 70,000회 선택본 −0.018 ~ −0.047, 같은 길이 35,000회 재학습본 −0.016 ~ −0.035. 기존 ACT(35,000회)는 같은 사진에서 +0.18 ~ +0.21(끌기 시작)
재학습 ACT(70,000회 선택본) 동작별 관입(학습·검증 위치) 두 위치 모두 성공(깊이 0.040 m, 0.044 m), 전환 없음 → 자료 빈칸 가설(가설 1) 지지. 같은 35,000회 비교는 오프라인으로만 확인했고, 실제 운전은 학습량이 많은 70,000회 선택본의 결과임
기존 ACT 동작별 관입, 둘째 칸부터(학습·검증 위치) 두 위치 모두 성공(깊이 0.033 m, 0.029 m). 전환은 그대로 일어남 → 가설 2는 결과를 바꾸는 부차 요인

6.6 종합 — 우열보다 적용 조건과 한계

  1. 가장 먼저 막힌 것은 입출력(G2)이었고, 학습으로 넘었음. 로봇팔용 체크포인트는 학습 없이 굴착기를 움직이지 못했음. 공개 가중치·학습 코드로 굴착기 시연을 학습하자 두 모델 모두 운전했음. 단 유압을 뺀 조건임.
  2. 굴착에서 결정적이었던 하나는 통합 시간 계약(G3-A)이었음. 이것은 모델이 아니라 우리 연결 방식의 성질이며, 두 모델을 가르지 않았음. 학습 자료의 시점 정의와 실행 일정을 문서로 맞추는 일이 모델 선택만큼 중요함.
  3. 모델 쪽 시간 문제(G3-B)는 π0.5 연속 굴착의 멈춤 누적에서 드러났음. 두 모델 모두 굴착은 시뮬레이터 정지 조건이라, 시간을 멈출 수 없는 현장 조건의 굴착은 아직 보이지 못했음.
  4. 작업 성능(P1)은 1·2단계에서 확인했고, 3단계는 두 모델 모두 검증 위치에서 완주했음(공식 실행 각 1회, π0.5는 화면 기준 판정 불가. 반복은 GR00T 3회 중 2회, π0.5 3회 중 1회). 일반화(P2)는 "방향은 맞고 크기는 부족"이 두 VLA의 공통 양상임.
  5. 같은 자료로 학습한 비VLA 기준선(ACT)이 비슷한 수준으로 운전했음. 이번 결과만으로는 범용 사전학습의 이득을 보였다고 말할 수 없음. 반대로 VLA가 불필요하다는 근거도 아님(시행 1회, 단일 시뮬레이터, 특권 정보를 쓰는 교사, 언어 이해를 요구하지 않는 과제).
  6. 순위를 매기지 않음. 조건당 1회이고, 4/8 대 6/8처럼 구간이 크게 겹침. 관문은 "이 장비에 VLA를 붙이는 경로가 열려 있나"를 보여 주지만 "어느 VLA가 더 적합한가"는 거의 말하지 못했음.
  7. 안전(G4)은 판정하지 않았음.

표 6-16. 적용 조건과 한계 요약

구분 확인된 것(조건 포함) 아직 확인하지 못한 것
적응 공개 가중치·학습 코드로 굴착기 4관절 속도 명령 학습(두 모델) 이용 조건의 상업 해석, 사전학습 데이터 전체
입출력 카메라 2대 + 관절 상태 → 4관절 속도(유압 제외) 유압·불감대 포함 운전, 밸브·조이스틱 명령 계층
시간 연결 시간 계약 보정 후 끌기 성공, 버킷 이동 정지 없이 운전 굴착의 정지 없는 운전, 탑재 장비 지연
작업 버킷 이동, 굴착 네 동작 연속(바깥 전환), 스스로 전환 검증 위치 완주(두 모델, 반복은 불안정) 전체 작업 사이클. 관로 굴착 성공 기준은 미충족(네 번째 학습까지), 지도 기반 공략점 선택·굴착 깊이 제어·흙 담기·올리기 완료는 미확인
일반화 보간 위치에서 방향 유지 외삽, 토양·조명·분진·센서 저하, 실차
안전 바깥 제한 아래 운전 위험 사건 정의와 정량 평가

비교를 위해 3장의 사례 평가 항목 표에 이 연구를 같은 방식으로 적으면 다음과 같음(작성자 자기 평가).

시험 조건·판정 규칙 명시 개방성·적응 경로 입출력·장비 연결 시간·실행 방식 안전·실패 양상 작업 성공 일반화 데이터 자원·비용
본 연구(APEX 시뮬레이터) ○ ○ ○ ○ ✕(미판정) ○ △ ○ ○

7. 향후 연구

과제 내용 이유
실차·유압 포함 시험 유압 포함 조건(불감대 보상 계층 포함)에서 학습 정책 운전 → 실차 녹화 자료 오프라인 평가 → 명령을 보내지 않는 섀도 모드 G2 '조건부' 꼬리표를 떼는 조건. 반증 조건 ③ 확인
합격선 설정과 전문가 검토 관문 판정 규칙(안)을 지문으로 고정해 이후 시험에 사전 규칙으로 적용. 내부 전문가(신뢰성연구센터 등) 검토 — 관문 귀속, 안전 표현, 반증 조건으로 질문을 좁힘. 판정 가능 비율 하한·최소 시행 수 결정 사례에서 나온 기준의 외부 검증
시행 수 확대·반복 시험 조건당 시행 수와 반복 수를 사전에 정해 늘림. 외삽 위치, 토양·조명·센서 저하 요인. 지시문 바꿔 넣기 시험, 끌기 대안 원인 배제 시험 우열 판정 가능성, 언어 역할과 시간 계약 해석 확정
현장 시간 조건 시뮬레이터 정지 없는 굴착(탑재 하드웨어 또는 GPU 분리), 비동기 실행·계층 구조 시험 G3-B 현장 조건
안전 평가 장면 정의 위험 사건 목록(작업 영역 이탈, 관절 한계 접근, 예상 밖 선회 등)과 그 사건을 만드는 시험 장면 정의, 실패 양상 분류 정의 없이는 측정 없이 충족처럼 보임
흙 부하 구간 검증 시간 배율, 흙 입자 수, 장비 분리로 무거운 흙 구간을 판정 가능하게 판정 가능 비율
외부 사례 역적용 HarvestFlex, ExT, NaVILA를 이 기준표에 책상 위에서 적용 기준이 다른 사례의 핵심 결과를 담는지 확인
관로 굴착 깊이·흙 담기 GR00T가 목표 바닥 아래로 파지 않도록 하는 깊이 제어와 과굴착 원인 분석, π0.5의 끌기 중 흙 담기, 무거운 흙의 올리기 완료, 교사·평가의 진입 종료 정의 정렬 네 번째 학습에서 진입은 해소됐으나 GR00T는 과굴착, π0.5는 흙 제거량 미달. 끌기 한도를 늘린 보충 평가도 통과 0/4
2027 전략사업 연계 관로·공략점 결과를 반영해 "지형을 보고 다음 굴착 위치를 정하는 상위 판단 + 동작 제어" 구성, 모델 선정 근거와 실차 단계 계획에 이 기준과 결과를 씀 계획서의 2027 전략연구사업 기획 근거

부록 C. 용어

용어 뜻
VLA Vision-Language-Action. 영상·언어 입력에서 로봇 행동을 출력하는 모델
파운데이션 모델 큰 자료로 미리 학습해 여러 과제에 미세조정해 쓰는 모델
파인튜닝(미세조정) 미리 학습된 모델을 새 장비·과제의 자료로 추가 학습하는 것
LoRA 큰 층의 가중치는 고정하고 작은 덧셈 행렬만 학습하는 방식. 메모리를 줄임
ACT Action Chunking with Transformers. 행동 묶음을 출력하는 모방학습 정책. 이 보고서의 비VLA 기준선
교사 표적·목표 자세를 아는 규칙 제어기. 학습 자료를 만든 운전자이며 VLA가 아님
행동 묶음 한 번의 추론으로 출력하는 여러 시점의 명령. 이번에는 8칸
시뮬레이터 정지(동기식) 모델이 계산하는 동안 시뮬레이터 시간을 멈추는 평가 방식. 현장에는 없는 장치
통합 시간 계약 학습 자료의 관측→명령 시점 정의와 실행 프로그램의 요청→적용 일정이 서로 맞는지에 대한 약속
관입·끌기·닫기·올리기 굴착 한 번의 네 동작. 날을 흙에 넣기, 흙 속에서 끌어오기, 버킷 말아 담기, 들어 올리기
판정 제외(검증 불가) 시뮬레이터 화면 기준을 못 넘어 판정할 수 없는 구간. 실패로 세지 않음
관문 / 비교 축 먼저 넘어야 하는 조건(범주 판정) / 얼마나 잘하는지 재는 수치(합격선 없음)
진단 도구 실패 원인을 찾는 데만 쓰는 측정. 판정에 쓰지 않음
공략점 버킷이 처음 땅에 들어가는 점
보간 / 외삽 학습 위치 사이 / 학습 범위 밖
Wilson 구간 적은 시행에서도 쓸 수 있는 이항 비율의 신뢰구간
유압 제외 유압 모델을 끄고 관절에 속도를 직접 주는 시뮬레이터 설정

참고문헌

본문에서 인용한 것만 적는다. 표준(33–37)은 범위 문구 수준만 확인했다.

  1. K. Black et al. (Physical Intelligence), "π0.5: a Vision-Language-Action Model with Open-World Generalization," arXiv:2504.16054, 2025.
  2. NVIDIA, "GR00T N1: An Open Foundation Model for Generalist Humanoid Robots," arXiv:2503.14734v2, 2025.
  3. NVIDIA, Isaac-GR00T README, https://github.com/NVIDIA/Isaac-GR00T (2026-10-22 확인).
  4. NVIDIA, GR00T-N1.7-3B 모델 카드, https://huggingface.co/nvidia/GR00T-N1.7-3B (2026-10-22 확인).
  5. Physical Intelligence, openpi README·docs/norm_stats.md, https://github.com/Physical-Intelligence/openpi (2026-10-22 확인).
  6. T. Z. Zhao, V. Kumar, S. Levine, C. Finn, "Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware," arXiv:2304.13705, 2023.
  7. Hugging Face, lerobot 저장소(ACT 구현), https://github.com/huggingface/lerobot.
  8. Y. Zhai et al., "ExT: Towards Scalable Autonomous Excavation via Large-Scale Multi-Task Pretraining and Fine-Tuning," arXiv:2509.14992, 2025.
  9. L. Chen et al., "ExACT: An End-to-End Autonomous Excavator System Using Action Chunking With Transformers," arXiv:2405.05861, 2024.
  10. S. Zhao et al., "Vision Guided Target Conditioned Control for Autonomous Excavation," arXiv:2608.21778, 2026.
  11. H. Kress-Gazit et al., "Robot Learning as an Empirical Science: Best Practices for Policy Evaluation," arXiv:2409.09491, 2024.
  12. X. Li et al., "Evaluating Real-World Robot Manipulation Policies in Simulation" (SIMPLER), CoRL 2024, arXiv:2405.05941.
  13. P. Atreya et al., "RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies," CoRL 2025, arXiv:2506.18123.
  14. X. Zhou et al., "LIBERO-PRO: Towards Robust and Fair Evaluation of VLA Models Beyond Memorization," arXiv:2510.03827, 2025.
  15. K. Black, M. Galliker, S. Levine, "Real-Time Execution of Action Chunking Flow Policies," NeurIPS 2025, arXiv:2506.07339.
  16. J. Tang et al., "VLASH: Real-Time VLAs via Future-State-Aware Asynchronous Inference," arXiv:2512.01031, 2025.
  17. Z. Yang et al., "EagleVLA: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference," arXiv:2607.12659, 2026.
  18. M. Hochedel, M. Lalonde, "Vision-Language-Action Models: Experimental Insights from a Real-World UR5 Platform," arXiv:2606.30456, 2026.
  19. A.-C. Cheng et al., "NaVILA: Legged Robot Vision-Language-Action Model for Navigation," Robotics: Science and Systems (RSS) 2025, arXiv:2412.04453.
  20. Z. Zhao, S. Wang, Z. Miao, Y. Xiong, "HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild," arXiv:2603.05982v1, 2026.
  21. T. S. Nguyen et al., "RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild," arXiv:2611.02497v1, 2026.
  22. Y. Yu, X. Qiu, "Benchmarking Vision-Language-Action Models on SO-101: Failure and Recovery Analysis," arXiv:2606.08881v2, 2026.
  23. Y. Zhang, Y. Qi, X. Zheng, "Experiences from Benchmarking Vision–Language–Action Models for Robotic Manipulation," arXiv:2511.11298v1, 2025.
  24. P. Montagut Bofi et al., "Per-Group Error, Not Total MSE: Fine-Tuning VLA Models for 11-DoF Mobile Manipulation," arXiv:2606.00253v1, ICRA 2026 워크숍.
  25. T. Jülg et al., "Robot Control Stack: A Lean Ecosystem for Robot Learning at Scale," arXiv:2509.14932v2, ICRA 2026.
  26. A. Kim, "ROBOGATE: Adaptive Failure Discovery for Safe Robot Policy Deployment via Two-Stage Boundary-Focused Sampling," arXiv:2603.22126v4, 2026.
  27. G. K. Erabati et al., "sensVLA: Spatially-Grounded Vision-Language-Action Model for Autonomous Wheel Loader," arXiv:2609.17021, ICRA 2026 워크숍, 2026 (초록만 확인).
  28. L. Zhang et al., "An autonomous excavator system for material loading tasks," Science Robotics, 2021, DOI 10.1126/scirobotics.abc3164 (보도자료 기준 확인, 논문 본문 미대조).
  29. Gruetter, Terenzi, Egli, Hutter, "Towards Learning Boulder Excavation with Hydraulic Excavators," arXiv:2509.17683, 2025.
  30. Z. Zou et al., "High-Precision and High-Efficiency Trajectory Tracking for Excavators Based on Closed-Loop Dynamics," arXiv:2509.17387, 2025.
  31. F. Lin et al., "Data Scaling Laws in Imitation Learning for Robotic Manipulation," arXiv:2410.18647.
  32. A. Maddukuri et al., "Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation," arXiv:2503.24361.
  33. ISO 17757:2019, Earth-moving machinery and mining — Autonomous and semi-autonomous machine system safety.
  34. ISO/IEC TR 5469:2024, Artificial intelligence — Functional safety and AI systems (정보 제공 문서).
  35. ISO 19014 (Part 2), Earth-moving machinery — Functional safety.
  36. ISO 34503:2023, Road vehicles — Test scenarios for automated driving systems — Specification for operational design domain (유추로만 인용).
  37. UL 4600, Standard for Safety for the Evaluation of Autonomous Products (2023판, 2차 자료로 확인).
  38. Q. Li et al., "Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms," arXiv:2604.23775, 2026.
  39. M. White et al., "The Model Openness Framework," arXiv:2403.13784, 2024.
  40. NIST, Standard Test Methods for Response Robots (ASTM E54.09) 소개 문서, 2021.
  41. K. Zhou et al., "Characterizing Vision-Language-Action Models across XPUs," arXiv:2604.24447, 2026.
  42. A. Lavin et al., "Technology readiness levels for machine learning systems," Nature Communications 13:6039, 2022.
  43. D. Jud, G. Hottiger, P. Leemann, M. Hutter, "Planning and Control for Autonomous Excavation," IEEE Robotics and Automation Letters 2(4):2151–2158, 2017.
  44. D. Jud, P. Leemann, S. Kerscher, M. Hutter, "Autonomous Free-Form Trenching Using a Walking Excavator," IEEE Robotics and Automation Letters 4(4), 2019 (첫 쪽 확인).
  45. Physical Intelligence, "π*0.6: a VLA That Learns From Experience," arXiv:2511.14759, 2025 (초록 확인).
  46. Actor Labs, "A VLA Policy for an Excavator"(2026-03-07), "Excavator in the Wild"(2026-05-25), https://labs.actor/research/ 및 2차 기사. 기업 자체 주장, 정량 지표 없음.
  47. K. Black et al. (Physical Intelligence), "π0: A Vision-Language-Action Flow Model for General Robot Control," RSS 2025, arXiv:2410.24164, 2024.
  48. Open X-Embodiment Collaboration, "Open X-Embodiment: Robotic Learning Datasets and RT-X Models," arXiv:2310.08864, 2023.
  49. Octo Model Team, "Octo: An Open-Source Generalist Robot Policy," arXiv:2405.12213, 2024.
  50. M. J. Kim et al., "OpenVLA: An Open-Source Vision-Language-Action Model," arXiv:2406.09246, 2024.
  51. R. Doshi et al., "Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation" (CrossFormer), arXiv:2408.11812, 2024.
  52. L. Wang et al., "Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers" (HPT), NeurIPS 2024, arXiv:2409.20537.
  53. D. Qu et al., "SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model," RSS 2025, arXiv:2501.15830.
  54. NVIDIA GEAR, GR00T N1.6 연구 페이지, https://research.nvidia.com/labs/gear/gr00t-n1_6 (검색 결과 수준 확인).
  55. Dream Machines, π0.5 파인튜닝 실험 기록, https://dream-machines.eu/blog/pi05-fine-tuning, 2026 (기업 블로그).
  56. F. Ferchau, D. Pommer, C. Axenie, "On the Efficiency of LoRA Fine-Tuning for Vision-Language-Action Models in Industrial Robotic Manipulation," ICANN 2026, arXiv:2607.10172, 2026 (UR5e π0 미세조정 비교, 표 2 확인).
  57. NVIDIA, Cosmos-Reason2-2B 모델 메타데이터(접근 승인, NVIDIA Open Model License), https://huggingface.co/nvidia/Cosmos-Reason2-2B (2026-10-22 확인).
  58. C. Li et al., "PointVLA: Injecting the 3D World into Vision-Language-Action Models," arXiv:2503.07511, 2025 (앞부분 본문 확인).
  59. H. Zhen et al., "3D-VLA: A 3D Vision-Language-Action Generative World Model," ICML 2024, arXiv:2403.09631 (앞부분 본문 확인).