VLA 모델 2종 필드 적합성 심층 비교 분석 보고서초안 v2.32026-11-16검토용 초안결과 대기 0곳
한국기계연구원 기본사업(창의·도전형) · 필드로봇 피지컬 AI 파운데이션 모델 탐색 연구
VLA 모델 2종 필드 적합성 심층 비교 분석 보고서
GR00T N1.7·π0.5의 굴착기 적용 가능성 평가 — 필드 적합성 평가 보고서 (검토용 초안)
초안 v2.3 · 2026-11-16
보고서 번호 〔기관 등록 시 부여 — 미부여〕
작성 〔사용자 확정〕
보고서 정보
항목
내용
보고서명
VLA 모델 2종 필드 적합성 심층 비교 분석 보고서 (계획서 결과물 명칭: 필드 적합성 평가 보고서)
과제
한국기계연구원 기본사업(창의·도전형) 필드로봇 피지컬 AI 파운데이션 모델 탐색 연구 (NK264F)
판
초안 v2.3 (2026-11-16)
보고서 번호
〔기관 등록 시 부여 — 미부여〕
작성자
〔사용자 확정〕
발간·등록일
〔기관 절차 확인 후〕
공개 범위
〔사용자·기관 결정〕
성과 인정 기준
연구개발계획서의 "보고서 작성 여부 확인", "기술보고서 1건 작성 완료"
상태
시뮬레이터 실측 반영. 관로 굴착 실험(첫·둘째 학습 2026-11-14, 세 번째 학습 2026-11-15, 네 번째 학습 2026-11-16)과 비VLA 기준선 재학습 확인 결과 반영. 네 번째 학습의 사후 보충 평가까지 반영. 사용자 확정 전
표기
[공식] 개발사 문서 값(우리 측정 아님) · [실측] 이 과제의 시뮬레이터·GPU 측정값 · [사전] 실행 전에 고정한 판정 규칙으로 낸 결과 · [사후 선택] 결과를 본 뒤 고른 방식 · [사후 참고] 공식 결과가 아닌 보조 분석 · [요약] 원문을 축자로 대조하지 않고 요약으로만 확인한 내용
(안) 아직 검토·합의되지 않은 제안 · 미확인 근거 문서에서 확인하지 못함 · 미수행 계획했으나 하지 않음
목적. 범용 VLA(시각-언어-행동) 파운데이션 모델 GR00T N1.7과 π0.5를 굴착기에 적용할 수 있는지 같은 기준으로 살핌. 결과는 2027 전략연구사업의 모델 선정 근거로 씀.
구성.
로봇 파운데이션 모델과 주요 VLA 계열을 구조·입출력·학습 데이터·공개 범위로 정리했음(1장).
가중치·학습 코드 공개, 새 장비 등록 절차, 최신 정식판을 조건으로 GR00T N1.7과 π0.5를 골랐음(2장).
로봇팔 밖 장비(수확·사족·휠로더·가정용 이동 로봇)와 여러 모델 비교 사례를 모아 무엇을 평가했는지 비교했음(3장).
두 모델을 새 장비에 파인튜닝하는 방법을 모델별로 정리하고, 우리가 실제로 쓴 설정과 겪은 문제를 적었음(4장).
필드로봇 평가 기준 8가지(관문 4개 + 비교 축 4개)와 그 앞의 전제, 원인 찾기용 진단 도구를 정의했음(5장).
굴착기 시뮬레이터에서 두 모델과 비VLA 기준선(ACT)을 같은 자료·같은 시험으로 운전해 기준별로 정리했음(6장).
굴착 결과 한눈에(6.4–6.5절).
단계별 굴착: 두 모델 모두 관입·끌기·닫기·올리기 네 동작 통과(끌기는 실행 일정 맞춤 뒤 8/8).
연속 굴착: 두 모델 × 두 위치 모두 동작 판정 4/4, 한 사이클에 흙 32–48 kg(그림 6-3).
스스로 동작 전환: 지시문 하나로 검증 위치에서 두 모델 완주(공식 각 1회). 반복은 GR00T 3회 중 2회, π0.5 3회 중 1회.
굴착 지점 결정(관로): 네 번째 학습에서 진입 12/12로 안정, 12회 중 4회 통과(한 사이클 부분 굴착). 성공 기준은 미충족(그림 6-4–6-8).
주요 결과(시뮬레이터, 유압 제외, 조건당 대부분 1회).
입출력(G2): 로봇팔용 공개 체크포인트를 학습 없이 연결한 예선 72회는 모두 표적 도달 0이었음. 굴착기 시연으로 파인튜닝한 뒤에는 두 모델 모두 버킷 이동과 굴착 네 동작을 운전했음. 단 유압을 뺀 조건임(조건부).
적응 가능성(G1): 두 모델 모두 공식 절차로 학습·운전했음. 사전학습 데이터는 일부만 공개이고, GR00T는 백본 접근 승인과 라이선스 표기 불일치가 있음. 두 모델 모두 조건부임.
시간 정합(G3): 끌기 실패는 모델 계산 시간이 아니라 학습 자료의 명령 시점과 실행 프로그램의 적용 일정이 어긋난 연결 문제였음. 묶음의 둘째 칸부터 실행하자 끌기 0/4가 8/8 성공으로 바뀌었음(독립 조건 4개, 실패를 본 뒤 고른 방식). 이와 별개로 π0.5 연속 굴착에서는 모델 계산 시간이 쌓여 한도에 걸렸음. 굴착은 두 모델 모두 계산 중 시뮬레이터를 멈춘 조건임.
안전(G4): 판정하지 않았음(미판정).
작업 성능·일반화(P1·P2): 버킷 확인 장면은 두 모델 모두 6/6, 처음 보는 위치는 GR00T 4/8, π0.5 6/8로 구별되지 않음(p ≈ 0.61). 굴착은 두 모델 모두 네 동작을 연속 운전했고, 지시문 하나로 스스로 동작을 이어 가는 시험은 두 모델 모두 검증 위치에서 네 동작을 순서대로 완주했음(공식 실행 각 1회, π0.5는 화면 기준 판정 불가). 반복은 불안정해 시연을 포함하면 GR00T 3회 중 2회, π0.5 3회 중 1회 완주였음.
비VLA 기준선: 같은 자료로 학습한 ACT도 비슷한 수준으로 운전했음. 이번 결과만으로는 범용 사전학습의 이득을 보였다고 말할 수 없음. 조건당 1회라 순위는 매기지 않음.
자원·비용(P4): 단독 추론 p95 GR00T 93.0 ms, π0.5 134.1 ms(RTX 5080). 학습은 두 모델 모두 외부 H100을 썼음.
결론. 이번 결과는 "어느 모델이 더 적합한가"가 아니라 "어떤 조건에서 이 장비에 VLA를 붙일 수 있고, 무엇이 아직 막혀 있는가"를 보여 줌. 열려 있는 것은 공개 가중치·학습 코드로 새 장비에 맞추는 경로임. 막혀 있거나 확인하지 못한 것은 유압 포함 운전, 시간을 멈추지 않는 현장 운전, 안전 평가, 충분한 시행 수임.
추가 실험 결과(6.5절). 관로(트렌치) 굴착에서 지도를 보고 공략점을 고르는 실험은 두 번 학습했으나 두 모델 모두 지도 기반 공략점 선택을 보이지 못했음. 접근 동작은 13회 모두 끝냈고, 첫 학습의 GR00T는 한 지형에서 실제로 흙을 팠음. 교사가 매번 흙을 파도록 고쳐 다시 모은 세 번째 학습에서도 사전에 정한 기준을 채운 구성은 없었음(32회 중 4회 통과, 4회 모두 실제로 흙을 판 한 사이클 굴착). 진입에 실패한 22회 중 21회는 깊이를 확보하기 전에 끌기를 시작했고, 교사 시범 자체의 전환 여유가 0.4–0.5초로 작았음. 교사가 목표 자세에 닿은 뒤 2.0초 머문 다음 끌도록 고쳐 다시 모은 네 번째 학습에서는 진입 실패 경로가 해소됨을 확인했음(깊이 2 cm 이상 진입 12/12, 진입 중 이른 끌기 22/32 → 1/12). 그러나 관로 굴착 성공 기준은 채우지 못했음(12회 중 4회 통과, 한 모델이 두 지형 모두 통과한 구성 0). 12회 중 7회는 끌기 단계의 시간 한도에서 끊겼으나, 한도만 2초 늘린 사후 보충 평가 4회도 통과 0/4여서 한도는 주된 걸림돌이 아니었음. GR00T는 3회 목표 바닥 아래로 팠고(그중 2회 기준 초과), π0.5는 흙을 담지 못했음. 남은 과제는 GR00T의 굴착 깊이 제어, π0.5의 흙 담기, 올리기 완료임. 비VLA 기준선은 장면 끝의 관입 구간을 학습 입력에 넣자 같은 학습량(35,000회)의 오프라인 비교에서도 이른 끌기 명령이 사라졌음. 재학습 선택본(70,000회)은 두 위치에서 관입을 통과했으나, 원 모델(35,000회)보다 학습량이 많아 실제 운전의 개선을 자료 규칙만의 효과로 단정하지 않음.
1. VLA 모델 총정리
1.1 로봇 파운데이션 모델의 등장
언어·영상 분야에서 큰 자료로 미리 학습한 모델을 여러 과제에 미세조정해 쓰는 방식(파운데이션 모델)이 자리 잡았음. 로봇 분야에서도 같은 흐름으로, 여러 로봇의 시연 자료를 모아 한 모델을 학습하고 새 로봇·과제에는 적은 자료로 미세조정하는 연구가 늘었음.
VLA(Vision-Language-Action)는 그중 영상과 언어 지시를 받아 로봇 행동을 바로 출력하는 모델임. 대개 미리 학습된 시각·언어 모델(VLM)에 행동을 내는 부분을 붙임.
여러 로봇 자료를 한 데 모으는 공개 데이터셋(Open X-Embodiment[48])이 나오면서, 여러 기체를 한 모델로 학습하는 연구가 본격화했음.
이 장은 이번 조사에서 원문을 직접 읽어 확인한 계열을 중심으로 정리함. 원문 일부만 읽고 나머지를 요약으로 받은 내용은 [요약]으로 표시했음. 근거 문서에 없는 사양은 미확인으로 적고 채우지 않았음.
1.2 주요 VLA 계열 정리
표 1-1. 주요 로봇 파운데이션 모델·VLA 계열 (원문 확인 범위 기준)
계열
개발
구조·입출력
학습 데이터
새 장비 처리 방식
확인 수준
GR00T N1 [2]
NVIDIA
VLM + 행동 헤드. 입력 RGB(224×224) + 언어 + 상태. 기체별 MLP 상태·행동 인코더/디코더
GR-1 휴머노이드, Open X-Embodiment 일부, AgiBot 등
기체별 사후학습. 학습에 없던 기체 무학습 평가 없음. 평가는 짧은 탁상 과제 중심
본문 §1–§5 초입
GR00T N1.6 [54]
NVIDIA
상태 기준 상대 행동 묶음. 상태·행동 최대 29차원, 행동 구간 16, 행동 헤드 32층
AgiBot·Unitree G1 자료 추가
NEW_EMBODIMENT 태그로 파인튜닝
공식 페이지·저장소, 세부 [요약]
GR00T N1.7 [3][4]
NVIDIA
Cosmos-Reason2-2B(Qwen3-VL 구조) 백본 + flow matching 확산 트랜스포머(DiT) 16층, 약 3B. 상태·행동 최대 132차원, 행동 구간 최대 40
양팔·반휴머노이드·휴머노이드 로봇 자료 + 사람 영상(EgoScale) 2만 시간 [공식]
NEW_EMBODIMENT + meta/modality.json + Python 설정 파일
저장소·모델 카드
π0 [47]
Physical Intelligence
VLM + flow matching 행동 전문가. 입력 RGB 2–3장 + 관절 상태. 저차원 로봇은 최대 차원(18)까지 0으로 채움
UR5e·Franka·Trossen·ARX·AgileX 등 여러 팔·이동 로봇 + Open X-Embodiment
새 과제는 파인튜닝. 학습에 없던 로봇 무학습 미평가
본문 §I–§VII
π0.5 [1][5]
Physical Intelligence
PaliGemma(Gemma 2B) VLM + 약 300M 행동 전문가, flow matching. 기본 설정은 상태를 256구간 이산 토큰으로 넣음. 행동 32차원 패딩
1만 시간 넘는 로봇 자료(저장소 기준), 다중 로봇·상위 의미 예측·웹 자료 공동학습
장비 등록 개념 없음. 입출력 변환·설정 작성 → 정규화 통계 → 학습. 새 집 평가이지 새 로봇 평가는 아님
본문 §I–§IV-C, 저장소
Open X-Embodiment / RT-X [48]
공동 연구
카메라 1장 중심. 데이터 형식에 깊이 포함
22종 기체(단일팔~양팔·사족)
보류 기체 시험 없음. 데이터셋별 정규화로 "같은 행동 벡터가 로봇마다 매우 다른 움직임을 낼 수 있다"고 명시
본문 §I–§V-B
Octo [49]
공동 연구
RGB(+일부 힘) 입력 트랜스포머 정책
Open X-Embodiment 25개 데이터셋
새 관측·행동은 어댑터·새 헤드 + 약 100궤적 파인튜닝. 파인튜닝 평균 72 %
앞부분 본문
OpenVLA [50]
공동 연구
단일 RGB + 언어 → 행동을 1–99 % 분위수 256구간 이산 토큰으로 출력
Open X-Embodiment 97만 궤적
새 설정은 10–150 시연 파인튜닝 [요약]
본문 §1–§5.1
CrossFormer [51]
공동 연구
영상 + 고유감각. 기체 종류별 행동 헤드
20종(팔·ALOHA·이동 로봇·사족·드론) 90만 궤적
관측·행동 공간을 수작업으로 맞추지 않고 한 정책으로 학습. 새 관측·행동 조합으로의 무학습은 아님
앞부분 본문
HPT [52]
공동 연구
기체별 입력부(stem)·출력부(head) + 공유 트렁크
27–52개 데이터셋
새 기체는 입출력부 새로 학습 + 트렁크 고정
앞부분 본문
SpatialVLA [53]
공동 연구
추정 깊이를 3차원 위치 정보로 바꿔 넣음. 행동은 적응형 격자로 이산화
Open X-Embodiment + RH20T 110만 시연
새 로봇은 행동 격자를 다시 나누고 학습
초록~표 II
π0.6·π0.7 [45]
Physical Intelligence
미확인
미확인
가중치 비공개
π*0.6 초록
ACT [6] (VLA 아님)
학계
영상 + 관절 상태 → 행동 묶음(트랜스포머). 언어 입력 없음
과제별 시연
과제별 처음부터 학습(영상 백본만 사전학습)
본문
위 계열 밖에도 비교 사례(3장)에서 SmolVLA, OpenVLA-OFT, RDT-1B, WALL-OSS, Wall-X, MolmoAct2, G0.5, LingBot-VLA v2가 쓰였음. 이 모델들의 구조·학습 자료는 이번에 원문으로 대조하지 않았음(미확인).
모델 크기(매개변수 수)는 GR00T N1.7(약 3B)과 π0.5(Gemma 2B + 약 300M) 외에는 이번 근거 문서에 없어 적지 않음.
1.3 공개 수준별 구분
표 1-2. 공개 수준별 구분
공개 수준
해당 모델
이 과제에서의 의미
가중치·학습 코드·추론 코드 공개
π0·π0.5(openpi), GR00T N1.6·N1.7(Isaac-GR00T)
굴착기 자료로 다시 학습할 수 있음. 비교 대상 후보
가중치 공개, 단 접근 승인·별도 이용 조건
GR00T N1.7(백본 Cosmos-Reason2-2B가 접근 승인 모델, NVIDIA Open Model License) [3][57]
학습은 가능하나 승인 절차와 라이선스 해석이 조건이 됨
연구 공개(논문·코드), 공개 범위 세부 미확인
Octo, OpenVLA, CrossFormer, HPT, SpatialVLA
이번 비교 대상에서는 뺐고 사례·배경으로만 인용
가중치 비공개
π0.6·π0.7, 상용 폐쇄형 모델
굴착기 자료로 다시 학습할 수 없음. 제외
"공개"라는 말은 모델마다 범위가 다름. 추론 코드, 학습 코드, 가중치, 가중치 이용 조건, 사전학습 데이터가 따로 공개되거나 공개되지 않음. 모델 개방성 체계[39]는 공개 완결성을 단계로 나누고, 제한적 라이선스인데 '오픈소스'로 부르는 관행을 지적함. 이 보고서는 5장의 G1에서 이 항목들을 하나씩 점검함.
1.4 필드 장비 관점의 공통 한계
로봇팔 중심 자료. 확인한 계열의 사전학습 자료는 탁상 조작 팔, 양팔, 휴머노이드, 일부 이동 로봇임. 굴착기 같은 유압 중장비 자료는 보이지 않았음. 범용 VLA를 굴착기·건설 대형 기계에 적용한 1차 논문도 이번 검색 범위에서 찾지 못했음(없다는 증명은 아님).
실내·짧은 과제. GR00T N1의 평가는 짧은 탁상 과제 중심이고[2], π0 논문은 훨씬 다른 영역으로의 확장을 향후 과제로 둠[47]. 흙 접촉, 긴 연속 작업, 야외 조명·분진은 학습·평가 범위 밖임.
행동 크기가 학습 로봇에 묶임. 행동은 학습 자료의 1–99 % 분위수로 정규화됨[1][48][50]. 같은 출력이라도 실제 움직임의 크기는 학습 로봇 자료의 범위에 묶임. 학습에 없던 큰 로봇에 같은 가중치를 무학습으로 적용한 평가는 확인한 문헌에서 찾지 못했음.
영상 위주 입력. 확인한 VLA는 대부분 RGB 영상을 받음. 깊이·점군을 쓰는 사례(SpatialVLA, PointVLA, 3D-VLA)는 모두 추가 학습을 함[53][58][59]. 굴착기처럼 작업 지점이 버킷에 가려지고 지형 높낮이가 중요한 장비에는 별도 입력 경로가 필요할 수 있음.
새 장비 = 파인튜닝. 확인한 모든 계열에서 새 기체는 그 기체의 시연으로 파인튜닝하는 것이 표준 절차임. 학습 없이 바로 쓰는 경로는 확인되지 않았음.
2. 비교 대상 2종 선정 사유
2.1 선정 조건
가중치와 학습 코드가 공개되어 있을 것. 굴착기는 사전학습에 없던 장비이므로 굴착기 시연으로 다시 학습해야 함(1.4절).
새 장비를 등록하는 절차가 공식적으로 있을 것. 굴착기의 관절 4개 명령과 센서를 모델 입출력에 맞추는 방법이 문서로 있어야 재현할 수 있음.
최신 정식판일 것. 개발사가 지원하는 주 개발선이어야 결과가 다음 사업에서도 쓸모가 있음.
새 로봇은 입출력 변환과 학습 설정을 쓰고, 학습 자료로 정규화 통계를 새로 계산한 뒤 학습함. 장비 등록 개념은 따로 없지만 공식 예제(LIBERO)를 본떠 설정할 수 있음[5].
굴착기 적용 사례가 있음. Actor Labs가 π0.5를 LoRA로 파인튜닝해 실제 굴착기를 조이스틱 명령으로 움직였다고 공개했음[46]. 다만 기업 자체 주장이고 성공률·시행 수 같은 정량 지표는 없음.
연구개발계획서가 지정한 주력 대상임.
2.3 GR00T N1.7 선정
계획서의 주력 대상은 "GR00T N1.6"이었음. 수행 중 N1.7이 정식판으로 공개되었고 개발사 저장소의 주 개발선이 N1.7로 옮겨 갔음. 그래서 N1.7로 바꾸었음. N1.6은 지금도 별도 브랜치로 받을 수 있으므로 "N1.6을 쓸 수 없다"는 이유는 들지 않음.
새 장비 등록 절차를 공식 지원함: NEW_EMBODIMENT 태그 + meta/modality.json + Python 설정 파일[3].
상태·행동 최대 차원(29 → 132)과 행동 구간(16 → 40)이 늘었고, 여러 데이터셋 혼합 학습, TensorRT·Jetson 배포 경로가 공식 문서화되어 있음[3].
대가: 백본이 접근 승인 모델이라 내려받기에 승인이 필요하고, 라이선스 표기가 문서마다 다름(README "Apache 2.0, 상업 이용 가능" / 모델 카드 "NVIDIA Open Model License")[3][4].
두 모델은 상태를 넣는 방식(연속 벡터 대 텍스트 토큰)과 학습할 부분(헤드만 대 언어 모델 LoRA + 영상 인코더)이 다름. 그래서 같은 굴착기 자료로 학습했을 때 차이가 나면 구조 차이에서 원인을 찾을 여지가 있음.
다만 이번 시험에서는 두 모델이 상태를 같은 방식으로 받지 않았으므로(이산 토큰 대 연속 벡터) 결과 차이를 상태 처리 방식 하나로 돌릴 수 없음.
2.5 제외 모델과 사유
모델
제외 사유
π0.6·π0.7
가중치 비공개. 굴착기 자료로 다시 학습할 수 없음. 외부 대회에서 π0.7로 굴착기를 학습한 사례가 있으나 공개 π0.5로 재현할 수 있다는 근거가 아님
상용 폐쇄형 모델
가중치·학습 코드 비공개
GR00T N1.6
같은 계열의 이전판. N1.7을 대신 씀
OpenVLA·Octo·CrossFormer·HPT·SpatialVLA 등
계획서가 주력 2종을 지정했고 예산·일정상 두 모델에 집중했음. 이 모델들은 사례(3장)와 배경(1장)으로만 인용함
대신 언어를 쓰지 않는 일반 모방학습 정책 ACT를 비VLA 기준선으로 추가했음[6][7]. 같은 자료로 학습한 비VLA 정책과 비교하지 않으면 범용 사전학습의 이득을 말할 수 없기 때문임. ACT는 굴착기 연구에서도 쓰였음[9][10].
2.6 참고용 굴착 특화 사례
표 2-2. 굴착 특화 참조 사례
구분
ExT [8]
Actor Labs [46]
자료 성격
학술 논문(ETH Zürich)
기업 블로그·2차 기사, 동료평가 없음
접근
시뮬레이션 대량 다중 과제 사전학습 → 미세조정(VLA 아님)
π0.5 LoRA 미세조정
입력
고유수용 상태, 카메라 없음
단안 카메라 여러 대 + 언어
행동
관절 속도 명령
조이스틱 4축(다음 조이스틱 상태 예측), 불감대 0.12, 분위 정규화
보고 결과
시뮬레이션+실기에서 굴착 사이클 전체를 cm 수준 정확도로 수행. 실기 성능은 전용 단일 과제 제어기와 비슷. 분포 밖·새 기계 구성 적응은 시뮬레이션에서 평가
운전자 작업 2.5시간 관찰 뒤 실현장 토공 수행 주장. 성공률·공차·사이클 시간 공개 없음
이 보고서에서의 쓰임
전용 제어기 기준선 관행, 작업 성능 지표의 근거
가장 가까운 비교 대상이나 검증 불가. "산업계 시연 주장, 지표 미공개"로만 인용
3. 다른 로봇·장비 적용 사례
3.1 로봇팔 밖 적용 사례
표 3-1. 로봇팔 밖 장비·현장 적용 사례 (확인 수준 표시)
사례
장비·환경
정책
실물/시뮬
주지표
기준선
확인 수준
HarvestFlex [20]
딸기 수확 팔, 온실 탁상 재배
π0·π0.5·WALL-OSS 미세조정
실물
성공률·사이클 시간·작물 손상률
모델 간, 기존 수확 시스템
본문
NaVILA [19]
사족·휴머노이드, 실내·야외
VLA가 "75 cm 전진" 같은 중간 명령 → 하위 RL 보행 정책
실물
성공 88 %(25 지시 × 3회). VLA 약 1 FPS
GPT-4o
초록·본문
sensVLA [27]
휠로더, 실제 장비 녹화 자료
VLA + LiDAR 조감도
실제 자료, 오프라인
단계별 오차
카메라 전용
arXiv 초록(ICRA 2026 워크숍)
HSR 이동 조작 [24]
도요타 HSR 가정용 이동 로봇(11자유도)
π0.5 2종, SmolVLA
실물
4점 척도, 모델당 20회, 검정
모델 간
워크숍 포스터
ExT [8]
굴착기
다과제 사전학습(VLA 아님)
시뮬 + 실기
사이클 수행, cm 정확도
전용 단일 과제 제어기
초록·본문
ExACT [9]
굴착기
ACT, LiDAR·카메라·관절 → 밸브
시뮬(실데이터 기반 밸브 모델)
도달·굴착·덤프
—
초록
Zhao 외 2026 [10]
굴착(토사 더미)
마스크 조건 ACT
시뮬
표적 성공 96 %, 더미 제거 76.8 %, 사람 정규화 효율 91.0 %
조건 없는 ACT
초록
바위 굴착 RL [29]
12 t 굴착기 현장
강화학습
실물
성공 70 %
운전자 83 %
초록
Baidu 자율 굴착 [28]
굴착기
모듈형 자율 시스템
실물
24시간 넘는 무개입 운전, 운전자 수준 굴착량
운전자
보도자료(논문 본문 미대조)
Actor [46]
굴착기 실현장
π0.5 VLA
실물(주장)
공개 지표 없음
—
기업 자체 주장·2차 기사
UR5 VLA [18]
UR5e 팔
OpenVLA 계열 미세조정
실물
폐루프 거동
—
초록·본문
3.2 여러 모델을 같은 장비·같은 규칙으로 비교한 사례
표 3-2. 다중 모델 비교 사례 (모두 동료평가 전 원고 또는 워크숍 논문)
사례
장비
비교 모델
시행·판정
핵심 수치
신뢰도 메모
HarvestFlex [20]
딸기 수확 팔(실물)
π0, π0.5, WALL-OSS × 전체/LoRA + 기존 시스템
조건당 50회
π0.5 전체 미세조정 74 %·사이클 32.6 s, 기존 시스템 89 %·8.3 s. 동기 → 비동기 70 → 74 %(우연 범위), 사이클 45.7 → 32.6 s
판정 기준·통계 미기재
RoboColosseum [21]
SO-101, Franka, 양팔 YAM, G1 휴머노이드(실물)
GR00T N1.7, π0.5 외
미세조정 과제당 25회, 개방 경연 5,699쌍 이중맹검
장비마다 1위가 다름(장비 간 순위 일치도 W 0.24). 무학습 순위가 미세조정 순위를 맞히지 못함
미세조정 세부 수치 [요약]. 지연 수치 없음
SO-101 실패·회복 [22]
SO-101 팔(실물)
π0.5, Wall-X, SmolVLA, ACT
모델×과제 20회(총 320)
평균 성공 π0.5 56.3 %, ACT 33.8 %. 회복률 3–31 %
일부 표 [요약]
ALOHA 벤치마크 [23]
이동 양팔 ALOHA(실물) + MuJoCo
ACT, OpenVLA-OFT, RDT-1B, π0
조건당 50회
분포 안 π0 72.3 %, ACT 48.3 %. 학습 기간 ACT 약 0.17일, π0 약 2일
신뢰구간 값 없음, 본문-표 불일치
HSR 이동 조작 [24]
도요타 HSR(실물)
π0.5 2종, SmolVLA
모델당 20회, 4점 척도, 검정
녹화 자료 오차가 가장 작은 모델이 실제로는 2위
워크숍 포스터, 공정 비교 아님(저자 인정)
Robot Control Stack [25]
Franka FR3 등(실물)
Octo, OpenVLA, π0
실물 30회 + 시뮬레이션 100회
세 모델 모두 5 Hz·동기 한 스텝 예측으로 맞춰 비교
성공률 수치는 그림에만 있음
ROBOGATE [26]
Franka·UR(시뮬레이션만)
GR00T N1.6 외 VLA 7종 + 스크립트 IK
산업 집기 시나리오 68개
스크립트 100 %, VLA 모두 0 %
신뢰도 낮음: 판 사이 결과 교체, 수치 불일치
3.3 사례별로 평가한 항목
표 3-3. 사례별로 다룬 평가 항목
사례
시험 조건·판정 규칙 명시
개방성·적응 경로
입출력·장비 연결
시간·실행 방식
안전·실패 양상
작업 성공
일반화
데이터
자원·비용
HarvestFlex
△
○
○
○
△
○
△
○
○
RoboColosseum
○
△
△
○
○
△
SO-101
△
○
○
△
△
ALOHA 벤치마크
△
△
△
○
○
△
○
HSR
○
△
○
△
Robot Control Stack
○
○
△
△
ROBOGATE
△
○
○
△
△
○ 직접 비교·측정, △ 일부·서술만, 빈칸 다루지 않음. 열 순서는 5장의 전제 E, G1–G4, P1–P4 순서와 같음.
주: ○/△ 판정은 이 보고서 작성자들의 해석임. 각 사례의 저자가 이 항목들로 자기 연구를 평가한 것이 아님. 판정 근거는 표 3-2의 수치·메모임.
3.4 공통 발견
장비가 바뀌면 순위가 바뀜. 같은 모델들도 장비마다 1위가 달랐고, 장비 간 순위 일치도는 W 0.24였음[21]. 로봇팔에서의 순위를 굴착기로 옮길 수 없음. 장비마다 따로 평가해야 함.
녹화 자료 오차와 실제 성공이 일치하지 않음. 녹화 자료 오차가 가장 작은 모델이 실제 운전에서 2위였음[24]. 공개 체크포인트 6개 비교에서 검증 오차와 실물 성능의 선형 상관은 r = 0.308이었음[12]. 실물 UR5 미세조정 연구도 "유망한 오프라인 지표"와 "불안정한 폐루프 거동"의 간극을 보고했음[18]. 다만 필드 VLA 중에는 녹화 자료 오차를 주지표로 쓴 사례도 있음[27].
실행 방식에 따라 결과가 달라짐. 동기·비동기 실행에 따라 수확 사이클 시간이 45.7 s에서 32.6 s로 줄었고[20], 여러 모델을 공정하게 비교하려고 제어 주기·실행 방식을 맞춰야 했음[25]. 사족 로봇은 약 1 FPS VLA를 하위 보행 정책이 받치는 계층 구조로 실물에서 운전했음[19].
비VLA 기준선이 앞서는 경우가 있음. 기존 수확 시스템 89 %·8.3 s 대 VLA 74 %·32.6 s[20], 스크립트 100 % 대 VLA 7종 0 %(시뮬레이션)[26]. 기준선 없이 VLA만 보면 적합성을 과대평가할 수 있음.
실패 양상과 회복 능력이 모델마다 크게 다름. 회복률 3–31 %[22]. 안전 평가에 실패 양상을 넣을 근거임.
3.5 공백 — 굴착기 + VLA + 공개 지표
굴착기에 VLA를 적용하고 정량 지표를 공개한 동료 검토 사례는 이번 검색에서 찾지 못했음. Actor는 기업 자체 주장이고, ExACT·Zhao는 ACT, ExT는 비VLA 사전학습임.
하나의 학습 정책이 파기 → 들기 → 선회 → 붓기 → 복귀 → 반복 전체를 수행해 정량 평가된 사례도 찾지 못했음. 수치가 있는 다회 결과는 모두 상태기계·계획기·감독층이 단계를 순서화했음.
이 공백은 이 연구의 새로움이 되지만, 동시에 적합성을 판정할 외부 기준선이 없음는 뜻임. 그래서 이 보고서는 같은 자료로 학습한 비VLA 기준선(ACT)과 규칙 제어기(교사)를 함께 놓았음.
4. 모델별 파인튜닝 방법
4.1 새 장비 적용의 공통 단계
그림 4-1. 새 장비 적용 공통 단계
데이터 형식. 시연을 LeRobot v2.1 형식으로 바꿈. 한 프레임 = 카메라 영상 + 관절 상태 + 지시문 + 행동(명령).
정규화. 학습 자료에서 상태·행동의 1–99 % 분위수를 구해 [−1, 1]로 맞춤. GR00T는 범위 밖 값을 자르고(clip), π0.5는 자르지 않음. 통계는 학습 분할에서만 만들고 고정함.
학습. 공개 사전학습 가중치에서 출발해 모델별 공식 방식으로 일부 또는 전체를 학습함.
추론. 학습 장비에서 저장한 모델을 운전 장비로 옮겨 정책 서버로 띄우고, 학습 장비 출력과 일치하는지 확인한 뒤 운전함.
정규화는 결과에 직접 영향을 줌. 출력 명령의 크기가 학습 자료의 범위에 묶이므로, 학습 자료에 없는 큰 움직임은 나오기 어려움(6.4절 처음 보는 위치 결과와 연결).
4.2 GR00T N1.7 — 시각·언어 모델 고정, 장비별 투영층·행동 헤드 학습
그림 4-2. GR00T N1.7 파인튜닝 구조 (공식 기본 설정)
새 장비 등록: 빈 장비 칸(NEW_EMBODIMENT) 하나에 굴착기를 등록함. meta/modality.json에 키·칸 수·정규화 범위를 적고, Python 설정 파일로 행동 종류(절대값·관절 공간)를 지정함. 로봇팔용 칸은 7·8칸 행동이라 4축 굴착기에는 새 칸을 학습함.
학습 대상(공식 기본): 장비 칸의 작은 MLP 3개(상태 인코더·행동 인코더·행동 디코더) + 확산 행동 헤드(DiT 16층) + 영상·언어 정규화층. 시각·언어 모델은 고정함. LoRA는 없음.
공식 참고값: 학습률 1e-4, 배치 64, 10,000 step, 상태 dropout 0.2. GPU는 40 GB 이상 권장(기본 설정 약 35 GB, 시각·언어 모델까지 풀면 80 GB 이상). 데이터는 최소 100 에피소드(200 이상 권장, 조작 과제 기준)를 안내함.
4.3 π0.5 — 큰 블록은 LoRA, 영상 인코더·투영층은 전체 학습
그림 4-3. π0.5 파인튜닝 구조 (이번에 쓴 LoRA 설정)
새 장비 등록: 등록 개념이 없음. 사용자 입출력 변환, 데이터·학습 설정을 쓰고 정규화 통계를 계산함.
상태 경로: 상태를 256구간 숫자로 바꿔 텍스트 토큰으로 넣음. 그래서 별도 상태 인코더가 없음.
학습 대상: 공식 기본은 전체 학습임. 메모리 때문에(전체 70 GB 초과 대 LoRA 22.5 GB 초과) 언어 모델(Gemma 2B)과 행동 전문가(약 300M)에 LoRA(각 rank 16·32)를 걸고, 영상 인코더(SigLIP)와 행동 입출력 투영·시간 MLP는 그대로 학습했음. LoRA는 JAX 구현에서만 지원되고, π0.5용 LoRA 설정은 공식 예시에 없어 직접 조합했음.
공식 참고값: 배치 32, 30,000 step, 학습률 최고 2.5e-5(cosine), EMA 0.99.
4.4 방법별 자원·비용 비교
표 4-1. 학습 방식 비교 (공식 문서와 문헌 실증)
항목
GR00T 공식 기본(헤드 학습)
π0.5 전체 학습
π0.5 LoRA
학습하는 부분
투영층·행동 헤드(시각·언어 고정)
전체
LoRA 덧셈 행렬 + 영상 인코더·투영층
GPU 메모리 [공식]
40 GB 이상 권장
70 GB 초과
22.5 GB 초과
우리 실측 최대 메모리
39.2 GiB(H100)
미수행
19.18 GB(JAX, H100)
학습에 없던 장비에서의 문헌 결과
동결 대 비동결 비교 실증 찾지 못함
딸기 수확 74 %(LoRA 64 %, 각 50회)[20]. 양팔 로봇 76 %(LoRA 32.5–52.5 %)[55]
위 두 사례에서 전체 학습보다 낮음
사전학습 포함 장비
—
UR5e: 전체 0.76, LoRA 0.65–0.74(유의차 없음), 시각·언어 동결 0.15[56]
같은 사례
문헌 실증은 위 세 실험에 한정함. "학습에 없던 장비에서는 전체 학습이 항상 낫다"로 일반화하지 않음.
π 계열에서는 시각·언어 부분을 동결하면 크게 나빠진 사례가 있으나[56], GR00T는 반대로 공식 기본이 동결임. GR00T에서 동결 여부를 비교한 새 장비 실증은 찾지 못했음.
같은 문헌에서 자료의 양보다 장면·조건 다양성이 더 큰 효과를 냈고(같은 4시간에서 +30 %p), 사람 개입·회복 자료가 가장 큰 단일 개선이었음[55]. 시연 수보다 환경·물체 다양성이 일반화를 좌우한다는 연구도 있음[31].
4.5 지형 지도 입력을 넣는 두 가지 방법
그림 4-4. 지형 높이 지도를 VLA에 넣는 두 길
굴착기가 다음에 어디를 팔지 정하려면 땅의 높낮이를 봐야 함. LiDAR로 만든 높이 지도를 모델에 넣는 길은 두 가지임.
길 A — 그림으로. 높이 지도를 색 그림으로 만들어 시각·언어 모델의 세 번째 영상 칸에 넣음(π0.5는 손목 카메라 칸, GR00T는 영상 키 추가). 색과 높이의 대응은 고정함. 공식 입력 경로를 그대로 쓰므로 코드 수정이 적음. 학습 범위는 인코더 고정 → LoRA → 전체 학습 순으로 넓혀 봄.
길 B — 토큰으로. 높이 숫자 격자(현재·목표·차이)를 작은 CNN으로 압축해 몇 개의 토큰으로 만들고, 상태 쪽에 붙임(GR00T는 상태 인코더, π0.5는 상태 토큰). 공식 옵션이 아니어서 코드 수정이 필요함.
먼저 싸게 확인: 인코더를 고정하고 선형층 하나로 교사의 공략점 좌표를 맞히는지 봄. 못 맞히면 길 B를 검토함.
이번 선택: 길 A로 경로를 만들었음. 지도 그림은 기계 기준 앞 1.2–6.8 m × 좌우 ±2.8 m, 0.1 m 칸(56×56)이고, 빨강 = 높이, 초록 = 목표 깊이까지 남은 양, 파랑 = 관측 여부임(6.5절).
4.6 우리가 실제로 쓴 설정과 겪은 문제
표 4-2. 실제 학습 설정 (외부 H100, 첫 버킷 이동 학습 기준)
항목
GR00T N1.7
π0.5
ACT(기준선)
출발 가중치
GR00T-N1.7-3B
pi05_base
ResNet18(ImageNet) 백본, 나머지 처음부터
학습 부분
공식 기본(투영층·행동 헤드)
LoRA + 영상 인코더·투영층(학습 매개변수 약 4.7억 / 고정 약 29.4억)
전체
입력
운전석·붐 카메라 RGB 2장 + 관절 상태 8(위치 4 + 속도 4) + 지시문
같음(상태는 이산 토큰)
같음, 지시문 대신 과제 번호
출력
4관절 속도 명령 8칸 묶음(절대값·관절 공간)
같음(32칸 중 앞 4칸)
같음
배치·학습률·갱신 수
16, 1e-4 cosine, 547회(20바퀴), 상태 dropout 0.2
16, 최고 2.5e-5 cosine, 742회(20바퀴)
공식 기본 100,000 step 중 시간 상한으로 35,000 step(35 %)에서 정지
외부 H100에서 학습 → 로컬로 회수 → 로컬 서버 출력이 학습 장비와 일치하는지 확인 후 운전
학습 설정 오류(GR00T)
오프라인 캐시 경로, 배치 1에서의 상태 dropout, bf16 재적재 검사 때문에 첫 학습 갱신이 실패
하나씩 고쳐 1회 갱신 → 과적합 → 본 학습 순으로 확인
π0.5 LoRA 설정
공식 π0.5용 LoRA 예시가 없음
π0.5 + 두 LoRA 설정 + 고정 범위를 직접 조합하고 1회 갱신 시험으로 학습·고정 매개변수를 확인
패딩 차원
π0.5 JAX 손실은 32차원 전체 평균이라 실제 4차원 신호가 희석됨
결함은 아님. 학습률·갱신 수 해석에 반영
상태 처리 차이
π0.5는 이산 토큰, GR00T는 연속 벡터로 상태를 받음
두 모델이 같은 방식으로 상태를 받았다고 말하지 않음
자료 빈칸
버킷 확인 장면 하나에서 그 출발 자세의 학습 행 17개 중 팔을 접는 행이 0개
보충 장면 8개를 넣어 해결. 실패를 보고 골랐으므로 일반화 근거 아님
학습 창 규칙
"뒤 8칸이 같은 장면 안에 있어야 함" 규칙이 관입 장면 끝 7프레임(흙 접촉 구간)을 입력에서 뺌
ACT 관입 실패의 원인 가설을 지지(같은 35,000회 재학습본의 오프라인 비교에서 이른 끌기 명령이 사라짐. 실제 운전 관입 통과는 70,000회 선택본, 6.5절 표 6-15)
클라우드 장애
고장 서버 2대, 회수 중 네트워크 끊김(약 40분 추가 가동)
비정상 인스턴스는 바로 교체, 세션당 사용 상한 유지
실행 일정
학습 자료의 명령 시점과 실행 프로그램 적용 일정이 어긋나 끌기 실패
5장 G3-A로 정리, 6.3절 결과
5. 필드로봇 평가 기준 8가지
5.1 필드 장비 적용의 어려움
어려움
내용
평가에 주는 뜻
유압
굴착기는 유압으로 움직이며 제어 결합, 상태에 따라 달라지는 불감대, 시간 지연이 있음[30]
모델 명령이 장비의 무엇으로 바뀌는지, 사이 계층을 명시해야 함
흙 접촉
날을 흙에 넣고 끄는 접촉 작업은 명령 시점·크기에 민감하고, 작업 지점이 버킷에 가려짐
자유 공간 이동과 접촉 작업을 따로 봐야 함
연속 작업
관입 → 끌기 → 닫기 → 올리기 → 선회 → 덤프가 이어지고, 앞 동작의 결과(흙 양)가 다음 동작의 부하가 됨
단일 동작 성공만으로 작업 성공을 말할 수 없음
현장 시간
현장은 계산하는 동안 시간을 멈출 수 없음
계산 지연과 실행 방식을 함께 봐야 함
안전
실패는 되돌릴 수 없고, 자율 토공기계는 별도 안전 표준의 대상임[33]
모델 단독 성능과 별도로 안전 계층과의 결합을 봐야 함
5.2 구조
그림 5-1. 평가 기준의 구조 — 전제 E → 관문 G1–G4 → 비교 축 P1–P4, 옆에 진단 도구 D1–D4
전제 E(평가 타당성): 판정하기 전에 그 시험을 믿을 수 있는지 점검함. 기준 8가지에는 넣지 않음.
관문 G1–G4: 넘지 못하면 다음을 논할 수 없는 조건. 판정어는 통과 / 조건부(조건 명시) / 불가 / 미판정. 관문 판정은 모델 단독이 아니라 (모델, 과제, 연결 방식) 묶음에 붙음.
비교 축 P1–P4: 얼마나 잘하는지 재는 수치. 측정 정의·분모·기준선만 정하고 합격선은 두지 않음.
진단 도구 D1–D4: 판정에 쓰지 않고 실패 원인을 찾는 데만 씀.
순서: E → G1 → G2 → G3·G4 → P1 → P2·P3·P4. 앞 관문이 '불가'면 뒤를 판정하지 않고, '조건부'면 그 조건을 뒤 결과 전체에 꼬리표로 붙임.
모든 판정에 붙이는 꼬리표
꼬리표
값
이유
귀속
모델 / 통합(우리 연결 방식) / 환경(시뮬레이터·장비)
모델의 성질과 우리 연결 방식의 성질을 섞지 않기 위해
과제
작업 범위 단계 + 과제 이름
같은 모델도 과제에 따라 판정이 다를 수 있음
성숙도
예: 시뮬레이터·유압 제외
결과가 어느 배치 단계의 것인지 드러냄[42]
작업 범위 단계: 1단계 단일 동작(버킷 이동, 관입 하나) / 2단계 바깥 프로그램이 동작을 바꿔 주는 연속 동작 / 3단계 모델 스스로 동작을 바꾸는 연속 동작 / 4단계 전체 작업 사이클(이동·굴착·덤프 반복, 작업 목표까지).
5.3 평가 전제 E — 시험을 믿을 수 있는가
의미: 어떤 값이든 판정에 쓰기 전에 그 시험이 갖춰야 할 조건임. "모델이 잘했다"가 아니라 "이 결과를 믿어도 된다"를 보장함.
필요성: 필드 장비 평가는 비싸고 시행 수가 적음. 시행 수가 적을수록 판정 규칙·측정 장치·시험 난이도의 작은 차이가 결론을 뒤집음.
외부 근거: 시행 수·초기 조건·성공 기준을 밝히지 않는 관행 비판과 통계·실패 양상 서술 권고[11], 실물 평가의 확장성·재현성 한계와 시뮬레이션 평가의 상관 검증[12], 반복·재현 가능한 값싼 시험 장치[40], 교란으로 암기를 걸러내는 시험(표준 벤치마크 90 % 넘는 모델이 교란에서 0 %)[14], 다기관 이중맹검 쌍 비교[13].
우리 사례: 판정 규칙을 실행 전에 고정하고 규칙 파일 지문을 실행 기록에 남긴 것이 결과를 보고할 수 있게 만든 핵심 장치였음. 반대로 흙을 많이 실은 구간은 시뮬레이터가 느려져 판정할 수 없었고, 잠근 시험 장면은 출발부터 표적에 가까워 판별력이 낮았음.
표 5-1. 전제 E 점검 항목
항목
지표
판정 규칙(안)
E1 규칙 사전 고정
판정 run 중 규칙 파일 지문이 실행 기록에 남은 비율
100 %가 아니면 해당 run은 보조 결과로만
E1b 결과 의존 여부
규칙이 같은 위치·과제의 이전 결과를 본 뒤 작성되었는가
'예'면 확인 시험이 아니라 재현 시험으로 표기
E2 판정 가능 비율
판정 가능 시행 / 전체 시행. '판정 제외'를 실패와 따로 셈
하한(예: 70 % 미만이면 그 과제 비교 보류)은 (안)
E3 판정기 교정
같은 판정기로 교사(규칙 제어기)를 판정한 통과율
교사도 떨어지면 기준 재검토
E4 판별력
출발 조건 난이도(예: 출발 거리), '아무것도 안 하는 정책' 기준선
쉬운 장면은 비교에서 낮게 가중
E5 시행 수와 불확실성
조건당 시행 수, 이항 Wilson 95 % 구간
1회면 우열 판정 불가. 반복 수를 사전에 정함
E6 운용 조건·충실도 명세
시뮬레이터, 물리 단순화(예: 유압 제외), 흙 질량·위치 범위, 조명, 실차 대응 여부
결과의 일반화 범위를 여기서 정함[36]
5.4 관문 G1–G4
G1 적응 가능성 [귀속: 모델]
의미: 이 모델을 새 장비의 센서·명령에 맞춰 공식 절차로 다시 학습하고 배포할 수 있는가.
필요성: 범용 VLA가 학습 없이 굴착기를 움직이지 못하면 남는 길은 적응뿐임. 가중치·학습 코드·새 장비 절차·이용 조건 중 하나라도 막히면 다른 기준은 따질 수 없음. 이용 조건은 연구 단계를 넘어 현장 배치를 가를 수 있음.
외부 근거: 모델 개방성 체계[39].
우리 사례: 두 모델 모두 공개 가중치·학습 코드로 굴착기 4관절 속도 명령에 맞춰 학습했음. GR00T는 백본 접근 승인이 필요했고 라이선스 표기가 문서마다 달랐음. π0.5 PyTorch 구현은 LoRA를 지원하지 않음. 두 모델 모두 사전학습 데이터는 일부만 공개임.
지표: 7항목 점검표(①추론 코드 ②파인튜닝 코드 ③가중치 ④가중치 이용 조건 ⑤다운로드 승인 필요 여부 ⑥사전학습 데이터 공개 ⑦새 장비 공식 절차) + 실측 1항목(공식 절차로 1회 학습·저장·재적재·추론 일치 확인).
판정 규칙(안): 7항목 모두 충족 + 실측 통과 = 통과 / 접근 승인·라이선스 해석·사전학습 데이터 부분 공개 등 조건 존재 = 조건부 / 가중치 또는 학습 코드 비공개 = 불가.
G2 입출력·제어 계층 정합 [귀속: 모델 + 통합 + 장비]
의미: 모델이 (1) 장비에서 얻을 수 있는 관측을 받고 (2) 장비 제어 계층이 받을 수 있는 종류·차원·주기의 명령을 내며 (3) 그 명령이 장비의 무엇(관절 속도, 밸브 개도, 파일럿 압력)으로 바뀌는지와 사이 계층(유압, 불감대 보상)을 명시하는가.
필요성: 범용 VLA는 로봇팔 말단·그리퍼 행동으로 학습됐음. 굴착기는 관절 4개 + 유압이고 작업 지점이 버킷에 가려짐. 어느 계층에 명령을 내는지가 이후 모든 결과의 조건이 됨.
외부 근거: VLA가 중간 명령을 내고 하위 보행 정책이 실행하는 계층 구조[19], 휠로더 VLA의 장비 고유 행동·LiDAR 조감도 경로[27], 굴착기 유압의 제어 결합·상태 의존 불감대·시간 지연[30].
우리 사례: 학습 없이 연결한 예선은 도달 0이었음. 유압 모델을 켜면 모델 크기의 명령이 붐·암 밸브 불감대를 넘지 못해 관절이 움직이지 않아, 유압을 빼고 관절에 직접 속도 명령을 주었음. 파인튜닝 뒤에는 두 모델 모두 운전했음.
지표: ① 무학습 실행 가능성(과제 도달 횟수/시행) ② 학습 후 입출력 등록·정규화 일치 시험 통과 ③ 하위 제어 계층 명세(명령 종류·제한·불감대 처리·유압 포함 여부) ④ 관측 경로 명세(카메라 수·해상도, 상태 처리 방식, 비표준 센서 경로).
판정 규칙(안): 학습 후 등록·일치 시험 통과 = 통과 / 하위 계층을 단순화한 조건(예: 유압 제외)에서만 통과 = 조건부 / 필요한 명령·관측을 낼 경로 없음 = 불가. 무학습 결과는 따로 적음.
주의: 학습으로 거의 항상 경로를 만들 수 있어 '불가'는 잘 나오지 않음. 유압 포함 시험이 없으면 이 관문은 사실상 경로 명세서 역할임.
G3 시간 정합 [두 하위 항목, 귀속이 다름]
시간 문제는 원인이 둘임. 하나는 우리 연결 방식의 약속, 다른 하나는 모델의 계산 시간임. 둘을 하나로 묶으면 연결 문제를 모델 성질로 잘못 읽게 됨.
G3-A 통합 시간 계약 [귀속: 통합]
의미: 학습 자료의 "관측 → 명령" 시점 정의, 실행 프로그램의 "요청 → 적용" 일정, 시뮬레이터 정지 여부가 서로 맞는가. 문서로 대조했는가.
필요성: 어긋나면 모델의 명령이 "과거 상황에 맞는 명령"이 됨. 흙에 날을 넣고 끄는 접촉 작업은 이 차이에 민감함. 이것은 모델이 아니라 우리 연결 방식의 성질임.
외부 근거: 실물 UR5 미세조정 연구가 오프라인–폐루프 간극의 원인으로 든 모달리티 간 시간 정렬과 시스템 수준 문제[18]. 외부 문헌만으로는 근거가 약하고 우리 사례 의존이 큼.
우리 사례: 학습 자료는 관측 0.07 s 뒤 명령을 정답으로 삼았는데, 실행 프로그램은 묶음 요청 0.2 s 뒤에 첫 칸을 쓰도록 짜여 있었음. 첫 칸이 약 0.13 s 늦게 적용되어 끌기에서 날이 흙 위로 떴음. 굴착 시험은 모델 계산 중 시뮬레이터를 멈췄으므로 모델 계산 시간은 원인이 아님.
지표: 학습 라벨의 관측→명령 시간, 실행 프로그램의 요청→적용 시간, 그 차이, 실행 시작 칸 번호, 시뮬레이터 정지 여부. 명령 시점 모의 계산(D3)으로 실행 전 예측 가능 여부.
판정 규칙(안): 문서 대조로 일치 확인 = 충족 / 불일치 발견 후 보정·재확인 = 보정 후 충족(보정 방식을 결과를 본 뒤 정했으면 E1b '예') / 대조하지 않음 = 미확인. 미확인·불일치 상태의 시험은 모델 판정에 쓰지 않음.
G3-B 모델 지연과 실시간 운용 [귀속: 모델 + 자원]
의미: 배치 하드웨어에서 시간을 멈추지 않고도 제어 주기를 지키는가.
필요성: 행동 묶음을 내는 VLA는 계산하는 동안에도 장비가 움직임. 현장은 시간을 멈출 수 없음.
외부 근거: 묶음 경계의 멈춤·분포 밖 튀는 움직임[15], 비동기 추론의 예측–실행 구간 어긋남[16], 저전력 탑재 장비의 긴 지연과 낮은 제어 주기[17], 약 1 FPS VLA를 하위 정책이 받친 계층 구조[19], 수확 VLA의 비동기 분리가 사이클 시간을 줄인 사례[20]. 이 문헌들은 비동기 실행의 지연 문제이며, G3-A와 기전이 다름.
우리 사례: π0.5 연속 굴착에서 계산 약 0.17 s × 45–46회가 쌓인 멈춤 합계 7.9–8.1 s가 실행 시간 한도(8 s)에 걸려 판정 불가였음. 같은 GPU를 시뮬레이터와 나눠 쓰며 π0.5 계산 중 시뮬레이터 화면이 5–8배 느려졌음(GR00T 약 1.5배).
지표: 추론 지연 p50/p95/p99(배치 하드웨어, 공유 부하 명시), 묶음 연속성(실행 구간 시간 ≥ 추론 p95), 정지 의존도(시뮬레이터 정지 합계 / 작업 시간, 현장 조건은 0), 배치 형태(탑재/근거리/원격, 원격이면 왕복 p50·p99).
판정 규칙(안): 정지 없이 사전 규칙 폐루프 과제 통과 = 통과 / 시뮬레이터 정지 등 현장에 없는 장치가 필요 = 조건부 / 어떤 배치로도 주기를 못 맞춤 = 불가.
주의: 실제 장비에서는 유압 지연이 더해짐. 유압을 뺐으므로 우리 지연값은 하한임.
G4 안전 계층 결합 [귀속: 시스템]
의미: 모델이 바깥 안전 기능(명령 제한, 관절·작업 영역 제한, 비상 정지, 감시 프로그램) 아래에서 운전될 수 있고, 실패할 때 안전한 방식(정지·제자리 유지)으로 실패하는가.
필요성: 굴착기의 실패는 되돌릴 수 없음. AI 정책 자체의 안전을 증명하기 어려우므로, 질문은 "그 안전 계층과 함께 쓸 수 있는가(얼마나 자주 걸리는가, 걸렸을 때 멈추는가, 어떤 위험한 실패를 하는가)"가 됨.
외부 근거: 자율 토공기계 안전 표준 ISO 17757[33], AI가 아닌 안전 기능으로 AI 제어 장비를 지키는 구성을 구분해 다루는 기술 보고서 ISO/IEC TR 5469(요구사항이 아닌 정보 제공 문서)[34], 토공기계 기능안전 ISO 19014[35], 되돌릴 수 없는 물리적 결과·방어의 실시간 제약·긴 궤적의 오류 전파를 VLA 안전의 특수성으로 든 조사[38]. 안전 주장을 주장–논증–증거로 정리하는 안전 논증 표준[37]의 "증거 항목"으로 서술하는 정도로 차용함. 표준은 모두 범위 문구 수준만 확인했음. 사례 중 정량 안전 보고는 과제 고유 위해 지표(작물 손상률)[20] 외에 거의 없어, 이 관문의 판정 규칙은 외부 선례가 없는 제안임.
우리 사례: 명령 크기 ±0.2 제한, 관절 한계, 감시 프로그램, 메모리 압력 비상 정지 아래에서만 운전했음. 실제로 작동한 바깥 장치는 모델이 아니라 실행 환경 쪽에서 생겼음. 모델의 안전 관련 거동(끌기에서 날이 흙 위로 뜸, 목표에 못 미쳐 멈춤)은 정성 기록만 있음.
지표(제안): ① 안전 계층 개입 빈도(회/시행, 원인: 모델/인프라) ② 정지 명령 후 정지까지 시간·거리 ③ 실패 양상 분류(정지 미달 / 과진행 / 방향 오류 / 멈춤 / 흙 이탈 / 작업 영역 이탈)와 위험 실패 비율 ④ 정지 확인 실패율.
판정어: '통과'를 쓰지 않음. "시뮬레이터 관찰 기준 충족 / 미충족 / 미판정"으로만 씀.
판정 규칙(안): 위험 사건 목록(작업 영역 이탈, 관절 한계 접근, 예상 밖 선회 등)과 그 사건을 만드는 시험 장면을 먼저 정의함. 정의 전에는 모든 결과를 미판정으로 둠. 시뮬레이터에 사람·장애물이 없으면 위험 실패가 원리적으로 0이 되어, 측정하지 않고도 충족처럼 보일 수 있기 때문임.
5.5 비교 축 P1–P4
공통 보고 규칙(안)
합격선을 두지 않음. 측정 정의·분모·기준선을 함께 적음.
성공률은 "성공/시행"과 "판정 제외"를 따로 적음.
시행 4회 이상이면 Wilson 95 % 구간을 붙임. 조건당 1회이거나 구간이 겹치면 순위를 매기지 않음.
관문 '조건부'의 조건(예: 유압 제외, 시뮬레이터 정지)을 모든 결과에 꼬리표로 붙임.
기준선: 교사(규칙 제어기), 같은 자료로 학습한 비VLA 정책, 가능하면 '아무것도 안 하는 정책'.
P1 작업 성능
의미: 실행 전에 고정한 성공 기준으로 모델이 장비를 직접 운전해 과제를 해낸 정도. 작업 범위 단계별로 따로 보고함.
필요성: 필드 장비 도입의 최종 질문은 "일을 하는가"다. 다른 기준은 이 질문의 조건이거나 원인임.
외부 근거: 실물 굴착 자동화 연구는 작업 성공·정확도를 운전자나 전용 제어기와 비교해 보고함[8][28][29]. 사람 정규화 효율로 생산성을 보고한 굴착 ACT 연구[10], 평가 관행 권고[11], 수확 VLA의 성공률·사이클 시간[20].
지표: 성공률(성공/시행, 판정 제외 따로), 정확도(최소 거리·끝 자세 오차), 작업량(흙 kg), 동작 시간·교사 대비 시간, 연속 단계의 단계별 통과·전환 시점, (4단계) 사이클 시간·시간당 작업량. 선택: 작업 품질(흙 흘림·과굴착·충돌), 연속 운전 시간·개입 간격·처리량[28][45].
판정 규칙(안): 합격선 없음. 위 공통 보고 규칙만 적용.
P2 일반화·강건성
의미: 학습에 없던 조건(위치, 토양, 지형, 조명·분진, 센서 저하, 지연)에서 P1이 얼마나 유지되는가.
필요성: 현장은 매번 다름. 학습 장면에서만 되는 정책은 현장 가치가 없음.
외부 근거: 시뮬레이션 평가와 실물의 상관[12], 교란 시험[14], 굴착 정책의 분포 밖 조건 평가[8], 장비가 바뀌면 순위가 뒤집힌 다기관 비교[21].
지표: 보류 조건 P1(보간/외삽 구분 — 학습 범위로부터의 거리를 수치로), 학습 조건 대비 변화, 요인별 분해, 실패 양상(방향 / 크기 / 정지), 관측 의존도(D2).
판정 규칙(안): 합격선 없음. 보간·외삽을 반드시 구분해 적음.
P3 데이터 요구·수집
의미: P1 기준을 넘기까지 필요한 시연의 양·다양성·출처와 그것을 모으는 비용.
필요성: 굴착기 시연은 비쌈. 같은 성능을 얻는 데 필요한 자료가 적을수록, 그리고 빈칸을 빨리 찾을수록 현장 도입이 쉬움.
외부 근거: 시연 수보다 환경·물체 다양성이 일반화를 좌우[31], 시뮬레이션 자료를 섞어 실물 성능 향상[32], 수확 VLA의 원격조종 3.71시간·227 에피소드[20], 장면 다양성·개입 자료의 효과[55].
지표: 기준 통과까지 학습 시연·창 수·수집 시간, 빈칸 진단·보충 횟수와 효과(D2 바꿔 넣기 → 학습 행 검색 절차 고정), 수집 기각 비율, 교사 종류(특권 정보 사용 여부), (선택) 자료량별 성능 곡선, (선택) 모델 갱신당 재검증 비용.
판정 규칙(안): 합격선 없음. 교사가 특권 정보를 쓰는지 반드시 적음.
P4 자원·비용
의미: 배치 하드웨어 요구와 학습 비용, 쓸 만한 모델 하나를 얻기까지의 총비용.
필요성: 장비에 싣거나 근처에 둘 계산 장치가 정해져야 현장 배치가 가능함. 학습 비용은 다음 사업 예산의 근거임.
외부 근거: 저전력 탑재 장비의 지연·주기 제약[17], 장비별 비용·에너지·시간 비교[41].
지표: 추론 최대 VRAM, 학습 최대 VRAM, 학습 GPU 시간(주지표)과 비용(참고, 실패·대기 포함/제외 분리), 탑재 후보 장비에서의 추론 지연, 공유 자원 영향(추론이 시뮬레이터·인지 계산을 늦추는 배율), (선택) 에너지.
판정 규칙(안): 합격선 없음. 비용을 적을 때는 산정 근거를 함께 적음.
5.6 판정 대신 원인 찾기에 쓰는 진단 도구
표 5-2. 진단 도구 D1–D4 (판정에 쓰지 않음)
도구
내용
이번 쓰임
D1 오프라인 행동 오차
학습에 쓰지 않은 창의 움직임 오차
저장본 선택, 끌기 오차 감소 확인. 폐루프를 대신하지 못함
D2 입력 바꿔 넣기·가림
관절 상태·사진·지시를 다른 장면 것으로 바꿔 첫 명령 변화 확인
π0.5 버킷 실패 장면: 첫 명령은 사진이 아니라 출발 관절 자세가 정함. ACT 관입: 사진 주도. 지시문 바꿔 넣기는 미측정
D3 명령 시점 모의 계산
기록된 묶음을 다른 실행 일정으로 적용했을 때의 궤적 모의
둘째 칸부터 실행 시 흙 속 비율 1.0을 실행 전에 예측
D4 끝 자세 대 목표 자세
정책의 끝 관절 자세와 교사 목표 비교
처음 보는 높은 위치에서 붐 0.12–0.17 rad 낮고 암 0.25–0.32 rad 덜 접힘
오프라인 오차는 "폐루프를 대신하지 못한다". 다만 폐루프 시험이 비싼 현장에서는 1차 선별로 쓰는 관행도 있으므로[27], 쓸 때는 폐루프 결과와의 관계를 함께 보고함.
실패 하나를 한 기준에만 적지 않음. 예: 끌기 0/4 = P1 실패, 원인 G3-A(통합). 버킷 처음 보는 위치의 크기 부족 = P2, 원인 후보 P3(자료 분포).
5.7 한계
사례에서 나온 기준임. 이 기준은 이번 굴착기 실험에서 부딪힌 문제와 외부 사례·표준을 함께 정리해 만들었음. 이번 사례가 잘 들어맞는 것은 당연한 면이 있음.
검증 전임. 다른 장비·실차·다른 연구팀이 이 기준으로 평가해 본 적이 없고, 전문가 검토도 거치지 않았음. 관문 판정 규칙은 모두 (안)이며, 다른 연구자가 같은 판정을 재현하기에는 정의가 아직 부족함.
점수를 합산하지 않음. 관문은 범주, 비교 축은 단위가 서로 다름. 기준 8가지를 하나의 점수로 더하지 않음.
외부 근거만으로 도출되는지 점검: 우리 결과를 빼고 외부 문헌만 보아도 E, G1, G2, G3-B, G4, P1–P4는 근거가 있음. G3-A만 외부 근거가 약하고 우리 사례 의존이 큼.
반증 조건(안): 이 기준이 틀렸다면 다음이 보일 것임. ① 시간 계약을 맞춘 시험에서 오프라인 오차가 줄면 폐루프 성공도 오름(그렇다면 D1을 진단으로 내린 것이 지나침). ② 시간 정지 없이 운전하지 못하는 모델도 실제 장비 속도의 연속 굴착에서 성공함. ③ 유압을 포함해도 P1이 떨어지지 않음(그렇다면 G2 '조건부' 꼬리표가 불필요). 아직 시험하지 않았음.
다루지 않는 것: 보안·악의적 입력[38], 사람 감독·원격 개입·자율 수준 조절, 해석 가능성(진단 도구가 일부 대신함).
6. 2종 평가 결과
모든 결과는 [성숙도: 시뮬레이터·유압 제외]다. 조건당 대부분 1회이므로 순위를 매기지 않음.
6.1 시험 환경·과제·판정 규칙
표 6-1. 시험 환경
항목
값
시뮬레이터
APEX HR35(Unity + AGX Dynamics 변형 지형), 소형 굴착기 HR35 디지털 트윈
무학습 예선
MuJoCo 간이 굴착기 시뮬레이터(시뮬레이터·판정 기준이 달라 본실험과 직접 비교하지 않음)
하위 제어
유압 제외, 관절 직접 속도 명령
로컬 GPU
RTX 5080 16 GB 1장, 드라이버 595.91.07. 시뮬레이터와 모델 서버가 같은 GPU를 나눠 씀
학습 GPU
외부 클라우드 H100(PCIe·SXM5), ACT는 A100 40GB
추론 정밀도
GR00T·π0.5 bf16, ACT fp32
명령(버킷 이동)
10 Hz 발행, 8칸 묶음 중 앞 4칸 실행, 명령 크기 ±0.2 제한
명령(굴착)
위와 같음 + 모델 계산 중 시뮬레이터 정지. 끌기 보정 이후는 둘째 칸부터 4칸 실행
시행 수
모델·과제·위치·방식당 대부분 1회
표 6-2. 과제와 학습 자료
과제
내용
작업 범위 단계
버킷 이동
빨간 공·꼬깔콘 표적으로 버킷 끝을 가져가 0.5 m 안에 1초 이상 머묾
1단계
굴착 동작별
교사가 직전 동작까지 운전 → 그 동작(관입·끌기·닫기·올리기)만 모델이 운전
1단계
연속 굴착(바깥 전환)
모델이 네 동작을 혼자 운전, 바깥 프로그램이 동작 끝 신호로 지시문을 바꿈
2단계
연속 굴착(스스로 전환)
지시문 하나("excavate one bucket of soil")로 모델이 스스로 네 동작을 이어 감
3단계
관로 굴착
지형 지도를 입력으로 공략점을 고르고 굴착(1단계만 수행, 여러 사이클은 미수행)
3단계 쪽 시도(6.5절)
교사: 표적·목표 자세를 아는 규칙 제어기임(VLA 아님). 학습 자료를 만든 운전자이며 특권 정보를 씀.
굴착 위치: 학습 위치(선회 0)와 검증 위치(선회 +0.12 rad). 끌기 보강 자료가 +0.10·+0.14 rad를 포함해 검증 위치는 보간에 가까움.
판정 규칙(모두 실행 전에 고정)
버킷 이동 성공: 모델 운전 약 12초 구간에서 버킷 끝–표적 0.5 m 안에 1초 이상 연속 + 0.3초 넘는 기록 공백 없음 + 끝난 뒤 정지 확인 + 명령 거부 없음.
굴착 동작: 관입 = 끝 날 깊이 0.02 m 이상(0.15 m 이하) / 끌기 = 전진 0.25 m 이상 + 날이 흙 속에 있던 비율 0.80 이상 + 끝 흙량 1.0 kg 이상 / 닫기 = 버킷 각도 −130° 이하 + 흙 0.5 kg 이상이고 최대량의 70 % 이상 / 올리기 = 날이 흙 표면 위 1.2 m 이상 + 흙 80 % 이상 유지.
화면 기준: 정책 구간 초당 90장 이상, 느린 1 % 프레임 60 ms 이하, 사진 공백 0.3 s 이하. 못 넘으면 '판정 제외(검증 불가)'이며 실패로 세지 않음.
결과를 본 뒤 규칙을 바꾼 경우는 새 판으로 만들고 이전 결과와 섞지 않았음.
6.2 전제 E 점검
표 6-3. 전제 E 점검 결과 (GR00T·π0.5·ACT 공통)
항목
결과
E1 규칙 사전 고정
충족. 모든 판정 run에 규칙 지문 기록. 결과를 본 뒤 다시 판정한 1건은 보조로만 표기
E1b 결과 의존
끌기 실행 일정 맞춤, 버킷 보충 장면 선택, π0.5 실행 시간 한도 확장은 이전 결과를 본 뒤 정함 → 재현 시험 성격
E2 판정 가능 비율
부분. 흙 14 kg 이상 닫기·올리기는 시뮬레이터가 초당 17–85장으로 느려져 검증 불가 구간이 많음. 교사만 운전해도 닫기 화면 기준 실패 15/23
E3 판정기 교정
끌기 '흙 속 비율 0.80' 기준을 교사 15회에 같은 구간으로 대면 7/15가 0.80 미만 — 기준이 교사보다 엄격
E4 판별력
잠근 시험 장면은 출발 0.24–0.56 m로 이미 성공 거리 근처. '아무것도 안 하는 정책' 미측정
E5 시행 수
조건당 대부분 1회 — 우열 판정 불가
E6 운용 조건 명세
APEX HR35, 유압 제외, 흙 질량·위치 범위 기록. 조명·분진·토양 종류 변화 없음
6.3 관문별 판정
표 6-4. 관문 판정 (판정 규칙(안)을 적용한 결과)
관문
GR00T N1.7
π0.5
ACT(참고)
G1 적응 가능성
조건부 — 공식 절차로 학습·운전함. 조건: 백본 접근 승인, 라이선스 표기 불일치, 사전학습 데이터 일부 공개
조건부 — 공식 절차(JAX)로 학습·운전함. 조건: 사전학습 데이터 일부 공개, 가중치 이용 조건 별도 확인 필요(Apache-2.0과 Gemma 이용약관 병존), PyTorch LoRA 미지원
해당 없음(파운데이션 모델 아님). 공개 구현으로 학습·운전
G2 무학습
불가 — 72회 도달 0(로봇팔 후학습 체크포인트)
불가 — 같음
해당 없음
G2 학습 후
조건부 — 4관절 속도, 카메라 2대 + 관절 상태로 운전. 조건: 유압 제외
조건부 — 같음
같음
G2 LiDAR 경로
입력 경로 구축, 지형 재현 5 mm 안. 현 단계 입력 제외. 관로 실험에서 지도 그림을 세 번째 영상으로 넣어 학습·운전함. 지도 기반 공략점 선택은 확인되지 않음(6.5절)
같은 경로로 학습·운전함. 지도 기반 공략점 선택은 확인되지 않음(6.5절)
해당 없음
G3-A 통합 시간 계약
불일치 발견(첫 칸 약 0.13 s 늦음) → 보정 후 충족(E1b 예)
같음
보정된 일정으로만 운전
G3-B 모델 지연
버킷 이동: 정지 없이 운전 → 통과(안 적용). 굴착: 조건부(시뮬레이터 정지 필요). 원격: 이 설정에서 주기 초과 → 탑재 필요
버킷 이동: 정지 없이 운전 → 통과(안 적용), 단 시뮬레이터 시간 감속 여부 미확인. 굴착: 조건부. 연속 굴착: 처음 한도에서 멈춤 누적으로 판정 불가 → 한도 확장 판에서 완주(여전히 정지 조건)
굴착은 정지 조건, 추론 약 10 ms라 멈춤 짧음. 정지 없는 굴착은 시험 안 함
G4 안전 계층 결합
미판정 — 명령 ±0.2 제한·관절 한계·감시 아래에서만 운전. 실패 양상은 정성 기록만
미판정
미판정
G2 — 무학습 적용과 입출력 연결
로봇팔(LIBERO) 과제로 후학습된 공개 체크포인트를 굴착기에 그대로 연결한 예선에서 전체 72회(보이는 표적 54회, 숨긴 표적 대조 18회) 모두 0.5 m 도달 0이었음. Wilson 95 % 상한은 72회 기준 0.05, 54회 기준 0.07임.
원인은 세 겹이었음. π0.5는 방향은 대체로 맞았으나 움직인 길이가 도달에 필요한 길이보다 짧았음(실현 경로 0.333 m 이하 대 필요 순이동 0.452 m). 두 모델 모두 표적의 좌우 위치를 따르지 않았음(GR00T 14회 모두 같은 전진 방향). 시험 설계에도 결과를 흐리는 장치(관절 한계에 붙은 초기 자세, 비대칭 표적)가 있었음.
표적은 모델 입력에서 지름 약 8 px로, 영상 패치 하나(14 px)보다 작았음. 먼 고정 카메라에서 버킷 5 cm 이동은 모델 입력 기준 약 0.9–1.3 px로, 로봇팔 자료(약 6.8–14.4 px)보다 훨씬 작게 보였음(추정).
이 결과는 "그 체크포인트와 그 과제의 결과"다. 범용 VLA 일반의 무학습 불가능으로 일반화하지 않음.
유압 모델을 켜면 모델 크기의 명령(|0.2|)이 붐·암 밸브 불감대(정규화 0.340·0.355)를 넘지 못해 관절이 움직이지 않았음. 이후 결과는 모두 유압 제외 조건임.
LiDAR 높이 지도: 시뮬레이터 LiDAR 2대로 만든 땅 높이 지도를 기록·변환하는 경로를 만들었음. 사전 규칙 4개 모두 통과했음(판 자리 최저점 지도 −54.1 mm / 실제 −53.7 mm, 파는 구역 높이 차 중앙값 약 0 mm·상위 5 % 5.4 mm, 지도 지연 p95 0.012 s). 그러나 파는 동안 버킷이 판 자리를 가려, 관입·끌기·닫기 동안 2 cm 이상 파인 칸이 지도에 0개, 올리기 후반에야 16개가 나타났음. 그래서 굴착 지점을 바깥에서 정해 주는 지금 단계에서는 지도를 입력에서 뺐음. 다음 굴착 위치를 스스로 정하는 단계에서는 필수 입력으로 넣음(사용자 결정, 2026-11-13).
G3 — 끌기와 통합 시간 계약
표 6-5. 끌기 실패에서 성공까지 [귀속: 통합, E1b: 예]
단계
내용
결과
끌기 자료 보강
끌기 학습 창 55 → 187, 3배 반복 재학습
오프라인 붐 오차 GR00T 0.0192 → 0.0050, π0.5 0.0137 → 0.0056(D1). 폐루프 끌기 0/4(흙 속 비율 0.33–0.75, 기준 0.80)
원인 분석
모델 묶음 자체는 교사와 거의 같음. 학습 라벨 0.07 s 대 첫 칸 적용 0.2 s → 첫 칸 약 0.13 s 늦음. 계산 중 시뮬레이터가 멈춰 있었으므로 계산 시간은 원인 아님
모의 계산(D3)이 둘째 칸부터 실행 시 흙 속 1.0을 예측
실행 일정 맞춤
재학습 없이 둘째 칸부터 실행. 규칙을 실행 전에 고정
8/8 성공(두 모델 × 두 위치 × 두 실행 길이). 흙 속 1.0, 끝 흙 2.6–5.8 kg
맞춤 전 · 흙 속 비율 0.33 · 끝 흙 0.68 kg · 실패둘째 칸부터 실행 · 흙 속 비율 1.0 · 끝 흙 3.83 kg · 성공
왼쪽 운전석·오른쪽 붐 카메라. 맞춤 전(왼쪽)은 정식 평가 영상의 정지 화면(운전석 화면은 위쪽 일부를 확대 표시), 맞춤 후(오른쪽)는 시연 재촬영(표적 공 숨김), 수치는 정식 평가.
그림 6-1. 끌기 — 실행 일정 맞춤 전(왼쪽)과 후(오른쪽) (GR00T, 학습 위치, 대표 영상의 정지 화면)
단서(모든 "끌기 성공" 서술에 붙임): 이 실행 방식은 끌기 실패를 본 뒤 골랐음. 두 실행 길이는 같은 둘째 칸에서 시작하므로 서로 독립이 아니고, 독립 조건은 4개다. 보수적으로 0/4 → 4/4(Wilson 0.00–0.49 → 0.51–1.00, Fisher 양측 p ≈ 0.029)다. 같은 두 위치의 결과이며 위치 일반화 근거가 아님.
둘째 칸은 실제 어긋남보다 약 0.07 s 앞선 명령이라 교사(2.0–2.6 kg)보다 흙을 더 담았음. 다음 동작(닫기)의 흙 부하가 커지는 부작용임.
ACT도 같은 일정으로 끌기에 성공했음(흙 속 1.0, 끝 흙 5.8–6.3 kg). 이 문제가 특정 모델이 아니라 연결 방식에 걸린 문제라는 해석과 맞음. 다만 ACT를 처음 일정으로 운전하지는 않았음.
붐을 덜 올리게 하는 어떤 치우침이든 같은 효과를 냈을 가능성(대안 원인)을 가르는 시험은 하지 않았음.
이 문제는 비동기 실행에서 계산하는 동안 세계가 움직여 생기는 어긋남[15][16][17]과 기전이 다름. 실물 UR5 연구의 "모달리티 간 시간 정렬"[18]이 더 가까움.
굴착은 같은 GPU를 나눠 쓰는 탓에 π0.5 계산 중 화면이 5–8배(관입 초당 198 → 34장), GR00T는 약 1.5배 느려져 두 모델 모두 계산 중 시뮬레이터를 멈추는 방식으로 평가했음.
π0.5 연속 굴착은 멈춤 합계가 실행 시간 한도(8 s)에 걸려 판정 불가였음. 실행 프로그램의 한도를 20 s로 늘린 판을 실행 전에 고정하고 다시 돌리자 두 위치 모두 완주했음(멈춤 합계 9.18 s·8.32 s). 정책이 운전하는 구간의 일정은 바뀌지 않았음. 여전히 시뮬레이터 정지 조건임.
원격 추론(해외 클라우드 H100)은 모델 계산을 하지 않는 가짜 서버로도 굴착 사진 2장 왕복 p50 938 ms·p99 1,569 ms였음. 이 설정에서는 주기를 넘었음. 원격 일반의 불가능을 뜻하지 않음.
6.4 비교 축별 결과
P1 작업 성능
표 6-6. 버킷 이동 (성공/시행, 괄호는 Wilson 95 % 구간) [사전, 1단계]
시험
GR00T N1.7
π0.5
ACT
비고
확인 장면 3곳 × 공·콘
6/6 (0.61–1.00)
6/6 (0.61–1.00)
6/6 (0.61–1.00)
출발 거리 0.84–1.23 m
잠근 시험 장면 4곳 × 공·콘
7/8 (0.53–0.98)
7/8 (0.53–0.98)
6/8 (0.41–0.93)
판별력 낮음: 출발 0.24–0.56 m
표 6-7. 굴착 동작별 (학습 위치 / 검증 위치) [사전, 1단계]
동작
GR00T
π0.5
ACT
관입
성공 / 성공
성공 / 판정 제외
실패 / 실패
끌기(처음 일정)
실패 / 실패
실패 / 실패
(미실시)
끌기(일정 맞춤 후)
성공 / 성공
성공 / 성공
성공 / 성공
닫기
판정 제외 / 성공
성공 / 판정 제외
성공 / 판정 제외
올리기
성공 / 성공
성공 / 미실행
성공 / 성공
통과 동작(한 위치 이상)
3/4 → 끌기 보정 후 4/4
3/4 → 끌기 보정 후 4/4
3/4(관입 실패)
첫 평가(끌기 보강 전)는 GR00T 2/4, π0.5 1/4였음. 첫 평가와 재평가 사이에 모델·진행 방식(계산 중 정지)·화면 시계가 함께 바뀌어 개선을 한 원인으로 돌리지 않음.
판정 제외 칸은 흙 14–19 kg의 물리 부하로 화면 기준을 넘지 못한 경우임. π0.5 검증 위치 올리기는 시작 전 메모리 여유 부족으로 미실행임.
표 6-8. 연속 굴착 — 바깥 프로그램이 동작을 바꿔 줌 [사전, 2단계]
모델
위치
네 동작 끝 신호 / 동작 판정
최종(화면 기준 포함)
흙(kg): 끌기 끝 → 닫기 끝 → 올리기 끝
GR00T
학습
4/4 / 4/4 통과
관입·끌기 성공, 닫기·올리기 판정 제외
7.1 → 30.4 → 31.8
GR00T
검증
4/4 / 4/4 통과
관입 성공, 나머지 판정 제외
8.9 → 30.3 → 32.7
π0.5(처음 한도)
학습·검증
1회 완주, 1회 올리기 중 정지
판정 불가(멈춤 합계가 한도에 걸림)
—
π0.5(한도 확장)
학습
4/4 / 4/4 통과
관입 성공, 나머지 판정 제외
16.4 → 39.8 → 42.0
π0.5(한도 확장)
검증
4/4 / 4/4 통과
관입·끌기 성공, 닫기·올리기 판정 제외
15.0 → 46.5 → 48.0
ACT
학습
4/4 / 4/4 통과
네 동작 모두 성공
끌기 끝 13.0, 최대 20.0
ACT
검증
4/4 / 4/4 통과
관입·끌기·올리기 성공, 닫기 판정 제외
끌기 끝 9.8, 최대 13.4
(가) 모델 입력 카메라 — 왼쪽 운전석·오른쪽 붐
(나) 옆에서 본 버킷(녹화 전용) — 진입 끝 · 가장 깊은 순간 · 올리기
(다) 굴착기 전체 측면 · 진입 끝(라) 굴착기 전체 측면 · 올리기
시연 재촬영(표적 공 숨김), 수치는 정식 평가. 노란 선 = 시작 지형, 초록 선 = 진입 지점, 빨간 선 = 날 끝이 지나간 길. 화면 안 깊이·흙 값은 재촬영 실행의 기록이며 판정 수치는 표의 정식 평가 값. 흙 30 kg 이상 구간은 화면 기준 판정 제외라 '전체 시연 성공'으로 세지 않음.
그림 6-2. 연속 굴착 — GR00T, 검증 위치(바깥 전환, 네 동작 완주, 흙 32.7 kg) (모델 입력 카메라, 옆에서 본 버킷의 진입 끝·가장 깊은 순간·올리기, 굴착기 전체 측면의 진입 지점과 깊이)
GR00T · 학습 위치 · 31.8 kgGR00T · 검증 위치 · 32.7 kg
π0.5 · 학습 위치 · 42.0 kgπ0.5 · 검증 위치 · 48.0 kg
π0.5 학습 위치는 정식 평가 영상의 정지 화면(운전석 화면은 위쪽 일부를 확대 표시), 나머지 세 장은 시연 재촬영(표적 공 숨김), 수치는 정식 평가.
옆에서 본 π0.5 · 검증 위치 — 진입 끝 · 가장 깊은 순간 · 올리기
옆에서 본 GR00T · 학습 위치 — 진입 끝 · 가장 깊은 순간 · 올리기
옆에서 본 버킷은 녹화 전용 화면(모델 입력 아님). 시연 재촬영(표적 공 숨김), 수치는 정식 평가.
그림 6-3. 연속 굴착 네 실행 — 두 모델 × 두 위치 모두 동작 판정 4/4 (대표 영상의 정지 화면, 숫자는 올리기 끝 버킷 안 흙. 아래 두 줄은 옆에서 본 굴착 과정)
시간으로 넘어간 전환(끝 신호가 안 와 다음 동작으로 넘어감)은 모든 run에서 0이었음.
한도 확장 판으로 한 GR00T 대조 run은 두 번 모두 관측 사진 지연이 연속으로 나와 안전 정지로 판정 불가였음. GR00T 공식 결과는 처음 판 그대로임.
ACT의 전체 성공은 흙을 VLA의 절반 이하만 담아 시뮬레이터가 덜 느려졌고(정책 구간 초당 142–156장), 추론이 약 10 ms라 멈춤도 짧았기 때문임. VLA의 '판정 제외'는 무거운 흙에서의 검증 불가이므로 이 차이를 모델 우열로 읽지 않음.
표 6-9. 연속 굴착 — 모델 스스로 동작 전환 [사전, 3단계]
모델
위치
결과
비고
GR00T
학습
관입 정체(실패)
최대 깊이 −0.011 m. 교사와 비슷한 시점(약 11.6–12.0 s)에 스스로 끌기 명령으로 넘어감
1차: 완주·동작 판정 4/4, 화면 기준 판정 불가(실행 중 다른 창이 열려 시뮬레이터가 포커스를 잃음). 재실행: 관입 정체
재실행 추정 깊이 0.017 m
두 모델 모두 교사와 비슷한 시점에 스스로 다음 동작으로 넘어가는 행동은 매번 보였음. 성패는 그 순간 관입 깊이가 기준(2 cm, 0.3 s 유지)을 넘었는지로 갈렸고, 차이는 1–3 cm였음.
굴착기 전체를 밖에서 찍은 시연 run(공식 결과 아님)에서 GR00T 스스로 전환은 검증 위치 2회 중 1회 완주했고, π0.5는 1회 관입에서 정체했음. 공식 실행과 합친 누적은 GR00T 3회 중 2회, π0.5 3회 중 1회 완주임. 이 시연은 공식 표에 넣지 않음.
P2 일반화·강건성
표 6-10. 처음 보는 위치 (버킷 이동, 보간 위치, 가장 가까운 학습 위치와 0.64 m)
시험
GR00T N1.7
π0.5
ACT
2곳 × 2장면 × 공·콘
4/8 (0.22–0.78), 거리 기준만 6/8
6/8 (0.41–0.93)
3/8 (0.14–0.69)
실패 양상
높은 위치에서 크기 부족(방향 맞음)
같은 양상
낮은 위치에서 실패(원인 미분석)
낮은 쪽은 쉬웠음(π0.5 최소 거리 0.08–0.14 m). 높은 쪽은 VLA 8회 모두 0.42–0.53 m에서 멈췄음. 첫 명령 방향은 맞았으나 붐이 0.12–0.17 rad 낮고 암이 0.25–0.32 rad 덜 접혔음(크기 부족, D4). 교사는 같은 곳을 2 mm까지 감.
GR00T 실패 4건 중 2건은 버킷 문제가 아니라 끝난 뒤 정지 확인 기록 공백(0.51–0.80 s)이었음. 4/8 대 6/8은 Fisher 양측 p ≈ 0.61로 구별할 수 없음.
굴착 검증 위치는 학습 위치 사이에 있어 보간에 가까움. 지형 변화: 관로 실험의 처음 보는 검증 지형 2개에서 접근은 13회 모두 끝냈으나, 진입 위치가 지형과 무관하게 약 4.0–4.2 m로 모여 지형에 맞춘 위치 선택은 확인되지 않았음(6.5절). 교사를 고친 세 번째 학습에서는 진입 위치가 지형에 따라 달라졌으나 사전 기준을 채운 모델은 없었음(6.5절). 토양·조명·분진·센서 저하는 미측정임.
P3 데이터 요구·수집
항목
GR00T·π0.5
ACT
학습 자료
버킷 이동 1,610창, 굴착 1,996창
같음
빈칸 진단·보충
버킷: 출발 자세 빈칸 → 보충 8장면으로 해결(실패를 보고 고름). 굴착: 끌기 창 55 → 187
관입 흙 접촉 구간 빈칸(학습 창 규칙) 발견 → 장면 끝 채움으로 재학습(100,000회 중 70,000회 선택)하자 두 위치에서 관입 통과(깊이 0.040·0.044 m, 사후 참고. 원 모델과 학습량이 다름)
교사
특권 정보를 쓰는 규칙 제어기
같음
자료량별 성능 곡선
미측정
미측정
ACT 관입 실패 원인 분석[사후 참고, 공식 수치 불변]: ACT는 버킷이 흙 표면에 닿는 순간을 사진으로 알아보고, 지시가 "관입"이어도 "끌기 시작" 명령을 냈음. 학습 창 규칙이 관입 장면 끝 7프레임(흙에 닿는 구간)을 입력에서 뺐고, 그 구간 입력은 모두 끌기 장면이었음. 입력 바꿔 넣기(D2)에서 과제 번호·관절 상태를 바꿔도 명령은 거의 바뀌지 않았고 사진을 바꾸면 바뀌었음. 세 모델 모두 같은 학습 창 규칙을 썼는데도 GR00T·π0.5는 흙 접촉 뒤에도 붐을 계속 내렸음. 차이는 모델 쪽 입력 사용 방식에 있으며, 그것이 언어·상태 사용 때문인지는 확인하지 않았음.
P4 자원·비용
표 6-11. 추론 지연과 메모리 [실측, RTX 5080·bf16(ACT fp32)]
항목
GR00T N1.7
π0.5
ACT
단독 추론 p50/p95(소켓 100회)
91.1 / 93.0 ms
110.1 / 134.1 ms
추론 약 7–9 ms, 왕복 p95 11–14 ms
굴착 모델 소켓 p95
93–95 ms
113–137 ms
—
버킷 폐루프 응답 중앙값
103–109 ms
119–122 ms
14 ms
추론 메모리
예약 6.06 GiB
서버 9,858 MiB(실제 최대 6,655 MiB)
서버 320 MiB
학습 최대 메모리
39.2 GiB(H100)
19.18 GB(JAX, H100)
3,631 MiB/모델(A100)
계산 중 시뮬레이터 화면 저하(같은 GPU)
약 1.5배
5–8배
미측정
공식 참고값
H100 eager 85.8 ms, TensorRT 27.9 ms
공식 수치 없음
—
표 6-12. 학습 자원 (외부 GPU 사용 내역. 금액은 이 문서에 적지 않음)
구분
내용
VLA 학습·측정
외부 GPU 14세션(H100 중심): 두 모델 버킷·굴착 학습, 원격 지연 측정
그중 학습 없이 쓴 자원
고장 서버 2대, 원격 지연 측정 1세션, 로컬 대기 약 83분분
ACT 기준선
A100 40GB 1대, 3시간 30분, 두 모델 동시 학습
LiDAR 지도 학습 비교
취소
관로 실험(첫·둘째 학습)
H100 4세션(두 모델 × 학습 2회)
관로 실험(세 번째 학습)
H100 서버 9대: 모델 8개 학습(두 모델 × 표식 유무 × 자료 전체·절반, 갱신 3,000회·2,000회) + 회수 전 자동 종료로 유실된 1개의 재실행
관로 실험(네 번째 학습)
외부 GPU 서버 5대: 모델 3개 확보(GR00T 표식 있음·없음, π0.5 표식 있음, 각 갱신 2,000회). 그 밖에 1개는 회수 중 자동 종료로 유실, 1대는 준비 단계에서 멈춰 학습 없이 종료
모델별 분리 합계는 계산하지 않았음.
6.5 관로 굴착 및 기준선 재학습 결과
관로(트렌치) 굴착 — 지형 지도 입력을 통한 공략점 선정
목적과 실제 범위. 굴착 지점을 바깥에서 정해 주던 지금까지의 시험을 넘어, 모델이 지형 지도를 보고 공략점(버킷이 처음 땅에 들어가는 점)을 스스로 고르고 굴착하는지 봄. 처음 계획은 공략점 선정, 여러 사이클, 목표 깊이에서 멈추기의 세 단계였음. 실제 평가는 첫 단계의 검증 지형 두 곳에 한정했고, 여러 사이클과 종료 판단은 평가하지 않았음.
과제 설정
한 자리(선회 0 고정)에서 관로를 팜. 실제 수행한 관로는 폭 0.5 m, 길이 1.4 m(기계 앞 3.3–4.7 m), 목표 깊이 0.10 m다(버킷 날 폭은 0.554 m). 버킷 접촉 위치의 범위는 앞 4.05–4.80 m다. 처음 계획값(폭 0.55 m, 앞 3.3–4.8 m)과 다름.
땅은 무작위 굴곡(작업 구역 앞 2.6–6.0 m × 좌우 ±2.0 m, 높이 ±0.12 m의 언덕·고랑)임. 기계 밑과 덤프 자리는 평평함.
한 사이클 = 복귀 자세에서 지도 보기 → 공략점으로 접근 → 한 번 굴착(관입·끌기·닫기·올리기) → 흙 버리기(선회·덤프·복귀, 고정 제어).
카메라 기록 한도(run당 약 129초)에 한 사이클만 들어가므로 한 사이클 = run 하나로 하고, run 끝 지형을 다음 run 시작 지형으로 불러옴. 같은 장치로 무작위 지형도 불러옴(시뮬레이터에 별도 모듈 1개 추가, 기존 파일 변경 없음 확인).
교사(공략점 규칙) — Jud 외 2017[43] 식 (24)–(28)
남은 두께(실제 높이 − 목표 높이)가 θ+를 넘는 칸 중에서 "실제 높이 + μ × 굴착기와의 거리"를 최대로 하는 칸을 공략점으로 고름. μ = tan α는 가파른 벽 아래를 파지 않게 하는 최대 경사 항임. 접촉점은 공략점에서 작업 방향으로 v_offset만큼 앞임.
HR35 적용값: 지도 격자 0.1 m(원문 0.2 m), θ+ 0.03 m(원문 0.2 m), μ 0.75(원문과 같음), v_offset 0.10 m(원문 0.3 m). θ+·μ·v_offset은 우리 굴착기 치수와 한 번 굴착 깊이(약 5 cm)로 정한 가정임. 흙 재료 안식각은 미측정임.
관로 모든 칸이 θ+ 이하가 되면 대량 굴착을 끝냄. 원문의 정제 단계는 3단계의 목표 깊이 굴착으로 대신함. 같은 연구진의 관로 굴착 논문[44]을 보조 근거로 참고했음.
교사는 시뮬레이터 흙 격자(정답)로 공략점을 고르고, 모델은 지도를 입력으로 받음. 같은 규칙을 지도에 적용한 "지도 기준 공략점"과의 차이를 run마다 집계하는 것은 계획 항목이었고, 이 보고서의 결과표에는 넣지 않았음.
표 6-13. 처음 계획한 단계·자료·평가(실제 수행은 아래 "실제 수행"과 표 6-14 참조. 1단계만 수행했고, 치수·자료 수·오차 정의가 실제와 다름)
단계
내용
자료
평가 지표
1(필수)
무작위 지형에서 공략점 고르기 + 한 번 굴착
학습 지형 8개 × 3사이클 24 run, 검증 2 × 2, 시험 2 × 1
공략점 오차(관입 시작 순간 날 끝 위치 − 교사 공략점, 기준 |오차| ≤ 0.15 m는 가정), 굴착 성공(동작 판정 + 순서), 처음 보는 지형
2(최대한)
굴착 뒤 바뀐 지형으로 다음 공략점, 여러 사이클
위 자료의 사이클 2–3
사이클별 공략점 오차·성공, 누적 진척(관로 잔여 부피 감소, 같은 지형 교사 사슬과 비교)
3(최대한)
목표 깊이에서 더 파지도 덜 파지도 않고 끝냄
추가 8 run(목표 깊이 0.05·0.15 m, 완료 상태 포함)
과굴착 부피(목표면 2 cm 아래), 미굴착 부피, 종료 판단(완료 지형에서 움직이지 않음)
모델 입력: 카메라 2장 + 지도 그림(세 번째 영상 칸, 4.5절 길 A) + 관절 상태 8. 지시문은 하나로 고정함. 지도는 첫 학습에서 LiDAR 지도, 둘째 학습에서 시작 지형 파일로 만든 지도임.
출력: 기존과 같은 4관절 속도 8칸 묶음. 공략점은 따로 번호로 내지 않고 접근 동작 자체로 냄.
기준선: 규칙이 정한 접촉 위치(정의상 오차 0)와 교사 실행 기록(같은 검증 지형에서 오차 +0.006 m). "늘 같은 점(학습 평균 공략점)" 기준선은 계획에 있었으나 계산하지 않았음.
실제 공략점 오차 정의: 진입(관입) 단계 마지막 순간 날 끝의 전방 위치 − 규칙의 접촉 위치(공략점에서 전방 0.10 m). 표 6-13의 "관입 시작 순간 − 교사 공략점"은 처음 계획의 정의임.
학습: GR00T 우선, π0.5 병행.
준비: 지형 불러오기 장치를 적용했고, 시험 2 run(불러온 지형 다시 읽은 오차 6×10⁻⁸ m, 동작 판정 5/5 통과)을 마친 뒤 본 수집을 했음.
실제 수행(첫·둘째 학습은 2026-11-14 종료. 이후 사용자 지시로 세 번째 학습을 추가 수행 — 아래 "세 번째 학습"). 1단계만 평가했고 2·3단계는 수행하지 않았음. 최종 과제 정의는 관로 전방 3.3–4.7 m, 폭 0.5 m, 목표 깊이 0.10 m이며 공략점에서 전방 0.10 m 떨어진 지점을 버킷 접촉 위치로 함(접촉 범위 4.05–4.80 m). 첫·둘째 학습은 다음과 같음.
첫 학습(지도 v1): LiDAR 높이 지도(전방 1.2–6.8 m × 좌우 ±2.8 m, 0.1 m 칸)를 넣었음. 수집 30 run(29 정상), 학습 자료 29 에피소드·2,057창.
둘째 학습(지도 v2): 관로만 확대한 지도(전방 3.0–5.0 m × 좌우 ±0.6 m, 0.05 m 칸)를 넣고, 같은 장면에 공략점만 다른 16 run을 더 모았음(학습 자료 46 에피소드·3,953창). 이 지도는 LiDAR 관측이 아니라 실행 시작 지형 파일로 만든 것이라, 둘째 학습의 결과는 센서 지도 기준이 아님.
평가는 검증 지형 2개(접촉 위치 4.25 m, 4.65 m)에서 했음. 시험 지형은 잠가 둔 채 쓰지 않았음.
기준 대응: P1(공략점 선택 + 스스로 전환을 시도, 덤프는 고정 제어), P2(무작위 굴곡의 검증 지형 2개), G2(지도 입력 경로, 기계 기준 좌표, 잔여량 채널), P3(교사 특권 정보 대 모델 지도, 수집 비용 run당 약 7.5분), E(판정 기준 사전 고정). 지도 관측 비율 80 % 이상 run만 채택하는 규칙은 계획 항목이었고, 실제 적용 여부는 정본 요약에서 확인하지 못했음.
표 6-14. 관로 굴착 결과(첫·둘째 학습)
항목
GR00T N1.7
π0.5
접근(굴착 준비 자세까지)
첫 학습 5회·둘째 학습 2회 모두 완료
첫 학습 4회·둘째 학습 2회 모두 완료
첫 학습(LiDAR 지도) 공략점 오차
지형 4.25 m: −0.16, −0.14, −0.12 m / 지형 4.65 m: −0.65, −0.66 m
지형 4.25 m: −0.05, −0.03 m / 지형 4.65 m: −0.50, −0.49 m
첫 학습 굴착
지형 4.25 m: 3회 중 1회에서 실행 종료와 최종 지형 기록을 확보함. 이 실행은 접근·진입·끌기·닫기 기준을 통과했으나 올리기 높이와 화면 속도 기준은 충족하지 못함(버킷에 흙 40 kg), 관로 잔여 0.0480 → 0.0253 m³(교사 0.0387 m³), 목표면 아래로 판 곳 없음. 나머지 2회는 다섯 동작 통과(끝 0.3초가 잘려 최종 지형 없음). 지형 4.65 m: 닫기 중 영상 지연으로 안전 정지 2회
접근 뒤 진입이 시간 안에 끝나지 않음(4회 모두, 지형 변화 거의 없음)
지도만 바꿔 넣는 오프라인 시험
진입 위치 이동 −0.06 ~ +0.08 m, 공략점 방향과 무관. 둘째 학습 사전 기준 0/10
이동 −0.01 ~ +0.02 m. 둘째 학습 사전 기준 0/10
둘째 학습(지형 파일 지도) 공략점 오차·굴착
−0.125 m, −0.520 m. 버킷 날이 지면 위 2 cm·8 cm에 머물러 굴착 없음
−0.183 m, −0.477 m. 지면 위 1 cm·7 cm, 굴착 없음
판정(두 지형 모두 오차 0.15 m 이하)
두 번 모두 미달 — 지도 기반 공략점 선택 미확인
두 번 모두 미달 — 지도 기반 공략점 선택 미확인
2단계 사이클별 오차·누적 진척
수행하지 않음(1단계에서 종료)
수행하지 않음
3단계 과굴착·미굴착·종료 판단
수행하지 않음
수행하지 않음
읽는 법과 원인.
- 된 것: 두 모델의 실행을 합한 13회 모두 접근 동작을 끝냈음(GR00T 7회, π0.5 6회). 첫 학습의 GR00T는 가까운 공략점 지형에서 한 사이클에 관로 잔여를 0.0227 m³ 줄였음(교사 0.0093 m³). 다만 완결된 측정은 1회이고 교사는 바닥 보호 때문에 일부러 얕게 파므로, GR00T가 교사보다 잘 판다고 말할 수는 없음. 이 실행의 화면 속도 중앙값은 70장/초로 내부 기준(90)보다 낮았음.
- 안 된 것 ① 지도 기반 공략점 선택(두 번 모두). 진입 위치가 지형·학습 회차와 무관하게 약 4.0–4.2 m에 모였음. 첫 학습 자료는 장면과 공략점이 1:1로 묶여 있어(접근 학습 12 run, 공략점 값 5개) 지도를 읽지 않아도 됐고, 지도를 키우고 장면과 공략점을 분리한 둘째 학습(36 run, 값 9개)에서도 지도 기반 위치 선정 기준을 충족하지 못했음. 공략점을 지도 표식이나 지시문으로 직접 알려 주지 않은 조건의 결과임.
- 안 된 것 ② 둘째 학습의 굴착(0회). 추가로 모은 16 run은 공략점 바로 앞까지 미리 파 둔 지형이라 교사의 바닥 보호가 진입 높이를 올려, 16 run 중 12개에서 교사가 흙에 닿지 않았음. "지면 위에서 멈추는 진입" 시연이 늘어난 뒤 GR00T의 관입이 사라졌음. 지도·자료·학습 횟수가 함께 바뀌었으므로 이 인과는 추정임.
- 교훈: (1) 이번 두 번의 학습·평가에서는 지도만 입력에 더한 행동 복제로 지도 기반 위치 선정 기준을 충족하지 못했음 — 판단은 규칙이 하고 실행을 모델이 맡는 구성, 또는 공략점을 직접 가르치는 신호가 필요한지 비교해야 함. (2) 시연을 모을 때 교사가 실제로 흙을 파는지 수집 직후 확인해야 함. (3) LiDAR 지도는 관로 칸에서 지형과 평균 3.0 cm 어긋난 사례가 있어, 센서 지도로 돌아가려면 정확도를 먼저 올려야 함.
- 말할 수 없는 것: "VLA는 지도 기반 굴착 위치 선택을 할 수 없다"는 일반화, 둘째 학습의 지형 파일 지도 결과를 LiDAR 관측 조건의 성능으로 일반화하는 것, 시험 지형 결과(미사용), 여러 사이클 연속 굴착.
세 번째 학습(교사 수정 뒤 재수집) — 결과와 실패 분석 [사전 기준 + 사후 분석]. 첫·둘째 학습에서 교사가 흙에 닿지 않은 시범이 많았던 결함을 고쳐 한 번 더 수행했음.
바꾼 것: 교사가 매번 실제로 흙을 파도록 진입 위치·높이 규칙을 고쳤음. 수집 60 run 모두 정상 완료했고 모두 흙에 들어갔음(진입 최대 깊이 2.5–5.8 cm, 중앙 4.3 cm). 같은 장면에 진입 위치만 다른 run 쌍으로 모았음(학습 56, 검증 4, 위치 값 13개). 깊이 기준 면제는 쓰지 않았음.
비교한 구성: 지도에 진입 위치를 노란 띠로 그려 주는 구성(위치 판단은 규칙, 실행은 모델)과 표식 없는 구성. 자료 전체(55 run·7,531창)와 먼저 모은 절반(27 run·3,748창). 두 모델 × 표식 유무 × 자료량 = 모델 8개.
평가: 한 검증 장면에서 진입 위치만 0.40 m 다른 두 지형(4.15 m, 4.55 m), 모델당 4회, 합계 32회. 한 run의 통과 조건은 수집 전에 고정했음: 진입 끝 위치 오차 0.15 m 이내 + 진입 깊이 2 cm 이상 + 흙 제거량이 같은 지형 교사의 50 % 이상 + 과굴착·안전 정지 없음. 구성 성공은 한 모델이 두 지형 모두에서 과반 통과.
측정 조건: 이 PC(RTX 5080, bf16; 드라이버는 이 평가 기록에 없어 미확인). 안전 정지·시뮬레이터 멈춤 0회.
표 6-14b. 관로 굴착 결과(세 번째 학습, 모델당 4회 중 횟수)
자료
모델
지도 표식
통과
위치 오차 0.15 m 이내
진입 깊이 2 cm 이상
진입 동작 완료
전체
GR00T N1.7
있음
0
1
2
0
전체
π0.5
있음
0
2
0
0
전체
GR00T N1.7
없음
0
1
1
1
전체
π0.5
없음
0
0
0
0
절반
GR00T N1.7
있음
2
3
4
3
절반
π0.5
있음
0
0
2
0
절반
GR00T N1.7
없음
1
3
4
4
절반
π0.5
없음
1
2
2
2
합계(32회)
4 (전체 0/16, 절반 4/16)
12 (4/16, 8/16)
15 (3/16, 12/16)
10 (1/16, 9/16)
판정: 구성 성공 0건. 지도·표식만 바꿔 넣는 오프라인 기준도 모델 8개 모두 미달. run 단위 통과는 전체 자료 0/16, 절반 자료 4/16.
된 것: 통과 4회는 실제로 흙을 팠음. 최종 지형으로 계산한 흙 제거 0.010–0.027 m³(같은 지형 교사 0.0125–0.0129 m³), 올리기 끝 버킷 안 흙 14–36 kg. 다만 관로를 완성한 것이 아니라 한 사이클의 부분 굴착임. 표식 없는 모델도 지형에 따라 진입 위치를 옮겼음(첫·둘째 학습과 다른 점).
측정 공백: 32회 중 13회는 실행 끝에서 최종 지형이 저장되지 않아 흙 제거량이 없음. 그중 2회는 다섯 동작을 끝내고 버킷에 흙을 실었으나 통과로 세지 않았음. 미통과 28회는 진입 실패 22회와 진입 뒤 미통과 6회로 나뉨.
주된 실패 경로: 진입에 실패한 22회 중 21회에서 깊이를 확보하기 전에 끌기 방향 명령(암 당김·붐 올림)이 시작됐음. 독립 검토가 원 명령 기록으로 같은 수를 다시 얻었음. 진입에 성공한 10회 중에도 1회 있어 필요충분조건은 아님. 팔 곳까지는 대체로 맞게 갔음.
교사 시범의 전환 여유: 대표 교사 2회에서 날 끝이 깊이 2 cm에 닿은 뒤 끌기로 넘어가기까지 0.39초·0.50초였음. 끌기가 0.5초만 일러도 깊이가 모자람. 또 교사는 관절각 수렴으로, 평가는 깊이로 단계 종료를 판정해 두 기준이 달랐음.
전체 0/16 대 절반 4/16: 확인한 범위(위치 값·교사 깊이·단계 비율)에서는 자료 구성의 큰 차이를 찾지 못했음. 그러나 학습 횟수(3,000 대 2,000회)가 다르고 학습이 조건당 1회라 자료량·학습 횟수·학습 우연을 분리하지 못했음. 자료를 줄이면 좋아진다고 읽지 않음.
표식: 통과 2/16 대 2/16, 위치 조건 6/16 대 6/16으로 표식의 이점은 보이지 않았음.
교훈(적용 관점): (1) 시범이 과제를 해내는지뿐 아니라 동작 전환의 여유가 얼마나 되는지를 수집 전에 확인해야 함 — 여유가 작으면 모델의 작은 시점 오차가 실제 운전 실패로 이어짐. (2) 교사와 평가기의 단계 종료 기준을 맞춤. (3) 실행 끝 지형 기록 누락을 평가 전에 없앰.
말할 수 없는 것: 원인을 확정했다는 것, 교사를 고치면 해결된다는 것(저장 궤적의 수식 재계산은 방향 진단일 뿐 성공률 예측이 아님), 자료량의 효과, 진입만 고치면 한 사이클이 끝난다는 것(진입 완료 10회 중 통과 4회), 첫·둘째 학습과의 성능 증감(교사·자료·지형·판정이 모두 다름).
네 번째 학습(교사 진입 유지 시간 수정 뒤 재수집) — 결과 [사전 기준, 2026-11-16]. 세 번째 학습의 주된 실패 경로(깊이 확보 전 끌기 시작)를 교사 시범 쪽에서 고쳐 다시 수행했음.
바꾼 것: 규칙 기반 교사가 깊이 2 cm 이상인 상태로 1.8초 머문 다음 끌기로 넘어가도록 고쳤음(세 번째 교사는 관절 자세가 목표에 맞으면 곧바로 끌기). 교사 진입 최대 깊이는 4.9–6.5 cm(중앙 5.8 cm, 세 번째 4.3 cm), 깊이 2 cm 도달부터 끌기까지는 1.7초(세 번째 0.4–0.5초), 교사의 과굴착은 0이었음.
자료·학습: 세 번째 학습의 절반 자료와 같은 지형·위치로 시범 28회와 검증 4회를 다시 모았음(32회 모두 정상 완료). 학습 창 3,543, 갱신 2,000회.
평가: 모델 3개(GR00T 표식 있음, GR00T 표식 없음, π0.5 표식 있음) × 지형 2개(진입 위치 4.15 m, 4.55 m) × 2회 = 12회. 통과 조건은 세 번째 학습과 같고(위치·진입 깊이·굴착 효과·과굴착 없음·안전 정지 없음) 결과를 보기 전에 고정했음. π0.5 표식 없음 모델은 확보하지 못해 평가하지 않았음.
그림 6-4. 교사 시범의 수정(세 번째 → 네 번째 학습) — 깊이 2 cm 도달 뒤 끌기까지의 여유와 진입 깊이(교사는 규칙 기반 제어기, VLA 아님)
표 6-14c. 관로 굴착 결과(네 번째 학습, 모델당 4회 중 횟수)
모델
지도 표식
통과
위치 오차 0.15 m 이내
진입 깊이 2 cm 이상
진입 동작 완료
비고
GR00T N1.7
있음
2
4
4
4
그 밖에 1회 과굴착, 1회 최종 지형 미저장(다섯 동작 수행·버킷 54 kg, 제거량 확인 불가)
GR00T N1.7
없음
2
4
4
4
그 밖에 1회 과굴착
π0.5
있음
0
3
4
3
진입 깊이는 4회 모두 충족, 굴착 효과 미달
합계(12회)
4
11
12
11
진입 중 이른 끌기 1/12(세 번째 22/32)
판정: 구성 성공(한 모델이 두 지형 모두 2/2) 0건. 실행 단위 통과 4/12(세 번째: 절반 자료 4/16, 전체 자료 0/16).
된 것: 진입 실패 경로는 교사 수정으로 해소됨을 확인했음. 진입 깊이 2 cm 이상 12/12(세 번째 전체 3/16·절반 12/16), 진입 동작 완료 11/12(세 번째 10/32), 진입 중 이른 끌기 1/12. 통과 4회의 흙 제거는 0.008–0.020 m³(같은 지형 교사 0.012–0.015 m³)임. 관로 완성이 아니라 한 사이클의 부분 굴착임.
새 한계 ① 끌기 단계에서 끊김: 12회 중 7회가 끌기 단계의 시간 한도에서 끊겨 닫기·올리기를 시작하지 못했음. 평가는 깊이 2 cm가 0.3초 유지되면 진입 종료로 기록하는데 모델은 교사처럼 약 1.5초 더 내려간 뒤 당겨, 그 시간이 끌기 한도에서 빠진 평가 설계의 누락임. 다만 아래 보충 평가에서 한도는 주된 걸림돌이 아니었음.
새 한계 ② 굴착 깊이: GR00T가 목표 바닥 아래로 판 경우가 3/12였고 그중 2회는 기준을 넘었음(바닥 아래 최대 4.8 cm, 9.8 cm). 교사는 0회, 세 번째 학습 통과분은 최대 0.2 cm였음. 원인은 분석하지 않았음.
기록: 화면 갱신 속도 기준 미달 표시 9/12(세 번째 8/32). 세 번째와 같이 판정 제외가 아니라 기록용임. 안전 정지 0회.
말할 수 없는 것: 관로 굴착 성공, 교사 수정이 굴착 전체를 해결했다는 것, 표식 유무·모델 간 우열(조건당 학습 1회, 모델당 4회), 과굴착의 원인.
보충 평가 [사후, 사전 등록 아님 — 위 12회와 합산하지 않음]: 끌기 단계 시간 한도만 2초 늘려 GR00T·π0.5(표식 있음) × 두 지형 × 1회를 다시 돌렸음. 같은 조건으로 통과 0/4.
GR00T 가까운 지형: 진입·끌기(4.4초)·닫기 완료, 버킷 66.7 kg, 제거량 0.0393 m³(교사의 2.7배). 그러나 과굴착(목표 바닥 아래 최대 5.8 cm)이고 올리기를 시간 안에 끝내지 못했음.
GR00T 먼 지형: 진입·끌기 완료 뒤 닫기에서 끝남. 최종 지형이 저장되지 않아 확인 불가.
π0.5: 한도를 늘려도 흙을 담지 못했음(가까운 지형은 다섯 단계를 지났으나 버킷 0 kg, 먼 지형은 제거량 미달).
해석: 끌기 시간 한도는 주된 걸림돌이 아니었음(GR00T는 끌기를 원래 한도 안인 4.4초에 끝냄). 4회라 확정은 아님.
결론: 진입 실패는 교사 수정으로 해소(조기 끌기 22/32 → 1/12, 진입 깊이 12/12), 관로 성공 기준은 미충족(통과 4/12, 구성 성공 0).
남은 과제: GR00T의 굴착 깊이 제어(과굴착), π0.5의 흙 담기, 올리기 완료.
① 접근 끝② 진입③ 끌기④ 올리기
그림 6-5. 네 번째 학습 통과 장면의 흐름 — 접근 끝 → 진입 → 끌기 → 올리기(GR00T, 지도 표식 없음, 붐 카메라. 다섯 동작 완료, 흙 제거 0.020 m³, 버킷 안 흙 29.5 kg)
세 번째 학습 · 진입 끝
세 번째 학습 · 가장 깊은 시점
네 번째 학습 · 진입 끝(깊이 3.8 cm)
네 번째 학습 · 가장 깊은 시점(8.8 cm)
정식 평가 영상의 단면 화면. 갈색 = 흙, 노란 선 = 시작 지형, 흰 점선 = 실행 뒤 지형, 빨간 선 = 버킷 날 끝이 지나간 길, 초록 선 = 진입 지점, 오른쪽 칸 = 진입 지점 확대(세로 눈금 cm).
그림 6-6. 단면으로 본 진입과 굴착 깊이 — 위 두 장: 세 번째 학습 통과 실행, 아래 두 장: 네 번째 학습 통과 실행(GR00T). 각 실행의 진입이 끝난 시점과 가장 깊이 판 시점
그림 6-7. 세 번째 대 네 번째 학습의 진입 지표 — 교사 수정 뒤 진입 실패 경로 해소(교사·자료·모델 수가 달라 같은 조건의 비교는 아님)
그림 6-8. 세 번째·네 번째 학습의 실행별 결과
비VLA 기준선 재학습 — 장면 끝 채움으로 관입 확인 [사후 참고]
목적: ACT 관입 실패의 두 가설을 가름. 가설 1(주원인 후보): 흙 접촉 구간의 관입 학습 입력이 없어서 사진 주도 정책이 끌기 시작 명령을 냈음. 가설 2(부차 원인 후보): 실행 칸 차이(첫 칸 대 둘째 칸)가 관입 깊이를 바꿨음.
방법: 학습 창에 장면 끝 채움(공식 ACT의 채움 표시)을 허용해 관입 마지막 7프레임을 입력에 넣고 나머지 설정은 그대로 두어 다시 학습했음. 다만 학습 길이가 다름: 원 모델은 시간 상한으로 35,000회에서 멈췄고, 재학습은 100,000회까지 가서 검증 오차가 가장 작은 70,000회 저장본을 골랐음. 같은 길이 비교를 위해 35,000회 재학습본도 함께 확인했음(오프라인). 오프라인으로 전환 순간 명령을 먼저 확인한 뒤 시뮬레이터 4 run을 돌렸음: 재학습 ACT × 동작별 관입 두 위치(처음 일정) → 가설 1, 기존 ACT × 동작별 관입 두 위치(둘째 칸부터) → 가설 2. 판정은 공식 동작별 규칙 그대로, 실행 전에 고정했음.
모든 결과는 사후 참고이며 공식 수치(6.4절)를 바꾸지 않음. VLA와 다른 학습 자료 규칙이 되므로 공식 비교와 분리해 기록함.
표 6-15. 재학습 확인 시험 결과
시험
결과
재학습 ACT 오프라인(전환 순간 명령)
흙 접촉 순간 사진에서 끌기 전환 없이 붐을 천천히 계속 내림: 70,000회 선택본 −0.018 ~ −0.047, 같은 길이 35,000회 재학습본 −0.016 ~ −0.035. 기존 ACT(35,000회)는 같은 사진에서 +0.18 ~ +0.21(끌기 시작)
재학습 ACT(70,000회 선택본) 동작별 관입(학습·검증 위치)
두 위치 모두 성공(깊이 0.040 m, 0.044 m), 전환 없음 → 자료 빈칸 가설(가설 1) 지지. 같은 35,000회 비교는 오프라인으로만 확인했고, 실제 운전은 학습량이 많은 70,000회 선택본의 결과임
기존 ACT 동작별 관입, 둘째 칸부터(학습·검증 위치)
두 위치 모두 성공(깊이 0.033 m, 0.029 m). 전환은 그대로 일어남 → 가설 2는 결과를 바꾸는 부차 요인
6.6 종합 — 우열보다 적용 조건과 한계
가장 먼저 막힌 것은 입출력(G2)이었고, 학습으로 넘었음. 로봇팔용 체크포인트는 학습 없이 굴착기를 움직이지 못했음. 공개 가중치·학습 코드로 굴착기 시연을 학습하자 두 모델 모두 운전했음. 단 유압을 뺀 조건임.
굴착에서 결정적이었던 하나는 통합 시간 계약(G3-A)이었음. 이것은 모델이 아니라 우리 연결 방식의 성질이며, 두 모델을 가르지 않았음. 학습 자료의 시점 정의와 실행 일정을 문서로 맞추는 일이 모델 선택만큼 중요함.
모델 쪽 시간 문제(G3-B)는 π0.5 연속 굴착의 멈춤 누적에서 드러났음. 두 모델 모두 굴착은 시뮬레이터 정지 조건이라, 시간을 멈출 수 없는 현장 조건의 굴착은 아직 보이지 못했음.
작업 성능(P1)은 1·2단계에서 확인했고, 3단계는 두 모델 모두 검증 위치에서 완주했음(공식 실행 각 1회, π0.5는 화면 기준 판정 불가. 반복은 GR00T 3회 중 2회, π0.5 3회 중 1회). 일반화(P2)는 "방향은 맞고 크기는 부족"이 두 VLA의 공통 양상임.
같은 자료로 학습한 비VLA 기준선(ACT)이 비슷한 수준으로 운전했음. 이번 결과만으로는 범용 사전학습의 이득을 보였다고 말할 수 없음. 반대로 VLA가 불필요하다는 근거도 아님(시행 1회, 단일 시뮬레이터, 특권 정보를 쓰는 교사, 언어 이해를 요구하지 않는 과제).
순위를 매기지 않음. 조건당 1회이고, 4/8 대 6/8처럼 구간이 크게 겹침. 관문은 "이 장비에 VLA를 붙이는 경로가 열려 있나"를 보여 주지만 "어느 VLA가 더 적합한가"는 거의 말하지 못했음.
안전(G4)은 판정하지 않았음.
표 6-16. 적용 조건과 한계 요약
구분
확인된 것(조건 포함)
아직 확인하지 못한 것
적응
공개 가중치·학습 코드로 굴착기 4관절 속도 명령 학습(두 모델)
이용 조건의 상업 해석, 사전학습 데이터 전체
입출력
카메라 2대 + 관절 상태 → 4관절 속도(유압 제외)
유압·불감대 포함 운전, 밸브·조이스틱 명령 계층
시간
연결 시간 계약 보정 후 끌기 성공, 버킷 이동 정지 없이 운전
굴착의 정지 없는 운전, 탑재 장비 지연
작업
버킷 이동, 굴착 네 동작 연속(바깥 전환), 스스로 전환 검증 위치 완주(두 모델, 반복은 불안정)
전체 작업 사이클. 관로 굴착 성공 기준은 미충족(네 번째 학습까지), 지도 기반 공략점 선택·굴착 깊이 제어·흙 담기·올리기 완료는 미확인
일반화
보간 위치에서 방향 유지
외삽, 토양·조명·분진·센서 저하, 실차
안전
바깥 제한 아래 운전
위험 사건 정의와 정량 평가
비교를 위해 3장의 사례 평가 항목 표에 이 연구를 같은 방식으로 적으면 다음과 같음(작성자 자기 평가).
시험 조건·판정 규칙 명시
개방성·적응 경로
입출력·장비 연결
시간·실행 방식
안전·실패 양상
작업 성공
일반화
데이터
자원·비용
본 연구(APEX 시뮬레이터)
○
○
○
○
✕(미판정)
○
△
○
○
차별점은 여러 항목을 한 사례에서 함께 다뤘고, 판정 규칙 사전 고정과 시간 어긋남(약 0.13 s)을 수치로 진단했다는 점임. 약점은 안전, 일반화 요인, 그리고 실물이 아니라는 점임.
7. 향후 연구
과제
내용
이유
실차·유압 포함 시험
유압 포함 조건(불감대 보상 계층 포함)에서 학습 정책 운전 → 실차 녹화 자료 오프라인 평가 → 명령을 보내지 않는 섀도 모드
G2 '조건부' 꼬리표를 떼는 조건. 반증 조건 ③ 확인
합격선 설정과 전문가 검토
관문 판정 규칙(안)을 지문으로 고정해 이후 시험에 사전 규칙으로 적용. 내부 전문가(신뢰성연구센터 등) 검토 — 관문 귀속, 안전 표현, 반증 조건으로 질문을 좁힘. 판정 가능 비율 하한·최소 시행 수 결정
사례에서 나온 기준의 외부 검증
시행 수 확대·반복 시험
조건당 시행 수와 반복 수를 사전에 정해 늘림. 외삽 위치, 토양·조명·센서 저하 요인. 지시문 바꿔 넣기 시험, 끌기 대안 원인 배제 시험
우열 판정 가능성, 언어 역할과 시간 계약 해석 확정
현장 시간 조건
시뮬레이터 정지 없는 굴착(탑재 하드웨어 또는 GPU 분리), 비동기 실행·계층 구조 시험
G3-B 현장 조건
안전 평가 장면 정의
위험 사건 목록(작업 영역 이탈, 관절 한계 접근, 예상 밖 선회 등)과 그 사건을 만드는 시험 장면 정의, 실패 양상 분류
정의 없이는 측정 없이 충족처럼 보임
흙 부하 구간 검증
시간 배율, 흙 입자 수, 장비 분리로 무거운 흙 구간을 판정 가능하게
판정 가능 비율
외부 사례 역적용
HarvestFlex, ExT, NaVILA를 이 기준표에 책상 위에서 적용
기준이 다른 사례의 핵심 결과를 담는지 확인
관로 굴착 깊이·흙 담기
GR00T가 목표 바닥 아래로 파지 않도록 하는 깊이 제어와 과굴착 원인 분석, π0.5의 끌기 중 흙 담기, 무거운 흙의 올리기 완료, 교사·평가의 진입 종료 정의 정렬
네 번째 학습에서 진입은 해소됐으나 GR00T는 과굴착, π0.5는 흙 제거량 미달. 끌기 한도를 늘린 보충 평가도 통과 0/4
2027 전략사업 연계
관로·공략점 결과를 반영해 "지형을 보고 다음 굴착 위치를 정하는 상위 판단 + 동작 제어" 구성, 모델 선정 근거와 실차 단계 계획에 이 기준과 결과를 씀
계획서의 2027 전략연구사업 기획 근거
부록 C. 용어
용어
뜻
VLA
Vision-Language-Action. 영상·언어 입력에서 로봇 행동을 출력하는 모델
파운데이션 모델
큰 자료로 미리 학습해 여러 과제에 미세조정해 쓰는 모델
파인튜닝(미세조정)
미리 학습된 모델을 새 장비·과제의 자료로 추가 학습하는 것
LoRA
큰 층의 가중치는 고정하고 작은 덧셈 행렬만 학습하는 방식. 메모리를 줄임
ACT
Action Chunking with Transformers. 행동 묶음을 출력하는 모방학습 정책. 이 보고서의 비VLA 기준선
교사
표적·목표 자세를 아는 규칙 제어기. 학습 자료를 만든 운전자이며 VLA가 아님
행동 묶음
한 번의 추론으로 출력하는 여러 시점의 명령. 이번에는 8칸
시뮬레이터 정지(동기식)
모델이 계산하는 동안 시뮬레이터 시간을 멈추는 평가 방식. 현장에는 없는 장치
통합 시간 계약
학습 자료의 관측→명령 시점 정의와 실행 프로그램의 요청→적용 일정이 서로 맞는지에 대한 약속
관입·끌기·닫기·올리기
굴착 한 번의 네 동작. 날을 흙에 넣기, 흙 속에서 끌어오기, 버킷 말아 담기, 들어 올리기
판정 제외(검증 불가)
시뮬레이터 화면 기준을 못 넘어 판정할 수 없는 구간. 실패로 세지 않음
관문 / 비교 축
먼저 넘어야 하는 조건(범주 판정) / 얼마나 잘하는지 재는 수치(합격선 없음)
진단 도구
실패 원인을 찾는 데만 쓰는 측정. 판정에 쓰지 않음
공략점
버킷이 처음 땅에 들어가는 점
보간 / 외삽
학습 위치 사이 / 학습 범위 밖
Wilson 구간
적은 시행에서도 쓸 수 있는 이항 비율의 신뢰구간
유압 제외
유압 모델을 끄고 관절에 속도를 직접 주는 시뮬레이터 설정
참고문헌
본문에서 인용한 것만 적는다. 표준(33–37)은 범위 문구 수준만 확인했다.
K. Black et al. (Physical Intelligence), "π0.5: a Vision-Language-Action Model with Open-World Generalization," arXiv:2504.16054, 2025.
NVIDIA, "GR00T N1: An Open Foundation Model for Generalist Humanoid Robots," arXiv:2503.14734v2, 2025.
Y. Zhai et al., "ExT: Towards Scalable Autonomous Excavation via Large-Scale Multi-Task Pretraining and Fine-Tuning," arXiv:2509.14992, 2025.
L. Chen et al., "ExACT: An End-to-End Autonomous Excavator System Using Action Chunking With Transformers," arXiv:2405.05861, 2024.
S. Zhao et al., "Vision Guided Target Conditioned Control for Autonomous Excavation," arXiv:2608.21778, 2026.
H. Kress-Gazit et al., "Robot Learning as an Empirical Science: Best Practices for Policy Evaluation," arXiv:2409.09491, 2024.
X. Li et al., "Evaluating Real-World Robot Manipulation Policies in Simulation" (SIMPLER), CoRL 2024, arXiv:2405.05941.
P. Atreya et al., "RoboArena: Distributed Real-World Evaluation of Generalist Robot Policies," CoRL 2025, arXiv:2506.18123.
X. Zhou et al., "LIBERO-PRO: Towards Robust and Fair Evaluation of VLA Models Beyond Memorization," arXiv:2510.03827, 2025.
K. Black, M. Galliker, S. Levine, "Real-Time Execution of Action Chunking Flow Policies," NeurIPS 2025, arXiv:2506.07339.
J. Tang et al., "VLASH: Real-Time VLAs via Future-State-Aware Asynchronous Inference," arXiv:2512.01031, 2025.
Z. Yang et al., "EagleVLA: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference," arXiv:2607.12659, 2026.
M. Hochedel, M. Lalonde, "Vision-Language-Action Models: Experimental Insights from a Real-World UR5 Platform," arXiv:2606.30456, 2026.
A.-C. Cheng et al., "NaVILA: Legged Robot Vision-Language-Action Model for Navigation," Robotics: Science and Systems (RSS) 2025, arXiv:2412.04453.
Z. Zhao, S. Wang, Z. Miao, Y. Xiong, "HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild," arXiv:2603.05982v1, 2026.
T. S. Nguyen et al., "RoboColosseum: Evaluating Physical Intelligence at Scale In-The-Wild," arXiv:2611.02497v1, 2026.
Y. Yu, X. Qiu, "Benchmarking Vision-Language-Action Models on SO-101: Failure and Recovery Analysis," arXiv:2606.08881v2, 2026.
Y. Zhang, Y. Qi, X. Zheng, "Experiences from Benchmarking Vision–Language–Action Models for Robotic Manipulation," arXiv:2511.11298v1, 2025.
P. Montagut Bofi et al., "Per-Group Error, Not Total MSE: Fine-Tuning VLA Models for 11-DoF Mobile Manipulation," arXiv:2606.00253v1, ICRA 2026 워크숍.
T. Jülg et al., "Robot Control Stack: A Lean Ecosystem for Robot Learning at Scale," arXiv:2509.14932v2, ICRA 2026.
A. Kim, "ROBOGATE: Adaptive Failure Discovery for Safe Robot Policy Deployment via Two-Stage Boundary-Focused Sampling," arXiv:2603.22126v4, 2026.
G. K. Erabati et al., "sensVLA: Spatially-Grounded Vision-Language-Action Model for Autonomous Wheel Loader," arXiv:2609.17021, ICRA 2026 워크숍, 2026 (초록만 확인).
L. Zhang et al., "An autonomous excavator system for material loading tasks," Science Robotics, 2021, DOI 10.1126/scirobotics.abc3164 (보도자료 기준 확인, 논문 본문 미대조).
Z. Zou et al., "High-Precision and High-Efficiency Trajectory Tracking for Excavators Based on Closed-Loop Dynamics," arXiv:2509.17387, 2025.
F. Lin et al., "Data Scaling Laws in Imitation Learning for Robotic Manipulation," arXiv:2410.18647.
A. Maddukuri et al., "Sim-and-Real Co-Training: A Simple Recipe for Vision-Based Robotic Manipulation," arXiv:2503.24361.
ISO 17757:2019, Earth-moving machinery and mining — Autonomous and semi-autonomous machine system safety.
ISO/IEC TR 5469:2024, Artificial intelligence — Functional safety and AI systems (정보 제공 문서).
ISO 19014 (Part 2), Earth-moving machinery — Functional safety.
ISO 34503:2023, Road vehicles — Test scenarios for automated driving systems — Specification for operational design domain (유추로만 인용).
UL 4600, Standard for Safety for the Evaluation of Autonomous Products (2023판, 2차 자료로 확인).
Q. Li et al., "Vision-Language-Action Safety: Threats, Challenges, Evaluations, and Mechanisms," arXiv:2604.23775, 2026.
M. White et al., "The Model Openness Framework," arXiv:2403.13784, 2024.
NIST, Standard Test Methods for Response Robots (ASTM E54.09) 소개 문서, 2021.
K. Zhou et al., "Characterizing Vision-Language-Action Models across XPUs," arXiv:2604.24447, 2026.
A. Lavin et al., "Technology readiness levels for machine learning systems," Nature Communications 13:6039, 2022.
D. Jud, G. Hottiger, P. Leemann, M. Hutter, "Planning and Control for Autonomous Excavation," IEEE Robotics and Automation Letters 2(4):2151–2158, 2017.
D. Jud, P. Leemann, S. Kerscher, M. Hutter, "Autonomous Free-Form Trenching Using a Walking Excavator," IEEE Robotics and Automation Letters 4(4), 2019 (첫 쪽 확인).
Physical Intelligence, "π*0.6: a VLA That Learns From Experience," arXiv:2511.14759, 2025 (초록 확인).
Actor Labs, "A VLA Policy for an Excavator"(2026-03-07), "Excavator in the Wild"(2026-05-25), https://labs.actor/research/ 및 2차 기사. 기업 자체 주장, 정량 지표 없음.
K. Black et al. (Physical Intelligence), "π0: A Vision-Language-Action Flow Model for General Robot Control," RSS 2025, arXiv:2410.24164, 2024.
Open X-Embodiment Collaboration, "Open X-Embodiment: Robotic Learning Datasets and RT-X Models," arXiv:2310.08864, 2023.
Octo Model Team, "Octo: An Open-Source Generalist Robot Policy," arXiv:2405.12213, 2024.
M. J. Kim et al., "OpenVLA: An Open-Source Vision-Language-Action Model," arXiv:2406.09246, 2024.
R. Doshi et al., "Scaling Cross-Embodied Learning: One Policy for Manipulation, Navigation, Locomotion and Aviation" (CrossFormer), arXiv:2408.11812, 2024.
L. Wang et al., "Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers" (HPT), NeurIPS 2024, arXiv:2409.20537.
D. Qu et al., "SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model," RSS 2025, arXiv:2501.15830.
NVIDIA GEAR, GR00T N1.6 연구 페이지, https://research.nvidia.com/labs/gear/gr00t-n1_6 (검색 결과 수준 확인).
Dream Machines, π0.5 파인튜닝 실험 기록, https://dream-machines.eu/blog/pi05-fine-tuning, 2026 (기업 블로그).
F. Ferchau, D. Pommer, C. Axenie, "On the Efficiency of LoRA Fine-Tuning for Vision-Language-Action Models in Industrial Robotic Manipulation," ICANN 2026, arXiv:2607.10172, 2026 (UR5e π0 미세조정 비교, 표 2 확인).
NVIDIA, Cosmos-Reason2-2B 모델 메타데이터(접근 승인, NVIDIA Open Model License), https://huggingface.co/nvidia/Cosmos-Reason2-2B (2026-10-22 확인).
C. Li et al., "PointVLA: Injecting the 3D World into Vision-Language-Action Models," arXiv:2503.07511, 2025 (앞부분 본문 확인).
H. Zhen et al., "3D-VLA: A 3D Vision-Language-Action Generative World Model," ICML 2024, arXiv:2403.09631 (앞부분 본문 확인).