Abstract: This study examines the application of two public vision-language-action (VLA) foundation models, GR00T N1.7 and π0.5, to an excavator simulator with hydraulic dynamics excluded. The models were fine-tuned on demonstrations from a rule-based controller and evaluated in closed loop on bucket reaching and excavation using prespecified criteria. Both models met the reaching criteria in six development runs; at new interpolated locations, GR00T N1.7 and π0.5 met them in four and six of eight runs. Changing the starting step of the action chunk resolved dragging failures at two locations without retraining. With externally switched instructions, both models met the motion criteria of consecutive four-phase excavation, but overall success remained unverified because soil-loaded phases did not meet the simulation validity criteria. Single-instruction runs showed autonomous phase transitions without establishing overall success. In a trench task with terrain-map input, map-based selection of the digging position was not observed; a longer demonstrated entry dwell cut premature dragging from 22/32 to 1/12 runs, but only 4/12 passed. No consistent advantage over an action-chunking imitation-learning baseline was observed. The cases identify action-interface, demonstration-design and command-timing issues. Small trial counts, reused development conditions, paused simulation and omitted hydraulics limit conclusions about generalization and real-machine deployment.
* Corresponding author: 〔교신저자 미정〕
1〔소속(영문) 미정〕
Copyright Ⓒ 2026, KSFC
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
1. 서 론
굴착기는 건설 현장의 대표적인 토공 장비이며, 작업 안전과 생산성 향상을 위하여 굴착 작업의 자동화 연구가 지속되어 왔다. 굴착 자동화 연구는 지형 지도에 기반한 굴착 계획과 버킷 궤적 제어를 결합한 방식1,2)에서 출발하여, 최근에는 시연 데이터나 강화학습으로 굴착 정책을 직접 학습하는 방식3-5)으로 확장되고 있다. 국내에서도 강화학습을 이용한 굴삭기 작업 경로 계획6)과 자율작업 굴착기 개발을 위한 디지털 트윈 환경7)이 보고되었다. 이들 연구는 대상 장비와 작업에 맞추어 설계한 전용 제어기 또는 전용 정책을 사용한다.
한편 로봇 분야에서는 시각-언어 모델을 로봇 행동 생성으로 확장한 시각-언어-행동(Vision-Language-Action, VLA) 모델8)이 제안된 이후, 여러 기종의 대규모 데이터로 사전학습하고 가중치를 공개한 VLA 파운데이션 모델이 등장하였다9-12). VLA 모델은 카메라 영상과 언어 지시를 입력으로 받아 로봇의 행동을 직접 출력하며, π0.5와 GR00T 계열은 가중치와 파인튜닝(fine-tuning) 코드, 새로운 기체를 등록하는 절차가 공개되어 있어13,14) 사전학습에 포함되지 않은 장비에도 적용을 시도할 수 있다.
그러나 공개된 VLA 모델의 검증은 탁상 조작 로봇과 휴머노이드에 집중되어 있다. 실험실 밖의 과제에 적용한 사례로 온실 수확 로봇15)이, 로봇팔과 다른 이동 기구를 대상으로 한 사례로 사족 보행 로봇16)이 보고되었다. 굴착기에 대해서는 본 연구에서 확인한 범위에서 기업의 자체 공개 자료17)가 있으나 성공률과 같은 정량 지표는 제시되어 있지 않다. 굴착기는 유압 구동계의 불감대와 응답 지연18), 토양과 버킷의 접촉, 버킷에 의한 굴착 지점의 가림과 같이 VLA 모델이 검증된 환경과 다른 특성을 가지므로, 범용 VLA 모델을 굴착기에 적용할 때 무엇을 정합시켜야 하고 어느 단계에서 어려움이 발생하는지를 실험으로 확인할 필요가 있다. 본 연구는 그 첫 단계로서 실제 장비가 아닌 굴착기 시뮬레이터를 대상으로 하며, 유압 구동계를 제외하고 관절 속도를 직접 명령하는 조건에서 입출력 정의, 시연 데이터, 명령 시점의 문제를 먼저 다룬다.
본 연구에서는 공개 VLA 모델인 GR00T N1.7과 π0.5를 굴착기 시뮬레이터(APEX HR35)에 적용하고 폐루프(closed-loop) 실험으로 평가하였다. 본 연구의 수행 내용은 다음과 같다. (1) 관측·행동 정의, 시연 데이터 구축, 파인튜닝, 폐루프 실행으로 이어지는 적용 절차를 구성하고, 사전에 고정한 성공 기준으로 버킷 이동, 단계별 굴착, 연속 굴착을 단계적으로 평가하였다. (2) 각 단계에서 나타난 실패의 원인을 입출력 정의, 시연 데이터, 명령 시점, 추론 지연, 시뮬레이션 환경으로 구분하여 분석하고 대처 결과를 제시하였다. (3) 동일한 데이터와 입출력으로 학습한 모방학습 정책(ACT)을 기준선으로 함께 평가하여 VLA 모델의 결과를 해석할 기준을 마련하였다. 본 연구는 유압 구동계를 제외한 시뮬레이터에서 수행한 적용 사례 연구로서 두 공개 모델을 같은 환경에 적용하면서 관찰한 연결 조건, 보완 과정과 실패 양상을 제시하며, 실제 장비의 자율 굴착이나 정책 간 성능 우위를 검증한 연구는 아니다.
2. 관련 연구
2.1 굴착 자동화
Jud 등1)은 지형 높이 지도에서 굴착 시작점(point of attack)을 선정하고 버킷 궤적을 힘·위치 제어로 추종하는 굴착 계획·제어 방법을 제안하였으며, 이를 보행형 굴착기의 자유 형상 관로 굴착으로 확장하였다2). 학습 기반 연구로 Zhai 등3)은 병렬 시뮬레이션에서 생성한 다수의 전문가 시연으로 굴착 정책을 사전학습한 뒤 미세조정하여 실기에서 과제 전용 제어기에 근접한 성능을 보고하였다. Chen 등4)은 LiDAR·카메라·관절 상태로부터 밸브 명령을 출력하는 굴착 정책을, Zhao 등5)은 표적 조건부 굴착 정책을 행동 청크 트랜스포머(Action Chunking with Transformers, ACT)19)로 모방학습하였다. 이들 정책은 굴착 작업 전용으로 학습되며, 언어 지시를 받는 범용 사전학습 모델을 사용하지 않는다. 본 연구는 범용 공개 모델 두 종에 같은 적용 절차를 적용하되 밸브 구동계를 포함하지 않는 조건을 다룬다.
2.2 VLA 파운데이션 모델과 타 장비 적용 사례
Open X-Embodiment9)는 다기종 로봇 데이터의 공동학습이 가능함을 보였고, π0.510)와 GR00T N111)은 시각-언어 모델에 연속 행동 생성 모듈을 결합하여 다양한 조작 작업을 수행하였다. 두 모델은 길이가 정해진 행동 청크(action chunk)를 출력한다. 비동기 실행에서 추론 지연이 청크 실행 시점과 어긋나는 문제를 다룬 연구20)가 있으나, 이는 추론 중에 환경이 변하여 생기는 문제로 4.3절에서 다루는 시점 정의의 불일치와는 원인이 다르다.
실험실 밖의 과제나 다른 기구에 VLA 모델을 적용하고 정량 결과를 제시한 사례는 많지 않다. Zhao 등15)은 온실 딸기 수확에 π0.5 등을 파인튜닝하여 성공률 74 %를 얻었으나 기존 모듈형 시스템(89 %)에는 미치지 못하였고, Cheng 등16)은 VLA 모델이 이동 명령을 내고 하위 정책이 실시간 제어를 담당하는 계층 구조를 사족 보행 로봇에 적용하였다.
VLA 모델의 평가와 관련하여 시뮬레이션 평가와 실환경 성능의 대응이 제어·시각 조건에 영향을 받으며21), 오프라인 행동 오차가 가장 작은 모델이 실제 운전에서 가장 우수하지는 않았다22). 파인튜닝한 VLA 모델의 폐루프 불안정이 모델보다 시간 정렬·좌표계·전처리와 같은 시스템 수준의 요인에서 비롯된다는 보고23)와 시행 횟수·초기 조건·성공 기준을 명시하지 않는 평가 관행에 대한 지적24)도 있다. 본 연구는 이를 반영하여 성공 기준을 사전에 정하고, 판정할 수 없는 구간을 실패와 구분하여 보고한다.
3. 적용 방법
3.1 대상 시스템
대상 장비는 소형 굴착기 HR35이며, Unity 기반 굴착기 시뮬레이터 APEX에 구현된 모델을 사용하였다. 시뮬레이터는 선회·붐·암·버킷의 4개 관절과 굴착에 따라 변형되는 지형 모델(AGX Dynamics의 deformable terrain)을 포함한다. Fig. 1은 전체 시스템 구성을 나타낸다. 정책은 운전석 카메라와 붐 카메라의 RGB 영상, 관절 위치·속도, 언어 지시문을 입력으로 받아 관절 속도 명령의 행동 청크를 출력하고, 명령 실행기가 이를 시뮬레이터에 전달한다. 모델 추론은 시뮬레이터와 동일한 GPU(RTX 5080, 16 GB)에서 수행하였다. Table 1에 적용 조건을 정리하였다.
Fig. 1 Configuration of the application system: closed-loop execution of a VLA policy on the excavator simulator and offline adaptation by fine-tuning on rule-based demonstrations
Table 1 Application conditions
Item
Condition
Simulator
APEX HR35 (Unity), 유압 모델 제외, 관절 속도 직접 명령
Observation
운전석·붐 카메라 RGB 480×640, 관절 위치·속도(8차원), 언어 지시문
Action
선회·붐·암·버킷 관절 속도 명령 u(4차원, [−1, 1]의 무차원 값), 8스텝 청크(스텝 간격 0.2 s), 크기 제한 ±0.2. 목표 관절 속도는 u에 축별 최대 속도(0.64, 0.35, 0.50, 0.80 rad/s)를 곱한 값
Selected steps: reaching / excavation / single instruction
2,013 / 2,495 / 2,740
1,342 / 2,494 / 2,739
25,000 / 35,000 / –
Selected steps: trench (LiDAR map / terrain-file map / revised demonstrations, full and half data)
1,716 / 2,965 / 3,000 and 2,000
2,571 / 2,964 / 2,999 and 1,999
–
굴착 모델의 학습 계획과 실행 기록을 대조한 값이며 다른 과제의 학습 계획도 학습률·배치·정밀도가 같다. 입력과 행동은 학습 데이터에서 각 공식 절차로 계산한 통계로 정규화하였다. VLA 모델의 영상 전처리 설정값은 기록에서 확인하지 못하였다.
3.2 관측과 행동의 정의
예비 연결에서 사용한 로봇팔 벤치마크 후학습 체크포인트는 로봇팔의 말단 자세 변화량을 행동으로 사용한다. 굴착기 학습 없이 이 행동을 굴착기 관절 명령으로 변환하여 연결하는 예비 실험(4.1절)에서는 표적에 도달하지 못하였으므로, 본 연구에서는 행동을 4개 관절의 속도 명령으로 다시 정의하고 굴착기 시연 데이터로 파인튜닝하였다. 두 모델 모두 공개 구현의 파인튜닝 절차에 따라 굴착기의 입출력을 구성하였으며, GR00T N1.7은 새로운 기체(embodiment)로 등록하였다.
APEX의 유압 모델을 사용한 초기 연결에서는 붐·암·버킷이 움직이지 않았다. 유압 모델에서 이 세 관절은 밸브 명령으로 구동되는데, 초기 연결에서 전송한 속도 명령 형식에는 밸브 명령이 포함되지 않아 밸브가 닫힌 상태로 유지된 것이 일차 원인이었다. 또한 밸브 명령 형식으로 전송하더라도 정책이 출력하는 명령의 크기(정규화 값 0.2 이하)는 붐·암 밸브의 불감대(0.340, 0.355)보다 작아 불감대 보상이 추가로 필요하다(버킷의 불감대는 0.132). 본 연구는 유압 구동계의 성능을 평가하는 것이 아니라 입출력과 명령 시점의 문제를 먼저 확인하는 데 목적을 두었으므로, 유압 모델을 제외하고 관절에 속도를 직접 명령하는 조건으로 실험하였다. 본 논문의 APEX 실험 결과는 모두 이 조건에서 얻은 것이며, 밸브 명령 경로와 불감대 보상을 포함한 유압 조건에서의 동작은 검증하지 않았다.
3.3 시연 데이터
시연 데이터는 표적 위치와 목표 자세를 알고 있는 규칙 기반 제어기(이하 시연 제어기)로 굴착기를 운전하여 수집하였다. 시연 제어기는 시뮬레이터 내부 정보를 사용하므로 학습된 정책과 달리 영상 입력에 의존하지 않는다. 수집한 기록은 LeRobot 형식25)으로 변환하였고, 한 시점의 관측과 이후 8스텝의 명령을 한 개의 학습 표본으로 구성하였다. 따라서 표본은 서로 겹치는 구간이며 표본 수가 독립적인 시연의 수를 뜻하지는 않는다. 버킷 이동 데이터는 32회의 시연에서 얻은 1,610개 표본이며, 굴착 데이터는 굴착 위치 15곳에서 얻은 1,996개 표본(관입 882, 끌기 187, 말기 332, 들기 595)이다. 끌기 단계는 다른 단계보다 지속 시간이 짧아 표본이 적으므로 학습 시 3배로 반복하여 사용하였고, 버킷 이동 데이터에서는 시연 시작 시점의 표본 29개를 3회 추가로 반복하였다. 이 가중은 세 정책에 동일하게 적용하였다.
3.4 파인튜닝과 기준선 정책
두 VLA 모델은 본 학습 설정에서 관측된 최대 메모리 사용량(GR00T N1.7 39.2 GiB, π0.5 19.18 GB, 각 학습 기록의 값)이 로컬 GPU의 용량(16 GB)을 초과하여 외부 클라우드의 H100 GPU에서 파인튜닝하였다. 저장된 체크포인트 가운데 학습에 사용하지 않은 검증 데이터에서 행동 오차가 가장 작은 것을 선택하였다. 학습 설정은 Table 2와 같다. 본 논문에서 행동 오차는 실행하는 4스텝에서 시연 명령의 크기가 0.01을 넘는 성분에 대하여 계산한 평균절대오차를 관절 축에 대하여 평균한 값(무차원)을 뜻한다. 단일 지시문으로 굴착 전 단계를 수행하는 실험(3.6절)을 위하여 단계 경계를 포함하는 표본 196개를 더한 2,192개 표본과 단일 지시문으로 두 모델을 별도로 파인튜닝하였다.
VLA 모델의 결과를 해석하기 위한 기준선으로 언어 입력이 없는 모방학습 정책인 ACT19)를 LeRobot의 공식 구현25)으로 학습하였다. ACT는 범용 VLA 사전학습을 사용하지 않으나 영상 백본에는 ImageNet 사전학습 가중치를 사용한다. ACT에는 VLA 모델과 동일한 학습 표본, 카메라 2대와 관절 상태 입력, 8스텝 행동 청크 출력, 명령 실행기와 판정 절차를 적용하였고, 언어 지시문은 과제 번호의 원-핫 벡터로 대체하였다. 따라서 이 비교는 언어 이해 능력의 비교가 아니며, 모델 구조와 학습량이 서로 다르므로 VLA 사전학습의 기여를 분리하는 비교도 아니다. ACT는 사전에 정한 학습 시간 상한에 따라 공식 기본 학습량의 35 %(35,000스텝)까지 학습하였고, 선택된 체크포인트는 버킷 이동 25,000스텝, 굴착 35,000스텝이다.
3.5 폐루프 실행
시연 데이터의 행동은 0.2 s 간격으로 구성되어 있다. 명령 실행기는 10 Hz로 명령을 발행하면서 청크의 한 스텝을 두 주기 동안 유지하며, 8스텝 청크 가운데 4스텝(0.8 s)을 실행한 뒤 새로운 관측으로 다시 추론한다. 버킷 이동 실험은 시뮬레이션을 정지하지 않고 수행하였다. 굴착 실험에서는 추론과 시뮬레이터가 GPU를 공유함에 따라 π0.5 추론 중 시뮬레이터의 프레임률이 관입 구간에서 198 fps에서 34 fps로 저하되었으므로, 추론이 수행되는 동안 시뮬레이션 시간을 정지하는 동기 실행 방식을 적용하였다. 명령 시점에 관한 4.3절의 분석은 동기 실행한 굴착에 한정하며, 시뮬레이션을 정지하지 않은 버킷 이동에 같은 시점 차이가 있었는지는 확인하지 않았다.
3.6 평가 과제와 성공 기준
평가 과제는 버킷 이동과 굴착으로 구성하였다. 버킷 이동은 버킷 끝을 시각 표적(붉은 구 또는 원뿔)까지 이동시키는 과제이다. 굴착은 한 번의 굴착을 관입(penetrate), 끌기(drag), 말기(curl), 들기(lift)의 네 단계로 나누고 단계마다 성공 기준을 두었다. Table 3에 성공 기준을 나타내었다. 각 평가는 실행 전에 고정한 기준으로 판정하였고, 기준이나 실행 설정을 개정한 경우에는 개정 이후의 실행에만 적용하였다. 실패를 분석한 뒤 선정한 실행 방식과 설정(4.3절, 4.4절)은 본문에 따로 밝혔다. 표의 시뮬레이션 유효성 기준은 관측과 제어 기록의 품질을 확보하기 위한 운영 기준이며 토양 물리 모델의 정확도를 검증하는 기준은 아니다(물리 연산은 10 ms의 고정 주기).
굴착은 Fig. 2와 같이 세 가지 방식으로 평가하였다. 단계별 평가에서는 시연 제어기가 직전 단계까지 운전한 뒤 해당 단계만 정책이 수행한다. 외부 단계 전환 연속 굴착에서는 정책이 네 단계를 이어서 수행하되, 단계 종료 신호에 따라 실행기가 지시문을 교체한다. 자율 단계 전환 연속 굴착에서는 하나의 지시문(“excavate one bucket of soil”)만 제공하며, 정책이 스스로 다음 단계로 넘어가야 한다. 이 방식의 정책은 단계별로 나누지 않고 이어 붙인 시연에 이 지시문을 부여한 데이터로 다시 파인튜닝하였다. 이 방식은 지시문을 교체하지 않을 뿐이며 언어 이해를 검증하는 실험은 아니다. 굴착 위치는 학습에 사용한 위치(선회각 0 rad)와 검증 위치(선회각 +0.12 rad)의 두 곳이다. 검증 위치는 시연에 포함된 두 위치(+0.10 rad, +0.14 rad) 사이에 있어 보간에 해당하며, 체크포인트 선택에도 이 위치의 데이터를 사용하였다. 체크포인트 선택에 관여하지 않은 별도의 시험 위치에서는 굴착을 평가하지 않았다.
Table 3 Success criteria fixed before the experiments
Task
Criterion
Reaching
약 12 s의 정책 구간에서 버킷 끝이 표적 0.5 m 이내에 1 s 이상 연속 체류, 종료 후 정지, 0.3 s를 넘는 기록 공백과 명령 거부 없음
Penetrate
날 끝 관입 깊이 0.02 m 이상(0.15 m 이하). 실행 중 단계 종료 신호는 추정 깊이 0.02 m 이상이 0.3 s 유지될 때 발생
Drag
수평 이동 0.25 m 이상, 날이 토양 내에 있는 시간 비율 0.80 이상, 종료 시 토양 1.0 kg 이상
Curl
버킷 각도 −130° 이하, 토양 0.5 kg 이상이며 최대 적재량의 70 % 이상
Lift
날 끝이 지표면 위 1.2 m 이상, 토양의 80 % 이상 유지
Simulation validity (common)
정책 구간 프레임률 중앙값 90 fps 이상, 99 백분위 프레임 시간 60 ms 이하, 영상 공백 0.3 s 이하
토양을 많이 적재한 말기·들기 단계에서는 토양 물리 연산의 부하로 시뮬레이터의 프레임률이 저하되어, 시연 제어기로 운전한 경우에도 말기 구간 23회 중 15회가 시뮬레이션 유효성 기준을 충족하지 못하였다. 이러한 구간은 정책의 성패를 판정할 수 없으므로, 굴착 결과는 다음과 같이 구분하여 보고한다. 단계의 동작 기준을 충족한 경우를 ‘단계 기준 통과’, 단계 기준과 시뮬레이션 유효성 기준을 모두 충족한 경우를 ‘성공’, 단계 기준은 통과하였으나 유효성 기준을 충족하지 못한 경우를 ‘판정 보류’, 실행 환경의 문제로 판정할 수 없는 경우를 ‘실행 장애’로 분류하며, 네 단계가 모두 성공인 경우만을 ‘전체 성공’이라 한다. 한편 끌기 단계의 토양 내 시간 비율 기준(0.80)은 시연 제어기의 운전에서도 15회 중 7회가 미달하는 값(범위 0.725–0.882, 중앙값 0.80)으로, 시연 제어기의 중앙값 수준에 해당한다.
Fig. 2 Three evaluation modes of excavation and the phase criteria
3.7 지형 지도 기반 굴착 위치 선정
3.6절의 굴착 과제에서는 굴착 위치가 외부에서 주어진다. 정책이 지형 지도를 보고 굴착 위치를 스스로 선정하는지 확인하기 위하여 관로 굴착 과제를 구성하였다. 굴착기 정면(선회각 0 rad 고정) 3.3–4.7 m 구간에 폭 0.5 m, 목표 깊이 0.10 m의 관로를 굴착하며, 시연 제어기는 Jud 등1)의 규칙에 따라 굴착 시작점을 선정한다. 관로를 0.1 m 격자로 나누고 후보 집합과 선정 격자를 다음과 같이 정한다.
C = {(i, j) : Zact,ij − Zdes,ij > θ+}(1)
(i*, j*) = argmax(i,j)∈C (Zact,ij + μdij)(2)
여기서 Zact와 Zdes는 현재 지형과 목표 지형의 높이, θ+는 잔여 두께의 문턱값(0.03 m), d는 격자와 굴착기 사이의 거리, μ는 거리 가중치(0.75)이다. 후보 집합은 관로 영역의 격자로 한정하며, 후보가 없으면 굴착을 종료한다(이 종료 판단은 본 실험에서 평가하지 않았다). 버킷의 접촉 목표는 선정 격자에서 작업 방향으로 0.10 m 떨어진 지점으로 하고 도달 범위(4.05–4.80 m)로 제한하였으며, 한 사이클의 시간 예산(114.1 s)을 넘는 경우에는 접촉 목표를 0.05 m씩 안쪽으로 옮겼다. 정책은 시작점 좌표를 출력하지 않으며, 두 카메라 영상과 지도 영상, 관절 상태, 고정 지시문(“dig the trench down to the marked depth”)을 입력으로 받아 접근부터 들기까지의 관절 속도 명령을 출력한다. 굴착 시작점 오차는 관입 단계 종료 시 날 끝의 전방 위치와 접촉 목표의 차이로 사후에 계산하였고, 허용값은 0.15 m로 가정하였다.
지도 입력과 시연은 세 조건으로 실험하였다. 초기 조건에서는 LiDAR로 생성한 높이 지도(전방 1.2–6.8 m, 좌우 ±2.8 m, 격자 0.1 m, 56×56 격자)를, 후속 조건에서는 실행 시작 시의 시뮬레이터 지형 파일로부터 생성한 확대 지도(전방 3.0–5.0 m, 좌우 ±0.6 m, 격자 0.05 m, 40×24 격자)를 사용하였다. 확대 지도는 센서로 관측한 것이 아니므로 LiDAR의 관측 오차와 가림을 포함한 평가에 해당하지 않는다. 지도 영상의 세 채널에는 높이(표현 범위 ±0.30 m), 관로 영역에서 목표면 위에 남은 두께, 관측 여부를 각각 부호화하였다. 초기 조건에서는 30회의 시연 실행(29회 정상 완료)을, 후속 조건에서는 굴착 시작점이 다른 16회의 실행을 추가로 수집하였으며, 변환된 학습 자료는 각각 29개 에피소드·2,057개 표본과 46개 에피소드·3,953개 표본이다(에피소드는 원 실행에서 채택된 연속 구간으로 독립적인 시연 횟수와 같지 않다). 두 조건의 평가는 접촉 목표가 4.25 m와 4.65 m인 두 검증 지형에서 수행하였다.
세 번째 조건에서는 앞의 두 조건의 결과(4.5절)에 따라 시연 제어기와 학습 자료를 다시 구성하였다. 토양이 남아 있는 위치만 관입 위치로 인정하고 관입 높이를 보정하여 시연 제어기가 매 실행에서 토양에 관입하도록 하였고, 같은 장면에서 관입 위치만 다른 실행 쌍으로 60회(학습 56회, 검증 4회; 관입 위치 4.05–4.70 m의 13개 값)를 수집하였다. 지도는 확대 지도를 사용하되 규칙으로 계산한 관입 위치를 지도에 표시한 구성과 표시하지 않은 구성을 두었고, 학습 자료 전체(55회 실행, 7,531개 표본)와 먼저 수집한 절반(27회 실행, 3,748개 표본)으로 두 모델을 각각 파인튜닝하여 8개의 정책을 얻었다. 평가는 한 검증 장면에서 관입 위치만 0.40 m 다른 두 지형(4.15 m, 4.55 m)에서 정책당 4회씩 총 32회 수행하였다. 실행의 통과 조건은 수집 전에 정하였으며, 시작점 오차 0.15 m 이내, 관입 깊이 0.02 m 이상, 토양 제거량이 같은 지형에서 시연 제어기가 제거한 양의 50 % 이상, 과굴착과 안전 정지 없음을 모두 충족하는 것이다.
네 번째 조건에서는 세 번째 조건의 실패 분석(4.5절)에 따라, 시연 제어기가 관입 목표 자세에 도달한 뒤 2.0 s(종전 0.5 s) 동안 유지하고 끌기로 전환하도록 수정하였다. 시연 32회(학습 28회, 검증 4회)를 다시 수집하여(학습 표본 3,543개) 2,000회의 갱신으로 파인튜닝하였고, 세 정책(GR00T N1.7의 표시 구성과 비표시 구성, π0.5의 표시 구성)을 같은 통과 조건으로 새로운 검증 장면의 두 지형(4.15 m, 4.55 m)에서 2회씩 총 12회 평가하였다. π0.5의 비표시 구성은 학습 결과를 회수하지 못하여 평가하지 못하였다.
4. 실험 결과 및 고찰
4.1 굴착기 학습 없는 연결
로봇팔 벤치마크로 후학습된 두 모델의 공개 체크포인트를 굴착기 학습 없이 MuJoCo 기반의 간이 굴착기 모델에 연결한 예비 실험에서는, 총 72회의 실행(표적 가시 조건 54회, 표적을 숨긴 대조 조건 18회)에서 버킷 끝이 표적 0.5 m 이내에 도달한 경우가 없었다. 말단 자세 변화량을 관절 명령으로 변환하는 과정에서 관절 한계에 의한 명령 거부와 이동량 부족이 발생하였다. 72회는 여러 연결 설정을 합한 실행 횟수이며 동일 조건의 반복 횟수가 아니다. 이 결과는 본 조건에서 학습 없는 연결이 동작하지 않았음을 보일 뿐 실패 원인을 분리하지는 못하며, 이후의 APEX 실험은 시뮬레이터, 행동 정의, 판정 기준이 모두 다르므로 이를 파인튜닝 전후의 성능 비교로 해석하지 않는다.
4.2 버킷 이동
Table 4은 파인튜닝한 정책의 버킷 이동 결과이다. 학습에 사용하지 않았으나 체크포인트 선택과 실패 분석에 사용한 검증 장면(3개 장면, 표적 2종)에서는 세 정책 모두 6회 중 6회 기준을 충족하였다. 이 결과는 보완 과정의 재확인이며 독립 시험에서의 일반화 성능을 뜻하지 않는다. 시험 장면은 초기 거리가 0.24–0.56 m로 정책 간 차이를 구분하기 어려웠다. 학습 위치 사이에 놓인 새로운 위치에서는 GR00T N1.7이 8회 중 4회, π0.5가 6회 성공하였다. GR00T N1.7의 실패 4회 중 2회는 종료 후 정지 확인 구간의 기록 공백에 의한 것으로, 거리 기준만으로는 두 모델 모두 8회 중 6회이다. 높은 쪽의 새로운 위치에서는 버킷이 표적으로부터 0.42–0.53 m 지점에서 정지하여 이동량이 부족하였다.
Table 4 Results of bucket reaching (successes / trials)
Scene (initial distance)
GR00T N1.7
π0.5
ACT
Development (0.84–1.23 m)
6/6
6/6
6/6
Test (0.24–0.56 m)
7/8
7/8
6/8
New location (0.92–1.26 m)
4/8
6/8
3/8
Median response time (ms)
103–109
119–122
13.8–31.4
응답 시간은 실행별 중앙값의 범위이며 추론 요청부터 응답까지의 시간이다.
초기 합본 데이터로 학습한 모델은 검증 장면 중 암을 접어야 표적에 도달하는 초기 자세에서 실패하였다(Fig. 3(a)). 학습 데이터를 분석한 결과 해당 초기 자세(±0.05 rad)에서 시작하는 17개 표본 가운데 암을 접는 표본이 없었다. 유사한 초기 자세의 시연 8개를 추가하여 다시 학습한 모델은 같은 장면에서 성공하였다(Fig. 3(b)). 추가 시연은 실패를 확인한 뒤 그 주변에서 선정하였으므로 이 결과는 일반화의 근거가 아니다.
(a)
(b)
Fig. 3 Bucket reaching of π0.5 toward a traffic-cone target from an arm-folded initial pose: (a) failure before and (b) success after adding eight similar demonstrations (final frames; left: cab camera, right: boom camera)
4.3 단계별 굴착과 명령 시점
초기 굴착 모델의 단계별 평가에서 끌기 단계는 두 모델, 두 위치의 4개 조건 모두에서 실패하였다. 끌기 표본이 55개로 다른 단계보다 적었으므로 새로운 굴착 위치 12곳의 시연을 추가하여 187개로 늘리고 다시 학습한 결과, 검증 위치에서 끌기 단계의 붐 명령 오프라인 오차는 GR00T N1.7이 0.0192에서 0.0050으로, π0.5가 0.0137에서 0.0056으로 감소하였다. 그러나 폐루프 평가에서 끌기 단계는 여전히 4개 조건 모두 실패하였으며, 날이 토양 내에 있는 시간 비율은 0.33–0.75로 기준(0.80)에 미치지 못하였다(Fig. 4(a)).
정책이 출력한 행동 청크 자체는 시연 제어기의 명령과 거의 같았으므로(붐 명령 차이 −0.01~+0.02), 명령이 적용되는 시점을 조사하였다. Fig. 5에 나타낸 바와 같이 학습 표본은 관측 시점으로부터 0.07 s 뒤에 발행된 명령을 첫 스텝의 정답으로 사용하는 반면, 명령 실행기는 추론 요청 0.2 s 뒤에 첫 스텝을 적용하도록 구성되어 있었다. 이에 따라 첫 스텝이 약 0.13 s 늦게 적용되었다. 끌기 초기의 붐 상승 명령은 시작 시점에 가장 크고 빠르게 감소하므로, 과거의 큰 값을 늦게 적용하면 적용 시점에 필요한 값보다 큰 상승 명령이 유지되어 날이 토양 위로 벗어난 것으로 판단된다. 굴착 실험에서는 추론 중 시뮬레이션 시간을 정지하였으므로 이 시점 차이는 모델의 추론 시간과 무관하며, 학습 데이터와 실행기 사이의 시점 정의가 일치하지 않은 데서 비롯된 것이다.
(a)
(b)
Fig. 4 Drag phase of π0.5 at the validation location: (a) blade leaving the soil when the chunk is executed from step 1 and (b) blade kept in the soil when executed from step 2 (left: upper part of the cab-camera view, enlarged; right: boom camera)Fig. 5 Mismatch between the command timing of the training labels and the schedule of the command executor
재학습 없이 청크의 둘째 스텝부터 실행하도록 실행기의 일정만 변경한 결과, 끌기 단계는 두 모델, 두 위치에서 모두 성공하였고 날이 토양 내에 있는 시간 비율은 변경 전의 0.33, 0.59(GR00T N1.7의 학습·검증 위치), 0.53, 0.75(π0.5)에서 모두 1.0이 되었다(Fig. 4(b)). 실행 스텝 수를 달리한 실행을 포함하면 8회가 모두 성공하였으나 독립적인 조건은 4개이다. 이 실행 방식은 실패를 분석한 뒤 선정하였고 같은 두 위치에서 확인하였으므로 위치에 대한 일반화의 근거는 아니며, 붐 상승을 줄이는 다른 요인으로도 같은 효과가 나타나는지는 구분하지 않았다. 또한 둘째 스텝 실행은 시점 차이를 없앤 것이 아니라 약 0.13 s의 지연을 약 0.07 s의 선행으로 바꾼 것이며, 붐 명령과 날 깊이의 시계열을 이용한 인과 검증은 수행하지 않았다. 따라서 시점 불일치는 관측 결과와 일치하는 원인 후보로 해석한다. 둘째 스텝은 시연 제어기보다 앞선 명령에 해당하여 끌기 종료 시 토양 적재량이 2.6–5.8 kg으로 시연 제어기(2.0–2.6 kg)보다 많았다.
Table 5는 단계별 평가 결과이며, 끌기의 둘째 스텝 실행 행을 제외하면 세 정책 모두 청크의 첫째 스텝부터 실행한 같은 규칙의 결과이다. 끌기 단계에 둘째 스텝 실행을 적용하면 두 VLA 모델은 네 단계 각각에서 두 위치 중 한 곳 이상 성공하였다. ACT는 끌기·말기·들기 단계를 통과하였으나 관입 단계는 두 위치에서 모두 실패하였다.
ACT의 관입 실패에 대해서는 사후 분석을 수행하였다. 학습 표본은 이후 8스텝이 같은 단계에 속하는 시점만으로 구성되어 각 단계의 마지막 7개 시점이 입력에서 제외되는데, ACT는 버킷이 지면에 닿는 영상에서 지시와 무관하게 끌기 명령을 출력하였다. 같은 표본으로 학습한 두 VLA 모델에서는 이러한 현상이 나타나지 않았다. 단계의 마지막 시점까지 표본에 포함하여 다시 학습한 ACT는 두 위치에서 관입 단계를 통과하였다(관입 깊이 0.040 m, 0.044 m). 다만 재학습은 100,000스텝까지 수행하여 70,000스텝의 모델을 선택하였으므로 원 모델(35,000스텝)과 학습량이 다르다. 같은 35,000스텝의 재학습 모델에서도 오프라인에서는 조기 끌기 명령이 사라졌으나, 폐루프 확인에는 70,000스텝 모델을 사용하였다. 한편 기존 ACT도 청크의 둘째 스텝부터 실행하면 두 위치에서 관입 단계를 통과하였다(0.033 m, 0.029 m). 이들은 원 평가 이후의 탐색적 분석이므로 Table 5에 반영하지 않았다.
검증 데이터에서의 행동 오차는 GR00T N1.7 0.0048, π0.5 0.0047, ACT 0.0047로 유사하였으나 폐루프 결과는 서로 달랐으며, 끌기 단계의 행동 오차 감소도 폐루프 성공으로 이어지지 않았다. 따라서 본 실험의 범위에서 오프라인 행동 오차는 원인 진단에는 유용하였으나 폐루프 성공 여부를 대신하는 지표로 사용하기는 어려웠다.
Table 5 Per-phase excavation results at the training / validation locations
Phase
GR00T N1.7
π0.5
ACT
Penetrate
S / S
S / E
F / F
Drag (from step 1)
F / F
F / F
–
Drag (from step 2)
S / S
S / S
S / S
Curl
H / S
S / H
S / H
Lift
S / S
S / –
S / S
Phases passed
4/4
4/4
3/4
S: 성공, F: 실패, H: 판정 보류(단계 기준은 통과, 시뮬레이션 유효성 기준 미충족), E: 실행 장애(단계 기준은 통과하였으나 실행 환경 문제로 판정하지 못함), –: 미실행. 조건당 1회 실행. 통과 단계 수는 두 위치 중 한 곳 이상에서 성공한 단계의 수로, 한 위치에서 네 단계를 연속으로 성공하였다는 뜻이 아니다. 끌기만 둘째 스텝 실행 기준이고 나머지 단계는 첫째 스텝 실행의 결과이다.
4.4 연속 굴착
Table 6는 연속 굴착 결과이다. 외부 단계 전환 방식에서 GR00T N1.7은 두 위치에서 관입부터 들기까지 네 단계를 연속으로 수행하여 네 단계의 동작 기준을 모두 통과하였다. 다만 토양을 적재한 단계가 시뮬레이션 유효성 기준을 충족하지 못하여 전체 성공에는 해당하지 않는다. π0.5는 초기 설정에서 1회 약 0.17 s의 추론이 45–46회 반복되면서 시뮬레이션 정지 시간의 합계가 7.9–8.1 s에 이르러 실행기의 정지 시간 상한(8 s)에 도달하였고, 이 때문에 판정할 수 없었다. 성공 기준은 유지하고 정지 시간 상한(8 s에서 20 s)과 실행 종료 후 지연을 회수하는 속도만 조정하여 다시 실행한 결과 π0.5도 두 위치에서 네 단계의 동작 기준을 모두 통과하였으며(정지 시간 합계 9.18 s, 8.32 s), 전체 성공에 해당하지 않는 점은 GR00T N1.7과 같다. GR00T N1.7을 조정된 설정으로 다시 실행한 대조 실행은 관측 영상의 지연으로 판정하지 못하여 Table 6에는 초기 설정의 결과를 나타내었다. π0.5의 사례는 4.3절과 달리 추론 시간이 결과에 직접 영향을 준 경우이며, 굴착 결과가 시뮬레이션 시간 정지에 의존함을 뜻한다.
Table 6 Results of consecutive four-phase excavation
Policy
Sequencing
Location
Phase criteria passed
Phases classified as success
Overall success
Soil (kg)
GR00T N1.7
External
Training
4/4
Penetrate, drag
No (2 held)
31.8
GR00T N1.7
External
Validation
4/4
Penetrate
No (3 held)
32.7
π0.5
External
Training
4/4
Penetrate
No (3 held)
42.0
π0.5
External
Validation
4/4
Penetrate, drag
No (2 held)
48.0
ACT
External
Training
4/4
All four
Yes
20.0*
ACT
External
Validation
4/4
Penetrate, drag, lift
No (1 held)
13.4*
GR00T N1.7
Self
Training
Ended at penetrate
–
No
0
GR00T N1.7
Self
Validation
4/4
Penetrate, drag
No (2 held)
35.9
π0.5
Self
Training
Ended at penetrate
–
No
0.9
π0.5
Self
Validation
4/4
Not judged (fault)
Not judged
11.8
조건당 1회 실행. Success는 단계 기준과 시뮬레이션 유효성 기준을 모두 충족한 단계, held는 판정 보류 단계의 수이며, Not judged (fault)는 실행 장애이다. 모든 단계를 청크의 둘째 스텝부터 실행하였고, π0.5와 ACT의 외부 단계 전환은 정지 시간 상한과 지연 회수 속도를 조정한 설정이다. 토양량은 들기 종료 시의 값이며, *는 종료값의 기록이 없어 실행 중 최댓값을 적은 것이다(VLA 모델의 최댓값은 32.3–48.0 kg).
두 VLA 모델의 말기·들기 단계는 30 kg 이상의 토양을 적재한 상태에서 시뮬레이터의 프레임률이 17–70 fps로 저하되어 대부분 판정 보류로 분류되었다. ACT는 학습 위치에서 네 단계 모두 시뮬레이션 유효성 기준까지 충족하여 본 실험에서 유일하게 전체 성공으로 분류되었으나, 최대 토양 적재량이 20.0 kg 이하로 VLA 모델(32.3–48.0 kg)보다 작아 시뮬레이터의 부하가 작았고 추론 시간도 약 10 ms로 짧았다. 사후 확인에서 다시 학습한 ACT(70,000스텝 모델)는 약 30 kg을 적재하였고, 이때에는 VLA 모델과 마찬가지로 들기 단계(학습 위치) 또는 말기·들기 단계(검증 위치)가 판정 보류로 분류되었다. 따라서 이 차이를 정책의 우열로 해석하지 않는다.
자율 단계 전환 방식에서는 검증 위치에서 두 모델 모두 하나의 지시문만으로 네 단계를 순서대로 수행하여 단계 기준을 통과하였다(Fig. 6). 이 경우에도 GR00T N1.7은 말기·들기 단계가 판정 보류였고 π0.5는 실행 장애로 유효성을 판정하지 못하여 전체 성공은 확인되지 않았다. 학습 위치에서는 두 모델 모두 시연 제어기와 유사한 시점(11.6–12.0 s, 시연 제어기의 관입 종료 11.2 s)에 끌기 동작으로 전환하였으나, 전환 시점의 관입 깊이(GR00T N1.7 −0.011 m, π0.5 0.015 m)가 기준(0.02 m)에 미치지 못하여 관입 단계에서 실패로 판정되었다. 검증 위치에서 재실행과 외부 시점 촬영을 위한 실행을 포함하면, 네 단계를 종료까지 진행한 실행은 GR00T N1.7이 3회 중 2회, π0.5가 실행 장애로 무효가 된 1회를 제외한 3회 중 1회였다. 이 횟수는 조건이 서로 다른 실행을 합한 관찰 횟수이므로 성공률로 해석하지 않는다. π0.5가 종료까지 진행한 실행은 유효성을 판정하지 못한 실행이며, 유효성이 판정된 두 실행은 모두 관입 단계에서 종료되었다. 종료까지 진행하지 못한 실행은 모두 관입 단계의 종료 신호가 발생하지 않은 경우였다. 이때 GR00T N1.7의 관입 깊이는 −0.005 m였고, π0.5의 두 실행은 실행 중 추정 깊이는 0.017 m와 0.016 m로 기준 아래였으나 실행 후 지형 기록에서 계산한 깊이는 0.022 m와 0.021 m로 기준 위였다. 따라서 이 실패를 정책의 깊이 제어 한계만으로 귀속할 수는 없다.
(a)
(b)
(c)
(d)
(e)
Fig. 6 Excavation by GR00T N1.7 with autonomous phase transition at the validation location under a single instruction (external view of a demonstration run): (a) penetration, (b) dragging, (c) curling and (d) lifting; (e) side view of the bucket at ground level in a separate demonstration run recorded with the target hidden from the cameras (end of penetration, deepest point and lifting; red: bucket-tip trajectory, yellow: initial terrain)
4.5 지형 지도 입력과 관로 굴착
시뮬레이터의 LiDAR 2대로 생성한 높이 지도(격자 0.1 m)를 시연 제어기로 운전한 1회의 굴착에서 시뮬레이터의 지형과 비교하였다. 굴착이 끝난 뒤 굴착 구역에서 지도와 지형의 높이 차이는 95 백분위 값이 5.4 mm였고, 굴착 흔적의 최저점은 지도에서 −54.1 mm, 실제 지형에서 −53.7 mm였다. 그러나 굴착이 진행되는 동안에는 굴착 지점이 버킷에 가려져, 관입·끌기·말기 단계에서 0.02 m 이상 깊어진 것으로 관측된 격자가 없었고 들기 단계의 후반에야 16개가 관측되었다. 굴착 위치가 주어진 한 번의 굴착에서는 지도가 정책에 새로운 정보를 제공하지 못할 것으로 판단하여 3.6절의 과제에서는 지도를 입력에서 제외하고, 다음 굴착 위치를 선정하는 3.7절의 과제에 지도를 사용하였다.
초기 조건의 9회 실행과 후속 조건의 4회 실행 모두에서 두 모델은 굴착 준비 자세까지의 접근을 완료하였다. 초기 조건에서 GR00T N1.7은 접촉 목표가 4.25 m인 지형에서 관입부터 말기까지의 단계 기준을 통과하였고, 최종 지형이 기록된 1회의 실행에서 관로의 잔여 토양 부피를 0.0480 m³에서 0.0253 m³로 줄였다(같은 지형에서 시연 제어기는 0.0387 m³; 이 실행의 프레임률 중앙값은 70 fps로 시뮬레이션 유효성 기준에 미달하였다). 그러나 두 모델의 관입 위치는 접촉 목표가 0.4 m 다른 두 지형에서 모두 3.99–4.22 m에 모였고, 기록된 관측에서 지도만 다른 지형의 것으로 바꾸어 입력한 오프라인 분석에서도 예측된 관입 위치의 변화는 0.08 m 이하였다. 후속 조건에서도 사전에 정한 기준(접촉 목표가 0.2 m 이상 다른 지도 쌍에서 차이의 50 % 이상 이동)을 충족한 경우는 두 모델 모두 10쌍 중 없었고, 폐루프 실행 4회의 관입 위치는 4.07–4.17 m였으며 버킷 날이 지면 위 0.01–0.08 m에 머물러 굴착이 이루어지지 않았다. 후속 조건에서 추가한 16회의 시연 가운데 12회는 시연 제어기가 목표 깊이 아래로 굴착하지 않도록 관입 높이를 제한하여 토양에 닿지 않은 시연이었다.
Table 7은 시연 제어기를 수정한 세 번째 조건의 결과이다. 사전에 정한 기준(한 정책이 두 지형 모두에서 과반 통과)을 충족한 정책은 없었다. 실행 단위로는 전체 자료로 학습한 정책이 16회 중 0회, 절반 자료로 학습한 정책이 16회 중 4회 통과하였다. 통과한 4회에서는 최종 지형으로 계산한 토양 제거량이 0.010–0.027 m³(같은 지형의 시연 제어기 0.0125–0.0129 m³), 들기 종료 시 버킷 내 토양이 14–36 kg으로 한 사이클의 굴착이 확인되었으나, 관로를 완성한 것은 아니다. 32회 중 13회는 최종 지형이 기록되지 않아 제거량을 판정하지 못하였다(그중 2회는 다섯 단계를 종료). 두 지형 사이에서 관입 종료 위치의 평균은 정책에 따라 0.07–0.60 m 이동하였으며(접촉 목표의 차이 0.40 m), 관입 위치를 지도에 표시한 구성의 이점은 관찰되지 않았다(통과 2/16 대 2/16, 위치 조건 6/16 대 6/16).
실패는 관입 단계에 집중되었다. 관입 단계를 완료하지 못한 22회 가운데 21회에서, 관입 깊이 기준(0.02 m)에 도달하기 전에 암을 당기고 붐을 올리는 끌기 방향의 명령이 시작되었다(관입을 완료한 10회 중에서도 1회 관찰되었다). 수집한 시연에서 시연 제어기의 관입 최대 깊이는 0.025–0.058 m(중앙값 0.043 m)였으나, 검증 지형의 시연 2회에서 날 끝이 0.02 m 깊이에 도달한 뒤 끌기로 전환하기까지의 시간은 0.39 s와 0.50 s였다. 즉 전환이 0.5 s가량만 빨라도 깊이 기준에 미달하며, 시연 제어기는 관절각의 수렴으로, 평가는 깊이로 관입 종료를 판정하여 두 기준도 달랐다. 전체 자료와 절반 자료의 차이(관입 단계 완료 1/16 대 9/16)는 학습량(갱신 3,000회 대 2,000회)과 조건당 1회인 학습의 변동을 분리하지 못하였으므로 자료량의 효과로 해석하지 않는다. 따라서 이 결과는 조기 전환이 주된 실패 경로였음을 보이지만 원인을 확정한 것은 아니다.
Table 8는 시연의 전환 방식을 수정한 네 번째 조건의 결과이다. 수정한 시연 제어기의 관입 최대 깊이는 0.049–0.065 m(중앙값 0.058 m)였고, 0.02 m 깊이에 도달한 뒤 끌기로 전환하기까지의 시간은 1.7 s로 늘었다. 12회의 실행 모두에서 관입 깊이가 0.02 m 이상이었고, 관입 중 조기 끌기 전환은 1회(세 번째 조건 32회 중 22회), 관입 단계 완료는 11회(세 번째 조건 10회)였다. 즉 세 번째 조건에서 확인한 관입 실패 경로는 시연의 수정으로 해소되었다. 그러나 모든 통과 조건을 충족한 실행은 12회 중 4회(GR00T N1.7의 두 구성 각 4회 중 2회, π0.5 4회 중 0회)였고, 한 정책이 두 지형 모두에서 2회씩 통과하는 사전 기준을 충족한 정책은 없었다. π0.5는 4회 모두 관입 깊이를 충족하였으나 토양 제거량이 기준에 미달하였다. GR00T N1.7은 3회의 실행에서 목표 바닥보다 깊이 굴착하였고 그중 2회는 과굴착 기준을 초과하였다(바닥 아래 최대 0.048 m와 0.098 m; 시연에서는 과굴착이 없었다). 또한 12회 중 7회는 끌기 단계의 시간 한도에서 종료되어 말기와 들기 단계가 시작되지 않았다(Fig. 7은 통과한 실행의 굴착 단면이다). 이는 평가의 관입 종료 기준(0.02 m 깊이 0.3 s 유지)과 정책이 시연처럼 관입 자세를 더 유지하는 거동의 차이와 관련된 것으로 보이나 원인은 분석하지 않았다. 세 번째 조건과는 검증 장면, 자료량, 정책 수가 다르므로 두 조건의 횟수를 같은 조건의 비교로 해석하지 않는다.
(a)
(b)
Fig. 7 Cross-section of the trench along the boom plane in a passed run of GR00T N1.7 under the fourth condition (target position 4.15 m): (a) during penetration and (b) at the end of the run (red: bucket-tip trajectory, yellow: initial terrain, white dashed: terrain after the run, green: entry position; right: enlarged view near the entry)
끌기 단계의 시간 한도를 2 s 늘려 사후에 수행한 보충 평가 4회(사전 기준과 별도이며 합산하지 않음)에서도 통과한 실행은 없었다. GR00T N1.7은 한 지형에서 끌기와 말기를 완료하고 시연 제어기의 2.7배를 제거하였으나 목표 바닥 아래 최대 0.058 m의 과굴착이 발생하고 들기를 완료하지 못하였으며(다른 지형은 최종 지형이 기록되지 않아 판정하지 못하였다), π0.5는 한도를 늘려도 토양을 담지 못하였다. 따라서 끌기 단계의 시간 한도는 주된 제약이 아니었던 것으로 보이며, GR00T N1.7의 굴착 깊이 제어와 π0.5의 토양 적재, 들기 단계의 완료가 과제로 남는다.
Table 7 Closed-loop results of the trench task with revised demonstrations (number of runs out of four per policy)
Data
Policy
Mark
Passed
Position
Depth
Entry
Full
GR00T N1.7
Yes
0
1
2
0
Full
π0.5
Yes
0
2
0
0
Full
GR00T N1.7
No
0
1
1
1
Full
π0.5
No
0
0
0
0
Half
GR00T N1.7
Yes
2
3
4
3
Half
π0.5
Yes
0
0
2
0
Half
GR00T N1.7
No
1
3
4
4
Half
π0.5
No
1
2
2
2
Mark: 관입 위치의 지도 표시, Passed: 모든 통과 조건 충족, Position: 시작점 오차 0.15 m 이내, Depth: 관입 깊이 0.02 m 이상, Entry: 관입 단계 완료.
Table 8 Closed-loop results of the trench task with the lengthened entry dwell in demonstrations (number of runs out of four per policy)
Policy
Mark
Passed
Position
Depth
Entry
Over-dig
GR00T N1.7
Yes
2
4
4
4
1
GR00T N1.7
No
2
4
4
4
1
π0.5
Yes
0
3
4
3
0
열의 정의는 Table 7과 같다. Over-dig: 과굴착 기준 초과. GR00T N1.7 표시 구성의 1회는 최종 지형이 기록되지 않아 제거량을 판정하지 못하였다.
Table 9 Issues observed in applying the VLA models to the excavator simulator
No.
Symptom
Observed issue or possible contributor
Remedy, result and remaining limitation
1
굴착기 학습 없는 연결에서 표적 도달 없음
로봇팔 말단 자세 행동과 굴착기 관절 명령의 불일치가 관찰됨(원인은 분리하지 못함)
관절 속도 행동으로 재정의하고 파인튜닝. 사전학습의 기여도는 분리하지 못함
2
유압 모델 조건에서 관절 무응답
속도 명령 형식에 밸브 명령이 없어 밸브가 닫힘(확인). 명령 크기(0.2 이하)도 붐·암 불감대(0.340, 0.355)보다 작음
유압 모델을 제외하고 관절 속도를 직접 명령. 유압 조건은 검증하지 않음
3
끌기 단계 실패(4개 조건 모두), 행동 오차는 감소
학습 표본의 명령 시점(관측 후 0.07 s)과 실행기의 적용 시점(요청 후 0.2 s)의 불일치와 일치하는 현상(원인 후보)
청크의 둘째 스텝부터 실행하여 4개 조건 모두 성공. 0.07 s의 선행이 남고 다른 원인은 분리하지 못함
4
토양 적재 단계의 판정 보류
토양 물리 연산 부하에 의한 프레임률 저하(30 kg 이상에서 17–70 fps)
판정 보류를 실패와 구분하여 집계. 두 VLA 모델에서는 전체 성공을 확인하지 못함
5
지도에 기반한 굴착 위치 선정 미확인
초기 지도에서는 가림과 작은 작업 영역 표현이 있었고, 후속 조건에는 토양 비접촉 시연이 다수 포함됨. 지도·자료·학습량이 함께 바뀌어 각 요인의 영향은 분리하지 못함
두 지도 조건에서 위치 선정 기준을 충족하지 못함. 후속 조건에서는 관입도 관찰되지 않았으며 비접촉 시연의 증가가 원인 후보임
6
시연 제어기를 수정한 조건에서 관입 실패(22회 중 21회가 깊이 확보 전 끌기 전환)
시연의 전환 여유가 작음(0.02 m 도달 후 0.39–0.50 s). 시연과 평가의 단계 종료 기준이 다름. 자료량·학습량·학습 변동의 영향은 분리하지 못함(원인 후보)
전환 유지 시간을 늘린 시연(0.02 m 도달 후 1.7 s)으로 다시 학습한 조건에서 조기 전환이 12회 중 1회로 감소하고 12회 모두 관입 깊이 충족
7
시연을 다시 수정한 조건에서도 사전 기준 미충족(12회 중 4회 통과)
GR00T N1.7의 과굴착(3회 중 2회 기준 초과), 끌기 단계의 시간 한도 종료(7회), π0.5의 토양 제거량 부족. 원인은 분석하지 못함
굴착 깊이의 제어, 토양 적재, 들기 단계의 완료가 과제로 남음
4.6 고찰: 굴착기 적용 시 고려사항
Table 9은 적용 과정에서 관찰한 문제를 현상, 관찰된 문제 또는 원인 후보, 대처와 결과로 정리한 것이다. 문제의 다수는 입출력 정의(1, 2), 학습 데이터와 실행기의 시점 정의(3), 시뮬레이션 환경(4), 시연 데이터의 분포와 단계 전환 설계(5–7, 4.2절)와 같은 통합 단계에서 관찰되었으며, 표에는 확인된 원인과 원인 후보를 구분하여 적었다. 반면 π0.5의 추론 시간 누적(4.4절)과 자율 단계 전환에서의 관입 종료 신호 미발생, ACT의 관입 단계 거동은 정책의 특성이 결과에 영향을 준 경우이다. 끌기 단계에서는 추론 시간이 아닌 시점 정의의 불일치와 일관된 현상이 관찰되었으나 연속 굴착에서는 추론 시간이 판정을 좌우하였으므로, 명령 시점과 추론 속도는 각각 확인되어야 한다. 또한 관로 과제의 세 번째와 네 번째 조건은 시연의 단계 전환 여유가 작으면 정책의 작은 전환 시점 오차가 폐루프 실패로 이어지고 여유를 늘리면 그 실패가 줄어듦을 보여 주므로, 시연을 설계할 때 전환 여유를 확인할 필요가 있다.
모델의 적용 가능성 측면에서 두 모델은 모두 공개된 절차로 굴착기의 입출력에 맞추어 파인튜닝하고 추론할 수 있었으나, 다만 GR00T N1.7은 백본 모델을 사용하기 위한 접근 승인이 필요하고, π0.5는 사전학습 데이터가 일부만 공개되어 있다. 이러한 제약을 고려하여 본 연구에서는 두 모델의 적용 가능성을 모두 ‘조건부’로 분류하였다. 여기서 ‘조건부’는 가중치 접근 승인과 사전학습 자료의 공개 범위에 관한 구분이며, 굴착 성능이나 현장 투입 가능성을 평가한 등급은 아니다. 추론은 16 GB GPU에서 가능하였으나 파인튜닝에는 외부 GPU가 필요하였다.
동일한 데이터로 학습한 ACT는 버킷 이동의 개발용 검증 장면과 연속 굴착의 단계 기준에서 VLA 모델과 같은 수준의 결과를, 새로운 위치와 관입 단계에서는 낮은 결과를 보였다. 조건당 실행이 1회이고 ACT의 학습량이 기본값보다 적으며 본 비교가 VLA 사전학습의 기여를 분리하지 않으므로 정책 간 우열은 주장하지 않는다. 본 실험의 범위에서 ACT에 대한 VLA 모델의 일관된 우위는 관찰되지 않았고, 지시문을 바꾸었을 때의 행동 변화와 같은 언어 조건화의 효과는 평가하지 않았다.
5. 결 론
본 연구에서는 공개 VLA 파운데이션 모델인 GR00T N1.7과 π0.5를 유압 구동계를 제외한 굴착기 시뮬레이터에 적용하고, 규칙 기반 제어기의 시연 데이터로 파인튜닝한 뒤 사전에 정한 기준에 따라 폐루프로 평가하였다.
굴착기 학습 없이 연결한 예비 실행에서는 표적 도달을 관찰하지 못하였고, 파인튜닝한 두 모델은 개발에 사용한 버킷 이동 검증 장면에서 6회 중 6회, 학습 위치 사이의 새로운 위치에서 8회 중 4회와 6회 기준을 충족하였다. 굴착에서는 행동 청크의 실행 시작 스텝을 변경한 뒤 끌기 단계의 실패가 두 위치에서 해소되었고, 외부 단계 전환 조건에서 두 모델은 두 위치 모두 네 단계의 동작 기준을 충족하였다. 다만 토양 적재 구간이 시뮬레이션 유효성 기준을 충족하지 못하여 전체 작업 성공은 확인하지 못하였다. 단일 지시문 조건에서는 스스로 단계를 전환하여 종료까지 진행한 실행이 관찰되었으나, 유효성을 판정하지 못한 실행과 촬영용 실행이 포함되어 있어 성공률로 해석하지 않았다. 지형 지도를 입력으로 추가한 관로 굴착 과제에서는 초기의 두 조건에서 지도에 기반한 굴착 위치 선정이 확인되지 않았고, 시연 제어기를 수정한 세 번째 조건에서도 사전에 정한 기준을 충족한 정책은 없었다. 이 조건에서 관입에 실패한 22회 중 21회는 깊이를 확보하기 전에 끌기로 전환한 경우였고, 시연의 전환 유지 시간을 늘린 네 번째 조건에서는 조기 전환이 12회 중 1회로 줄어 이 실패 경로가 해소되었다. 다만 통과한 실행은 12회 중 4회로 사전 기준을 충족하지 못하였으며, 굴착 깊이의 제어와 토양 적재, 들기 단계의 완료가 과제로 남았다. 관찰한 실패의 다수는 행동 정의, 시연 데이터의 분포와 전환 설계, 명령 시점 정의, 시뮬레이션 환경과 같은 통합 단계와 관련되었고, 추론 시간과 정책별 거동도 일부 결과에 영향을 주었다. 동일한 데이터로 학습한 모방학습 정책에 대한 VLA 모델의 일관된 우위는 관찰되지 않았다.
다만 본 연구의 결과는 단일 시뮬레이터에서 유압 모델을 제외하고 얻은 것으로 유압 굴착기에 대한 적용성은 검증하지 않았으며, 시연 데이터를 숙련 운전자가 아닌 규칙 기반 제어기로 생성하였고, 조건당 실행 횟수가 1–3회로 적다는 한계가 있다. 굴착의 검증 위치는 학습 위치 사이의 보간 위치이고, 실행 방식의 보완은 실패를 확인한 같은 위치에서 검증하였으므로 본 결과는 사례 수준의 확인으로 해석하여야 한다. 굴착 실험은 추론 중 시뮬레이션 시간을 정지하였으므로 실시간 조건의 접촉 작업도 검증하지 못하였다. 향후에는 유압 구동계의 불감대와 지연을 포함한 조건과 실제 장비에서 적용 절차를 검증하고, 반복 실험을 통하여 통계적 신뢰도를 확보하며, 시간 정지 없이 동작하는 실행 방식과 언어 지시의 효과를 평가할 계획이다.
후 기
〔사사 문구 미정: 지원 기관·과제번호 표기〕〔생성형 AI 사용 고지 여부는 학회·기관 방침 확인 후 결정〕
이해관계(CONFLICT OF INTEREST)
저자는 이 논문과 관련하여 이해관계 충돌의 여지가 없음을 명시합니다. 〔저자 확정 후 확인〕
References
1) D. Jud, G. Hottiger, P. Leemann and M. Hutter, “Planning and Control for Autonomous Excavation,” IEEE Robotics and Automation Letters, Vol.2, No.4, pp.2151-2158, 2017.
2) D. Jud, P. Leemann, S. Kerscher and M. Hutter, “Autonomous Free-Form Trenching Using a Walking Excavator,” IEEE Robotics and Automation Letters, Vol.4, No.4, pp.3208-3215, 2019.
3) Y. Zhai et al., “ExT: Towards Scalable Autonomous Excavation via Large-Scale Multi-Task Pretraining and Fine-Tuning,” arXiv:2509.14992, 2025.
4) L. Chen et al., “ExACT: An End-to-End Autonomous Excavator System Using Action Chunking With Transformers,” arXiv:2405.05861, 2024.
5) S. Zhao et al., “Vision Guided Target Conditioned Control for Autonomous Excavation,” arXiv:2608.21778, 2026.
6) D. J. Kim, H. J. Park, J. Y. Oh, J. Chung and C. H. Song, “Work Path Planning of 6-DOF Excavator Based on Multi-Body Dynamics Model,” Journal of Drive and Control, Vol.21, No.4, pp.161-173, 2024.
7) B. Kim, B. Cha, J.-K. Lee and H. Lee, “Digital Twin Environment for Autonomous Excavator Development,” Journal of Drive and Control, Vol.23, No.3, pp.95-98, 2026.
8) A. Brohan et al., “RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control,” arXiv:2307.15818, 2023.
9) Open X-Embodiment Collaboration, “Open X-Embodiment: Robotic Learning Datasets and RT-X Models,” arXiv:2310.08864, 2023.
10) K. Black et al., “π0.5: A Vision-Language-Action Model with Open-World Generalization,” arXiv:2504.16054, 2025.
11) J. Bjorck et al., “GR00T N1: An Open Foundation Model for Generalist Humanoid Robots,” arXiv:2503.14734, 2025.
12) M. J. Kim et al., “OpenVLA: An Open-Source Vision-Language-Action Model,” arXiv:2406.09246, 2024.
15) Z. Zhao, S. Wang, Z. Miao and Y. Xiong, “HarvestFlex: Strawberry Harvesting via Vision-Language-Action Policy Adaptation in the Wild,” arXiv:2603.05982, 2026.
16) A.-C. Cheng et al., “NaVILA: Legged Robot Vision-Language-Action Model for Navigation,” arXiv:2412.04453, 2024.
17) L. Burgett et al., “A VLA Policy for an Excavator,” Actor Labs, https://labs.actor/research/vla-excavator (Accessed: Nov. 13, 2026).
18) Z. Zou et al., “High-Precision and High-Efficiency Trajectory Tracking for Excavators Based on Closed-Loop Dynamics,” arXiv:2509.17387, 2025.
19) T. Z. Zhao, V. Kumar, S. Levine and C. Finn, “Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware,” arXiv:2304.13705, 2023.
20) K. Black, M. Galliker and S. Levine, “Real-Time Execution of Action Chunking Flow Policies,” arXiv:2506.07339, 2025.
21) X. Li et al., “Evaluating Real-World Robot Manipulation Policies in Simulation,” Proc. of the 8th Conference on Robot Learning, PMLR Vol.270, pp.3705-3728, 2025.
22) P. Montagut Bofi et al., “Per-Group Error, Not Total MSE: Fine-Tuning VLA Models for 11-DoF Mobile Manipulation,” arXiv:2606.00253, 2026.
23) M. Hochedel and M. Lalonde, “Vision-Language-Action Models: Experimental Insights from a Real-World UR5 Platform,” arXiv:2606.30456, 2026.
24) H. Kress-Gazit et al., “Robot Learning as an Empirical Science: Best Practices for Policy Evaluation,” arXiv:2409.09491, 2024.