NK264F 최종 평가 발표
2026년도 기본사업 최종 평가 · NK264F

필드로봇 피지컬 AI
파운데이션 모델 탐색 연구

이한민
한국기계연구원 산업기계DX연구실
01

서론 ① 연구 배경 — 정책 동향

피지컬 AI 투자, 실내에서 야외 필드로 확장
실내 공장·물류 창고의 로봇
실내제조 · 물류
야외 필드의 굴착기·트랙터·4족 보행 로봇
야외 필드재난 · 국방 · 농업
국가 전략피지컬 AI 1등 국가새정부 경제성장전략에 목표 명시 · 육성 추진
산업 수요필드로봇 중심 국가전략화김제 국회포럼 등 · 피지컬 AI 산업
시사점야외 필드 선점국가 핵심 전략 부합 · 신흥 공백 영역
02

서론 ② 연구 배경 — 기술 동향

해외는 파운데이션 모델 경쟁 · 국내 필드 적용은 공백
해외
이동형 양팔 로봇
Physical Intelligenceπ 계열 VLA다양한 로봇의 범용 제어 실증
물건을 다루는 휴머노이드 로봇
NVIDIAGR00T 오픈 VLA휴머노이드 파운데이션 모델 가속화
지하 공간을 탐사하는 4족 보행 로봇
FieldAIFFM필드 환경 특화 모델 개발 선도
국내
한국기계연구원 굴착기
이번 연구굴착기에 적용해 확인
현황필드 적용 사례 전무

실내외 로봇 파운데이션 모델 연구 부족

03

서론 ③ 연구 필요성

필드 특화 모델 탐색과 데이터 기반 구축이 먼저
여러 연구실의 실내 로봇팔 자료 모음여러 종류 로봇팔의 작업 장면 모음
실내 로봇팔정형 환경
+50 %
범용 모델 > 전용 모델평균 성능 우위 (RT-X)
공개 자료 풍부 · 로봇 22종 · 100만+ 궤적
굴착기에도
통하는가?
한국기계연구원 전기 굴착기
야외 필드 중장비극한 환경
데이터 공백
필드 특화 데이터셋 부재기존 학습 데이터와 분포 불일치
비정형 지형 · 조명 변화 · 통신 불안정
04

서론 ④ 연구 연속성

테스트베드 → 디지털트윈 → 파운데이션 모델 탐색 → 전략연구사업
굴착 시험장
2024기반 조성테스트베드 부지 확보기본 실증 인프라 설계
디지털트윈 굴착기와 라이다 점군
2025인프라 구축멀티센서(GPS · LiDAR) 시스템디지털트윈(Isaac Sim) 환경
시뮬레이터 굴착 장면
2026본 연구데이터 수집 플랫폼파운데이션 모델 탐색 · 검증
05

1. 과제 목표와 달성

계획한 네 가지 목표를 시뮬레이터 실증까지 수행 · 굴착기가 스스로 파는 단계까지 확인
계획서 목표수행 결과상태
① VLA 2종 비교 · 필드 적합성 평가GR00T N1.7 · π0.5 구조와 입출력 비교, 직접 실행해 확인완료
② 굴착 관측–행동 시범 데이터셋굴착 관측-행동 데이터셋 정의 및 시범 수집 → 표준 형식 변환 → 학습 및 검증 완료완료
③ 모델 적용 실험 · 정량 지표제로샷 확인 및 파인튜닝 후 성능 검증 완료(버킷 이동, 굴착, 관로)완료
④ 5년 로드맵 · 2027 전략과제 기획5년 로드맵 작성 완료 및 2027년 전략연구사업 과제 수주 완료완료
성과물논문 1건 게재 / 기술보고서 1건 완료 / 소프트웨어 등록 1건 신청완료
06

2. 공개 VLA 모델 2종 — 비교하고 직접 실행

둘 다 영상 + 지시문 → 행동 묶음 · 공식 로봇팔 과제는 두 모델 10/10 재현

GR00T N1.7 (NVIDIA)

GR00T 구조

π0.5 (Physical Intelligence)

π0 계열 구조
GR00T N1.7π0.5
행동 생성시각·언어 모델 + 확산 액션 헤드시각·언어 모델 + 액션 전문가(흐름 정합)
굴착기에 맞추기새 기체 등록 후 투영층·헤드 학습LoRA 학습
추론 지연*중앙 91 ms중앙 110 ms

* RTX 5080 16 GB · Intel Core Ultra 9 285K · RAM 64 GB

07

3. 필드 적합성을 위한 평가 체계 구축

넘어야 하는 관문 4 → 얼마나 잘하는지 비교 축 4
관문 G1–G4
G1적응 가능성새 장비로 학습 가능 여부
G2입출력·제어 계층관측 입력 · 명령 출력 연결
G3시간 정합명령 시점 · 계산 지연
G4안전 계층 결합제한·비상 정지 아래 안전
비교 축 P1–P4
P1작업 성능버킷 이동 · 굴착 · 관로 성공
P2일반화·강건성처음 보는 위치·지형 성공
P3데이터 요구·수집시범의 양 · 품질 · 수집 방법
P4계산 자원추론 지연 · 학습 자원
08

4. 두 모델의 필드 적합성 판정

두 모델 모두 학습 후 조건부 통과 · 안전 계층과 데이터·자원 비교는 미판정
기준GR00T N1.7π0.5
G1적응 가능성조건부조건부 통과접근 승인·라이선스 확인조건부조건부 통과이용약관 확인
G2입출력·제어 계층조건부학습 후 조건부 통과무학습 불가 · 유압 제외조건부학습 후 조건부 통과무학습 불가 · 유압 제외
G3시간 정합충족보정 후 충족굴착은 계산 중 시뮬레이터 정지 조건충족보정 후 충족연속 굴착에서 계산 시간 누적이 더 큼
G4안전 계층 결합미판정미판정명령 크기 제한·감시 아래에서만 운전미판정미판정
P1작업 성능버킷 이동 6/6굴착 네 동작 연속 운전버킷 이동 6/6굴착 네 동작 연속 운전
P2일반화·강건성처음 보는 위치 4/8방향은 맞고 크기 부족처음 보는 위치 6/8같은 양상
P3데이터 요구·수집미판정미판정미판정미판정
P4계산 자원미판정미판정미판정미판정
시뮬레이터 · 유압 제외 조건 · 조건당 시행은 대부분 1회
09

5. 관측–행동 공통 규격 — 수집 자료와 전달 형식

카메라 2대 + 관절 상태 + 지시문 → 4관절 속도 명령 8칸 묶음 · 표준 형식 LeRobot v2.1로 두 모델에 같은 자료
굴착기 관절 명칭 표시버킷암붐선회
행동 — 선회 · 붐 · 암 · 버킷 4관절 속도 명령
구분내용
관측 · 영상운전석 · 붐 RGB 2대 (640×480 기록 → 모델 입력 224)
관측 · 상태4관절(선회 · 붐 · 암 · 버킷) 각도 4 + 속도 4
지시문동작별 문장 1개 (예: 관입 · 끌기 · 닫기 · 올리기, 스스로 전환은 1문장)
행동4관절 속도 명령 [−1, 1] × 8칸 묶음 · 좌표·목표 입력 없음
주기 · 동기5 Hz 한 시각축 · 명령은 관측 뒤 요청값(인과)
저장 형식LeRobot v2.1 (영상 mp4 + 표 + modality.json) → GR00T 새 기체 슬롯 · π0.5 상태 숫자 토큰
관로 단계+ 지형 높이 지도 그림을 세 번째 영상으로
10

6. 두 모델의 입력과 출력

입력은 영상 + 지시문 (+ 상태) · 출력은 시간 × 7차원 행동 묶음
공통 입력전체 카메라붐 카메라“excavate one bucket of soil”지시문 1문장상태 8개 숫자말단 위치 3 · 자세 3 · 그리퍼 2두 모델 모두 영상·지시문·상태를 받지만상태가 들어가는 자리는 서로 다름GR00T N1.7영상·지시문 → 시각·언어 모델상태 → 상태 인코더 → 확산 액션 헤드영상 짧은 변 256 · 디노이징 4단계3Bπ0.5영상·지시문 → 언어 모델(PaliGemma)상태 → 256구간 숫자 토큰 → 언어 모델영상 224 · 플로우 매칭 10단계 · 3B + 0.3B(공개 LIBERO 가중치만 상태 토큰을 끈 설정)출력 · 행동 묶음 16스텝 × 7ΔxΔyΔz롤피치요손앞 8스텝 실행나머지는 버리고다시 예측출력 · 행동 묶음 10스텝 × 7ΔxΔyΔz롤피치요손앞 5스텝 실행나머지는 버리고다시 예측한 칸 = 한 시점의 말단 이동량 (위치 3·회전 3·그리퍼 1)
11

7. 학습 없이 굴착기에 그대로 — 제로샷

72회 시도 · 표적 0.5 m 안 도달 0회 → 굴착기 자료로 추가학습 필요
π0.558회
첫 시도0.90 m
좌우 축 뒤집기0.79 m
카메라 확대0.77 m
이동량 2배0.58 m
GR00T14회
실제 자세를 상태로0.92 m
명령 누적 기준1.02 m
카메라 확대1.05 m
이동량 2배0.94 m
12

8. 시뮬레이터에서 시범 자료 뽑기

ROS 2 토픽을 듣기만 하는 기록기로 받아 영상·상태·명령을 한 시각축에 기록
APEX · Unity + AGX 흙카메라 RGB 2대캐빈 위 · 붐 아래 · 640×480 · 5 Hz관절각 · 관절 속도 4축스윙·붐·암·버킷 · 약 100 Hz명령 4축[−1, 1] 정규화 레버값 · 10 Hz차체 · 링크 자세롤·피치·요 · 링크 각 · 실린더 힘LiDAR 2대 → 높이 격자0.1 m 칸 · 미관측은 빈칸 · 5 Hz시계 · 좌표 변환(TF)촬영 시각 기준 정렬ROS 2 토픽 (읽기만)구독 기록기원시 바이트 + 이벤트 로그명령 없이 듣기만변환PNG(무손실) + JSONL촬영 시각으로 정렬LeRobot v2.1두 모델 공용 데이터셋+ modality.json
13

9. 학습 자료 — 세 단계로 확대

쉬운 것부터 · 버킷 이동 → 굴착 → 전체 사이클
1버킷 이동1-A학습 연결 점검기존 소량 자료로 한 번 갱신·과적합1-B·C좌표+영상 → 영상만좌표 없이 영상만으로 바로 진행1-D새 위치·새 목표 평가학습에 없던 위치 2곳 · 꼬깔콘2굴착 작업만2-A단계별 정책관입 · 끌기 · 닫기 · 올리기 따로 학습 ✓2-B전환은 알고리즘바깥 프로그램이 동작 전환 ✓2-C전환까지 정책모델이 다음 동작 판단 ✓3전체 사이클3-A덤프 위치 → 공격점 이동3-B굴착 → 덤프 위치 이동3-C덤프 작업계획만 · 공격점은 외부에서 줌
14

10. 단계별 학습 자료량 — 시범 횟수

단계마다 교사 시범 수십 회 규모로 추가학습 · 두 모델은 같은 자료 사용

① 버킷 이동

① 버킷 이동
32회 시범

학습 구간 1,610

처음 24회 + 보충 8회

② 단계별 굴착

② 단계별 굴착
15곳 흙 위치 시범

학습 구간 1,996

처음 3곳 + 끌기 보강 12곳

③ 스스로 동작 전환

③ 스스로 동작 전환
0회 추가 수집

②의 시범을 이어 붙여 재사용

학습 구간 2,192

④ 굴착 지점 스스로 (관로)

④ 굴착 지점 스스로 (관로)
60회 시범 (3차 · 최대)

1차 30회 → 2차 +16회

3차 60회 재수집 → 4차 32회 재수집

학습 구간 2,057 → 3,953 → 7,531 → 3,543

시범 = 규칙 제어기(교사)가 시뮬레이터에서 자동으로 한 번 운전한 기록 · 학습 구간 = 관측 1시점 + 뒤따르는 행동 8칸 · 관로 4차 32회 = 학습 28 + 검증 4

15

11. 시범을 모아 학습 — 버킷이 표적까지 이동

학습 후 검증 위치 두 모델 6/6 · 시험 위치 7/8 · 처음 보는 위치 4/8 · 6/8

GR00T · 꼬깔콘 · 시험 위치 성공

최소 거리0.30 m

π0.5 · 꼬깔콘 · 시험 위치 성공

최소 거리0.18 m

GR00T · 꼬깔콘 · 위치 6 성공

검증 위치 · 콘0.04 m
16

12. 굴착 ① 준비 — 네 동작으로 나눠 학습

관입 → 끌기 → 닫기 → 올리기 · 동작마다 성공 기준을 미리 정하고 한 모델에 학습
1관입버킷 날을 흙에 넣기날 깊이 2 cm 이상2끌기흙 속에서 앞으로 끌기0.25 m 이동 · 80 % 이상 흙 속끝에 흙 1 kg 이상3닫기버킷을 말아 흙 담기버킷 −130° 이하흙 0.5 kg 이상 유지4올리기흙을 담은 채 들기흙 위 1.2 m · 흙 80 % 유지동작별 평가교사(규칙 제어기)가 직전 동작까지 운전 → 그 동작만 모델이 운전교사 구간은 VLA 아님 · 영상은 모델 구간만연속 굴착모델이 네 동작을 혼자 이어서 운전 · 다음 동작으로 넘기는 신호만 바깥 프로그램지시문을 동작마다 바꿔 줌학습 자료교사 굴착 시연 · 흙 위치 3곳(학습 창 833) → 끌기 보강으로 새 위치 12곳 추가(학습 창 1,996)공통 판정: 시뮬레이터 화면이 기준(초당 90장 이상 등)보다 느리면 '판정 제외' — 실패가 아니라 검증 불가
옆에서 본 버킷: 진입 끝, 가장 깊은 순간, 올리기
17

13. 굴착 ② 결과 — 네 동작을 하나씩

두 모델 모두 관입 · 끌기 · 닫기 · 올리기 네 동작 성공
관입
끌기
닫기
올리기
GR00T4/4
깊이 6.1 cm성공
흙 3.8 kg성공
13.0 kg성공
18.3 kg성공
π0.54/4
관입성공
흙 5.5 kg성공
14.4 kg성공
17.8 kg성공
18

14. 굴착 ③ 네 동작 연속 굴착 — 지시문 하나로 스스로 전환

지시문 하나만 주면 모델이 관입 → 끌기 → 닫기 → 올리기를 스스로 이어 감 · 두 모델 완주

GR00T

π0.5

두 방식의 차이바깥 전환지시문 4개관입끌기닫기올리기스스로 전환지시문 1개관입끌기닫기올리기넘김 = 바깥 프로그램넘김 = 모델이 판단스스로 전환 결과GR00T · 검증 위치네 동작 완주순서대로 4/4π0.5 · 검증 위치네 동작 완주순서대로 4/4GR00T · 학습 위치관입에서 멈춤깊이 2 cm 미달π0.5 · 학습 위치관입에서 멈춤깊이 2 cm 미달
19

15. 굴착 지점 ① 준비 — 카메라에 라이다 지도 추가

모델 입력 = 카메라 2대 + 라이다로 만든 2D 높이 격자 지도 · 다음 팔 곳은 규칙으로 정한 시범을 학습
운전석 카메라
운전석 카메라
붐 카메라
붐 카메라
라이다 2D 높이 격자
라이다 2D 높이 격자
↓GR00T · π0.5→4관절 명령
교사가 다음 팔 곳을 정하는 규칙남은 흙이 있는 곳 중 가장 먼 곳부터현재 지형남은 흙목표 바닥공략점이미 판 구간← 굴착기에서 먼 쪽굴착기 쪽 →
20

16. 굴착 지점 ② 관로 1~4차 — 시범 수정 반복

접근 성공 → 진입 부족 → 시범 수정 → 진입 해결 · 실제 굴착 확인

1·2차접근 성공

3차진입 부족

3차 통과 실행실제 굴착

4차진입 해결 · 통과 4/12

21

17. 목표 ④ 5년 로드맵

2026 탐색 → 2027–2029 기반기술 확보 → 2030–2031 플랫폼 고도화·확장
2026탐색 (이번 과제)공개 VLA 2종 굴착기 적용
데이터 규격 · 학습 · 평가 절차
2027 – 20291단계 기반기술 확보재난·농업·건설 필드 데이터셋 · 디지털트윈
필드환경 인지 파운데이션 모델
장착형 자율화 모듈
2030 – 20312단계 플랫폼 고도화·확장장비·작업별 전문가 AI 라이브러리
소량 자료로 새 장비 적응
이기종 5종 필드로봇 레벨 4 실증
3년차필드환경 인지 파운데이션 모델 + 주행작업 전문가 모델
3년차 산출물: 필드환경 인지 파운데이션 모델과 주행작업 전문가 모델
5년차같은 플랫폼 하나로 5종 이상 이기종 필드장비가 레벨 4 자율화
5년차 산출물: 이기종 필드장비 5종 이상 레벨 4 자율화
22

18. 2027 전략연구사업 수주

「인구절벽·위험환경 대응 AI 필드로봇 기술 개발」 2027–2031 수주 (5년, 350억)
필드로봇 피지컬 AI 세부기술 구성
인구절벽·위험환경 대응
AI 필드로봇 기술 개발
4족 보행
재난 4족 보행
트랙터
농업 트랙터
과수 예찰
농업 과수 예찰
굴착기
건설 굴착기
자재 이송
건설 자재 이송
이기종 장비 5종Level 4자율화
23

19. 성과물

논문 1건 게재 · 기술보고서 1건 완료 · 소프트웨어 등록 1건 신청

논문 게재 완료

한국기계가공학회지 게재 논문 첫 쪽

험지환경 자율주행을 위한 경로계획 전문가 기반 모방학습
한국기계가공학회지 제25권 제2호 (2026.2)

기술보고서 완료

기술보고서 표지

VLA 모델 2종 필드 적합성 심층 비교 분석 보고서
모델 정리 · 학습 방법 · 평가 기준 8가지 · 결과

소프트웨어 등록 신청

프로그램등록신청명세서 첫 쪽

굴착기 VLA 학습데이터 구축 및 폐루프 평가 프로그램
소스 214개 파일 · 약 4.5만 줄

24

20. 요약

계획한 목표 ①~④와 성과물 모두 완료
계획서 목표수행 결과상태
① VLA 2종 비교 · 필드 적합성 평가GR00T N1.7 · π0.5 비교, 직접 실행해 확인완료
② 굴착 관측–행동 시범 데이터셋시범 수집 → 표준 형식 변환 → 학습 및 검증완료
③ 모델 적용 실험 · 정량 지표제로샷 확인 · 파인튜닝 후 성능 검증완료
④ 5년 로드맵 · 2027 전략과제 기획5년 로드맵 작성 · 2027년 전략연구사업 과제 수주완료
성과물논문 1건 게재 / 기술보고서 1건 완료 / 소프트웨어 등록 1건 신청완료
25
감사합니다. 한국기계연구원KIMM
26

부록 · 질의 대비

27

A1. 계획 대비 변경 사항

바뀐 것은 모델 버전 · 시뮬레이터 · 실환경 단계의 시점
계획실제사유
GR00T N1.6GR00T N1.7과제 기간에 공개된 최신판 사용
1단계 Isaac Sim 검증APEX 굴착 시뮬레이터(Unity + 변형 지형)에서 수집·학습·평가보유한 굴착 전용 환경을 우선 사용 · Isaac 재현은 미착수
2단계 테스트베드 실환경 적용미수행 — 시뮬레이터 결과로 적용 조건 정리유압 포함 조건과 실제 장비 검증은 후속 과제
실환경 자료 포함 데이터셋시뮬레이터 자료 3종위와 같음
전문가 패널 검토내부 검토로 대체일정
굴착 영상일부는 표적 공을 숨긴 시연 재촬영수치는 정식 평가 값
28

A2-1. 로봇팔 과제 재현

공식 가중치로 같은 과제 10회씩 · 두 모델 모두 10/10

GR00T N1.710 / 10 성공

왼쪽 전체 카메라 · 오른쪽 손목 카메라 · 실시간 재생

π0.510 / 10 성공

전체 카메라 · 실시간 재생

“검은 그릇을 집어 접시에 올려라” · 공식 LIBERO 가중치 · RTX 5080 · 추론 중앙값 80~100 ms

29

A2-2. 굴착 시범 데이터셋과 수집 절차

굴착 시뮬레이터에서 영상 · 관절 상태 · 조작 명령을 한 시각축으로 기록

시범 수집 화면 교사 = 규칙 제어기 · VLA 아님

교사(규칙 제어기) 시범 · 꼬깔콘 표적 · VLA 아님 · 왼쪽 운전석 · 오른쪽 붐 카메라 · 2배속
APEX · Unity + AGX 흙굴착기 HR35 디지털 트윈유압 끔 · 관절 속도 명령카메라 RGB 2대캐빈 위 · 붐 아래 · 640×480 · 5 Hz관절각 · 관절 속도 4축스윙·붐·암·버킷 · 약 100 Hz명령 4축[−1, 1] 정규화 레버값 · 10 Hz차체 · 링크 자세롤·피치·요 · 링크 각 · 실린더 힘LiDAR 2대 → 높이 격자0.1 m 칸 · 미관측은 빈칸 · 5 Hz시계 · 좌표 변환(TF)촬영 시각 기준 정렬ROS 2 토픽 (읽기만)구독 기록기원시 바이트 + 이벤트 로그명령 없이 듣기만변환PNG(무손실) + JSONL촬영 시각으로 정렬LeRobot v2.1두 모델 공용 데이터셋+ modality.json한 에피소드5 Hz영상 기준 시각10 Hz명령 전송|u| ≤ 0.2느린 교사 속도q4 + v4상태u4행동(요청값)1문장지시문교사 제어기가 움직이는 동안 기록기는 듣기만 함 → 요청 명령·적용 결과·영상을 같은 시각축에 배치

자료 3종: 버킷 이동(학습 구간 1,610) · 굴착 네 동작(2,192) · 관로(7,531) · 표준 형식(LeRobot)으로 두 모델이 같은 자료를 사용

30

A3. 버킷 이동 — 처음 보는 위치

어느 자료에도 없던 위치 2곳 · GR00T 4/8 · π0.5 6/8 · 높은 곳은 움직임이 모자람

π0.5 · 낮은 위치 · 콘 성공

최소 거리0.11 m
낮은 위치(위치 17)는 8 run 모두 0.39 m 안

π0.5 · 높은 위치 · 콘 실패

최소 거리0.49 m
높은 위치(위치 16)는 8 run 모두 0.42–0.53 m에서 멈춤

꼬깔콘 표적 · 붐 카메라 · 2배속 · 모델 구간만 · 출발 거리 0.92–1.26 m

읽는 법
4/8 · 6/8GR00T · π0.5
  • 방향은 처음 보는 위치에서도 대체로 맞음
  • 크기가 모자람: 높은 위치에서 붐이 0.12–0.17 rad 낮고 팔이 0.25–0.32 rad 덜 접힘
  • GR00T 실패 4건 중 2건은 끝난 뒤 기록 공백 → 거리만 보면 6/8 대 6/8, 우열 미확정
31

A4-1. 굴착 — 첫 평가: 끌기에서 날이 뜸

첫 평가 GR00T 2/4 · π0.5 1/4 · 끌기 네 조건 모두 실패

π0.5 · 끌기 · 검증 위치 실패

날이 흙 위로 뜸 · 흙 속 비율0.22
붐 카메라 · 작은 화면 = 운전석 화면의 위쪽 일부(확대) · 0.5배속 · 모델 구간(2.4 s)만 · 앞 동작은 교사(VLA 아님)
첫 평가 (11/10, v2 모델)GR00Tπ0.5학습 위치검증 위치학습 위치검증 위치관입제외성공성공성공끌기실패실패실패실패닫기제외제외제외제외올리기제외성공제외제외
  • 문제 ① 끌기 중간 날 깊이: 교사 +1.6~2.1 cm(흙 속) ↔ 모델 −2.5~−3.8 cm(흙 위)
  • 문제 ② 흙을 실은 닫기·올리기에서 화면이 느려져 판정 제외
정식 평가 영상 · 운전석(작은) 화면은 위쪽 일부를 확대 표시
32

A4-2. 굴착 — 첫 실패 뒤 고친 것 세 가지

자료 보강 · 시뮬레이터 동기 정지 · 명령 적용 시점
1끌기 자료 보강

새 흙 위치 12곳에서 교사 시연 수집 · 끌기 학습 창 55 → 187 · 끌기 3배 반복해 재학습

왜: 끌기 창이 다른 동작(215–294)보다 훨씬 적었음

오프라인 끌기 붐 오차 1/3–1/4로 감소
실제 끌기는 여전히 실패 → 3번으로
2시뮬레이터 동기 정지

모델이 계산하는 0.12–0.2 s 동안 시뮬레이터 시간을 멈추고, 답이 오면 재개

왜: 같은 GPU에서 π0.5 계산 중 화면이 5–8배 느려짐 · 원격 추론은 왕복 0.94 s로 불가

멈춤 218회 모두 정상 · 닫기·올리기도 판정 가능해짐
3명령 적용 일정 맞추기01234567모델이 낸 8칸 묶음0번 = 적용 땐 이미 지난 몫 → 건너뜀1번부터 실행

왜: 학습 자료의 명령은 관측 0.07 s 뒤 것인데 시험 프로그램은 요청 0.2 s 뒤부터 적용 → 0번 칸이 늦어 붐을 더 올림 · 계산 중엔 시뮬레이터를 멈추므로 계산 시간 탓 아님

재학습 없이 끌기 8/8
33

A4-3. 굴착 — 끌기: 명령 적용 시점 보정

원인은 모델이 아니라 명령 적용 시점 · 재학습 없이 8/8
GR00T · 학습 위치
π0.5 · 검증 위치
보정 전11/11
흙 속 0.33 · 0.68 kg실패
흙 속 0.75 · 1.75 kg실패
둘째 칸부터 실행
8/8끌기 성공
  • 학습 자료 명령 = 관측 0.07 s 뒤 · 시험 적용 = 0.2 s 간격 일정 → 첫 칸이 늦음
  • 두 모델 × 두 위치 × 실행 칸 수 2가지 · 흙 속 비율 1.0
  • 재학습 없음 · 계산 중 시뮬레이터 정지라 계산 시간 탓 아님
보정 후11/12
흙 속 1.0 · 3.83 kg성공
흙 속 1.0 · 5.50 kg성공

붐 카메라 · 작은 화면 = 운전석 화면(보정 전 줄은 위쪽 일부 확대) · 0.5배속 · 끌기 모델 구간만 · 앞 동작은 교사(VLA 아님) · 이 실행 방식은 끌기 실패를 본 뒤 고름

보정 후 줄: 시연 재촬영(표적 공 숨김), 수치는 정식 평가 · 보정 전 줄: 정식 평가 영상 · 운전석(작은) 화면은 위쪽 일부를 확대 표시
34

A4-4. 굴착 — 바깥 전환과 스스로 전환

지시문 4개 + 바깥 넘김 신호 ↔ 지시문 하나, 넘길 때를 모델이 판단
두 방식의 차이바깥 전환지시문 4개관입끌기닫기올리기스스로 전환지시문 1개관입끌기닫기올리기넘김 = 바깥 프로그램넘김 = 모델이 판단스스로 전환 결과GR00T · 검증 위치네 동작 완주순서대로 4/4π0.5 · 검증 위치네 동작 완주순서대로 4/4GR00T · 학습 위치관입에서 멈춤깊이 2 cm 미달π0.5 · 학습 위치관입에서 멈춤깊이 2 cm 미달
  • 바깥 전환: 두 모델 × 두 위치 모두 네 동작 통과
  • 스스로 전환: 검증 위치 두 모델 완주 · 학습 위치는 관입 깊이 미달
  • 반복: GR00T 3번 중 2번 · π0.5 3번 중 1번 완주
  • 흙 30 kg 이상 구간은 화면이 느려 전체 시연 성공으로는 세지 않음
35

A5. VLA 대 비VLA 기준선

작은 모방학습 모델(ACT)도 대체로 비슷 · 우열은 일반화하지 않음
시험GR00Tπ0.5ACT (비VLA)
버킷 · 검증 위치
공·콘 3위치
6/66/66/6
버킷 · 시험 위치
출발이 표적 근처 → 변별력 낮음
7/87/86/8
버킷 · 처음 보는 위치
ACT는 낮은 위치 4번 중 3번 실패
4/86/83/8
굴착 · 동작별 통과
ACT 관입 두 위치 실패 · 끌기는 둘째 칸 방식
4/44/43/4
연속 굴착 · 동작 판정
학습 위치 · 검증 위치
4/4 · 4/44/4 · 4/44/4 · 4/4
연속 굴착 · 화면 기준까지 성공
성공 동작 수 · 나머지는 판정 제외(검증 불가)
2 · 11 · 24 · 3
연속 굴착 · 최대 흙
흙이 적으면 시뮬레이터가 덜 느려짐
32 · 33 kg42 · 48 kg20 · 13 kg
모델 응답 시간(중앙)
같은 GPU
103–109 ms119–122 ms14 ms
읽을 때 주의
  • ACT = 카메라 2대·관절 상태만 보고 명령 묶음을 내는 작은 모방학습 모델 · VLA 아님
  • 모델·위치·방식당 run 1개 → 우열을 일반화하지 않음
  • ACT 연속 굴착 ‘네 동작 성공’은 흙이 VLA의 절반 이하라 시뮬레이터가 덜 느려진 것 · VLA의 ‘판정 제외’는 실패가 아니라 검증 불가
  • ACT는 응답이 7–9배 빨라 시뮬레이터 멈춤도 짧음
36

A6. 지형 지도를 모델에 넣는 방법

굴착 지점을 알려 줄 때는 제외 · 스스로 위치를 정할 때 필수
현재목표차이Unity 시뮬레이터APEX 관제 화면 — 라이다로 만든 지형 2D 격자칸 0.15 m · 색 = 높이 · 네모 = 팔 곳(초록)·버릴 곳(보라) · 차이 = 목표 − 현재길 A · 이미지로격자 그림 그대로→ 시각·언어 모델(VLM)의 영상 슬롯 3번째색↔높이 대응 고정 · 인코더 고정 → LoRA → 전체 학습소형 CNN격자 → 특징길 B · 토큰으로지형 토큰 몇 개(벡터)→ 상태에 붙여 액션 헤드 쪽으로GR00T: 상태 인코더 · π0.5: 상태 토큰 · 코드 수정뜻지형 높이를 (A) 그림으로 만들어 영상처럼 보게 하거나, (B) 숫자 격자를 작은 신경망으로 압축해 상태로 넣음먼저 싸게 확인인코더 고정 + 선형층 하나로 교사의 공격점 좌표를 맞히는지 본다(선형 프로브) · 못 맞히면 길 B보조 출력행동과 함께 공격점 좌표도 내게 해 ‘고르기 오류’와 ‘가기 오류’를 분리데이터한 에피소드 안에서 여러 번 퍼서 달라진 지형에서 다음 공격점을 다시 고르는 장면 포함 · 영상과 같은 시각으로 기록
37

A7. 관로 1·2차 — 지도 보고 팔 곳 고르기

두 번 학습 모두 확인 못 함 · 들어간 곳은 늘 4.0–4.2 m

모델 입력 지도 · 1판 (넓게)

지도 1판

모델 입력 지도 · 2판 (관로 확대)

지도 2판

같은 지형 B · 가운데 띠 = 관로 · 밝을수록 덜 판 곳 · 팔 곳 표식은 넣지 않음(모델이 스스로 고르는지 시험)

버킷이 실제로 들어간 곳GR00Tπ0.51차2차 학습지형 A팔 곳 4.25 m팔 곳GR00T 1차 4.11 mGR00T 1차 4.13 mGR00T 1차 4.09 mπ0.5 1차 4.20 mπ0.5 1차 4.22 mGR00T 2차 4.12 mπ0.5 2차 4.07 m지형 B팔 곳 4.65 m팔 곳GR00T 1차 4.00 mGR00T 1차 3.99 mπ0.5 1차 4.15 mπ0.5 1차 4.16 mGR00T 2차 4.13 mπ0.5 2차 4.17 m4.04.24.44.64.8기계 앞쪽 거리 (m)13번 모두 이 구간
① 장면만 봐도 답이 정해짐

1차 자료는 지형 모습과 팔 곳이 한 쌍씩 묶임(값 5개) → GR00T는 본 지도만 외우고, π0.5는 지도 대신 카메라로 정함

② 지도를 키워도 연결이 안 생김

2차: 관로 확대 지도 + 같은 장면에 팔 곳만 다른 시연 추가(값 9개) → 지도만 바꿔 넣으면 진입 위치 이동 최대 4 cm

③ 추가 시연의 결함

새 시연 16번 중 12번은 교사 버킷이 흙에 닿지 않음 → 2차 모델은 4번 모두 흙에 들어가지 않음

다음 과제

팔 곳을 규칙이 계산해 숫자·표식으로 알려 주기 · 흙을 실제로 파는 시연으로 다시 수집 · 조건마다 반복 수 늘리기

38

A8. 관로 3차 — 교사를 고쳐 다시 학습

정해 둔 기준을 채운 모델은 없음 · 32번 중 4번은 실제로 흙을 파냄

GR00T · 통과한 실행 성공

버킷에 담긴 흙36 kg
붐 카메라 · 작은 화면 = 운전석 · 2배속 · 모델 구간만(접근 → 올리기)
모델 8개 × 4번 = 32번통과흙 속 진입까지진입 못 함시범 전체로 학습0 / 16통과GR00T · 표식GR00T · 표식 진입 못 함GR00T · 표식 진입 못 함GR00T · 표식 진입 못 함GR00T · 표식 진입 못 함π0.5 · 표식π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함GR00T · 표식 없음GR00T · 표식 없음 진입까지GR00T · 표식 없음 진입 못 함GR00T · 표식 없음 진입 못 함GR00T · 표식 없음 진입 못 함π0.5 · 표식 없음π0.5 · 표식 없음 진입 못 함π0.5 · 표식 없음 진입 못 함π0.5 · 표식 없음 진입 못 함π0.5 · 표식 없음 진입 못 함시범 절반으로 학습4 / 16통과GR00T · 표식GR00T · 표식 통과GR00T · 표식 통과GR00T · 표식 진입까지GR00T · 표식 진입 못 함π0.5 · 표식π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함π0.5 · 표식 진입 못 함GR00T · 표식 없음GR00T · 표식 없음 통과GR00T · 표식 없음 진입까지GR00T · 표식 없음 진입까지GR00T · 표식 없음 진입까지π0.5 · 표식 없음π0.5 · 표식 없음 통과π0.5 · 표식 없음 진입까지π0.5 · 표식 없음 진입 못 함π0.5 · 표식 없음 진입 못 함
통과 4번 = 흙 14–36 kg · 관로 완성이 아니라 한 번 파기 · 지도 표식의 이점은 안 보임

바꾼 것: 교사가 매번 흙을 파도록 수정 → 시범 60번 다시 수집 → 모델 8개(두 모델 × 표식 유무 × 시범 전체·절반) · 전체·절반 차이의 이유는 가르지 못함(학습 한 번씩)

정식 평가 영상 · 운전석(작은) 화면은 위쪽 일부를 확대 표시
39

A8-2. 관로 3차 — 실패 원인

진입 실패 22번 중 21번: 충분히 들어가기 전에 당기기 시작 · 시범의 여유 0.4–0.5초

GR00T · 실패한 실행 실패

날이 표면에 닿자 당김빈 버킷
같은 지형 · 팔 곳까지는 맞게 감 · 2배속 · 모델 구간만
교사 시범 — 당기기 직전 1초모델이 당기기시작한 자세지면필요한 깊이 2 cm024 cm1.5초 전1.00.5당김교사가 당기기 시작하기까지 남은 시간1.0초 전 -0.6 cm0.8초 전 +0.6 cm0.5초 전 +2.1 cm0.3초 전 +2.8 cm-0.0초 전 +3.6 cm버킷 날 깊이(교사)여유 0.4–0.5초
교사는 깊이 2 cm에 닿고 0.4–0.5초 만에 당김 · 조금만 일러도 깊이 부족 · 교사 = 규칙 제어기(VLA 아님)
정식 평가 영상 · 운전석(작은) 화면은 위쪽 일부를 확대 표시
40

A9. 관로 4차 — 실행별 결과와 남은 과제

통과 4/12 · 한 모델이 두 지형 모두 통과한 경우는 없음
모델 3개 × 4번 = 12번통과너무 깊이 팜굴착량 부족확인 불가가까운 곳먼 곳GR00T · 표식2 / 4GR00T · 표식 없음2 / 4π0.5 · 표식0 / 4
바꾼 것

교사가 목표 자세에 닿은 뒤 2.0초 머물고 당김(종전 0.5초) · 교사 진입 깊이 중앙 5.8 cm(3차 4.3) · 시범 28번 다시 수집

사후 보충 평가(끌기 한도 +2초, 4번 · 별도 집계)

통과 0/4 · GR00T 가까운 곳: 끌기·닫기 완료, 버킷 67 kg이나 너무 깊이 팜(최대 5.8 cm)·올리기 미완 · 먼 곳: 확인 불가 · π0.5: 흙을 못 담음 → 시간 한도는 주원인 아님

남은 과제 — 굴착 깊이 제어 · 흙 담기 · 올리기

GR00T가 목표 바닥보다 깊이 판 경우 3/12(2번 기준 초과, 최대 4.8 · 9.8 cm) · 교사는 0 · 원인 미분석

π0.5

진입 깊이는 4번 모두 충족 · 굴착량이 기준에 못 미침

41

A9-2. 관로 3차 → 4차 변화

시범을 고치자 이른 당기기 22/32 → 1/12 · 통과 4/12, 성공 기준은 미충족
시범을 고친 뒤 달라진 것3차 (32번)4차 (12번)깊이 2 cm 이상 진입15/3212/12진입 중 이른 당기기22/321/12진입 동작 완료10/3211/12통과 (모든 조건)4/324/12
남은 과제: GR00T 굴착 깊이 제어(너무 깊이 판 경우 3/12) · π0.5 흙 담기 · 올리기 완료
보충 평가 0/4 끌기 시간 한도를 2초 늘린 사후 평가 4번(별도 집계)도 통과 없음 — 시간 한도는 주원인 아님
42

A10. 확인한 적용 조건과 남은 과제

맞춰야 할 것은 입출력 · 시범 · 명령 시점 · 남은 것은 굴착 깊이 제어 · 흙 담기 · 실제 장비
입출력 정의

로봇팔용 손끝 행동은 그대로 안 통함 → 4관절 속도 명령으로 다시 정의하고 학습

시범 설계

빠진 출발 자세, 흙에 닿지 않는 시범, 짧은 전환 여유가 그대로 실패로 나타남 → 시범 품질이 성능을 좌우

명령 시점

학습 자료와 실행 프로그램의 시점이 어긋나면 동작 실패 → 맞추면 재학습 없이 해결

비교 기준

언어를 읽지 않는 작은 모방학습 모델도 같은 자료에서 대체로 비슷 → VLA의 우위는 아직 미확인

시뮬레이터 범위

유압 제외 · 추론 중 시간 정지 · 조건당 1–4회 실행 → 실제 장비 성능은 다음 단계

남은 과제 — 굴착 지점을 스스로

관로 4차: 진입은 해결 · GR00T 굴착 깊이 제어, π0.5 흙 담기, 올리기 완료가 남음

43

A11-1. 파인튜닝 방법 — GR00T N1.7

시각·언어 모델은 고정, 로봇별 투영층과 확산 헤드를 학습
고정학습파란 칸 = 로봇마다 따로 두는 작은 신경망(슬롯) · 굴착기는 빈 슬롯 10번을 씀카메라 영상캐빈 위 · 붐지시문“dig …”상태 8개관절각 4 + 속도 4잡음무작위 행동에서 출발시각·언어 모델Cosmos-Reason2 · 2B영상·지시문 → 특징고정상태 인코더 · 슬롯 10작은 MLP · 상태 132칸 → 1024 폭학습행동 인코더 · 슬롯 10잡음 행동 + 단계 → 1024 폭확산 액션 헤드DiT · 16층 · 폭 1024잡음 → 행동 묶음4단계 디노이징학습행동 디코더슬롯 10 · 작은 MLP1024 → 행동 132칸4축 명령 묶음8~16스텝 × 4(132칸 중 4칸)
44

A11-2. 파인튜닝 방법 — π0.5

두 큰 블록은 LoRA, 영상 인코더와 입출력 투영은 전체 학습
LoRA학습큰 두 블록은 LoRA(작은 덧셈 행렬만 학습) · 나머지 작은 층은 그대로 학습카메라 영상224 × 224 · 슬롯 3지시문“dig …”상태 8개256구간 숫자 → 텍스트 토큰잡음무작위 행동에서 출발영상 인코더SigLIP학습PaliGemma · 3B영상 · 지시문 · 상태 토큰을한 줄로 읽는 언어 모델(상태 인코더 따로 없음)LoRA액션 전문가 · 0.3B플로우 매칭 10단계잡음 → 행동 묶음LoRA층별 특징행동 입력 투영잡음 행동 32칸 → 전문가 폭 (+ 단계 MLP)행동 출력 투영전문가 폭 → 행동 32칸→ 4축 명령 묶음 · 8~16스텝 (32칸 중 앞 4칸)
45

A12. 그림 출처

본문 그림 가운데 외부 자료의 출처
쓴 곳출처
서론 ② 기술 동향그림: Physical Intelligence (π0.5 논문, arXiv:2504.16054) · NVIDIA Newsroom · FieldAI · 한국기계연구원
서론 ③ 연구 필요성RT-X · 공개 자료 규모 · 왼쪽 그림: Open X-Embodiment Collaboration, arXiv:2310.08864 (CC BY 4.0, 일부를 잘라 씀)
굴착 지점 ① 공략점 도식Jud 외 (2017), IEEE Robotics and Automation Letters 의 공략점 선택 방식을 본떠 그림
46