NK264F 최종발표 (2026-10-27 개정) — 본편 1~12장(발표 10분) + 부록 A1~A4. F 발표 모드, ← → 이동, Esc 종료. 수치 구분: [공식] 개발사 공개값, [설계] 정의서 기준 계산, [시험] 합성 데이터 도구 시험. 작성 근거: 발표자료_v2_작성기록.md, 발표자료_20261027_보고서동기화.md
KIMM 3.5톤 전기굴착기
2026년도 기본사업 최종발표
2026. 11. 18, R1동 대회의실
2026 기본사업 창의도전형 NK264F

필드로봇 피지컬 AI
파운데이션 모델 탐색 연구모델 비교, 굴착 데이터 규격, 정량 설계 분석

이한민 책임연구원, 한국기계연구원
가상공학플랫폼연구본부 산업기계DX연구실
1

1. 연구 필요성

실내 조작에서 검증된 VLA, 야외 굴착 조건은 별도 분석 필요
KIMM 굴착 테스트베드기존 사진
KIMM 굴착 테스트베드
표 1. 실내 조작과 야외 굴착의 작업 조건 비교
구분실내 조작(공개 VLA 대표 시연)야외 굴착(본 연구 대상)
환경정형 실내, 테이블 위 물체비정형 지형, 토양 접촉과 굴착 부하
구동전동 팔과 그리퍼유압 실린더, 명령 지연 0.11~0.16 s(HR35 현장 로그)
관측일정 조명, 근접 카메라조명 변화, 분진과 역광, 캐빈 시점
핵심 상태관절각, 그리퍼 개폐실린더 압력, 버킷 자세, 전방 지형 높이
공개 데이터Open X-Embodiment 22종 로봇, 100만+ 궤적굴착 특화 ExT — 범용 VLA와 별도 계열
본 연구
굴착 1종, Level 1 통제 필드 범위에서 범용 VLA 2종의 적용성 분석
Open X-Embodiment(arXiv 2310.08864), ExT(arXiv 2509.14992) 원문 확인 2026-10-22. 유압 지연은 연구실 내부 개발기록(260911 HR35 현장 식별). 사진: FES2026 발표 원본 자료
2

2. 연구 범위와 수행 결과

계획서 4개 목표에 대해 비교 분석, 데이터 규격, 도구, 설계 계산, 전략 기획 산출
계획서 목표수행 결과근거 성격
① 모델 서베이π0.5, GR00T N1.7 공식 문서 비교표, 개방성 7항목 점검, 필드 적합성 7축 평가체계공식 문서 설계
② 데이터셋 설계굴착 관측–행동 규격 AO-v0.1(55D, 4D, 10 Hz), 품질 기준 13항목, 분할 설계 + 변환, 검사 도구 구현설계 구현
③ 모델 적용 실험2단계 검증 실험 설계(S1~S7, R1~R4, 지표, 기준선), 데이터율과 10 Hz 지연 예산 계산설계 계산
④ 로드맵 기획2027~2031 전략연구사업 제안서, 국과심 발표, 건설분야 계획서 초안 v0.4기획 문서
수치 구분
[공식] 개발사 공개값, [설계] 정의서 기준 계산, [시험] 합성 데이터 CPU 도구 시험(2026-10-22 기록)
공식 문서 개발사 원문 분석설계 정의, 산식 계산구현 코드 + 합성 데이터 시험기획 문서 제출, 발표 근거 있음
계획서 기술개발 목표 4개와 정량 목표(계획서 3장). 출처: 본문/1_개요.md 목표표, 연구현황_근거표.md §1, §3
3

3. VLA 모델 2종 구조 비교

두 모델 모두 신규 로봇 파인튜닝 공식 절차 확인 — 굴착 규격 적용 성능은 후속 실험 대상
표 2. π0.5와 GR00T N1.7 비교(개발사 공식 문서 기준, 확인일 2026-10-22)
구분π0.5 (Physical Intelligence, openpi)GR00T N1.7 (NVIDIA)
모델 구조PaliGemma VLM + 행동 전문가, flow matchingCosmos-Reason2-2B VLM + DiT 행동 헤드, 약 3B
로봇 상태 입력기본 설정은 이산 언어 토큰(연속 입력 설정 가능)embodiment별 MLP 연속 인코딩
행동 출력연속 행동 chunk, 32차원 패딩연속 행동 chunk, 최대 132차원, 40 step
새 로봇 적용입출력 변환 + 학습 설정 작성NEW_EMBODIMENT + modality.json
학습 자원 [공식]LoRA 22.5 GB 초과(JAX 경로만)GPU당 최대 약 35 GB, 40 GB 이상 권장
추론 지연 [공식]공식 지연 수치 미공개(추론 8 GB 초과)H100 85.8 ms(eager), 27.9 ms(TensorRT)
openpi 커밋 215abfb, Isaac-GR00T 커밋 dac54b3, HF GR00T-N1.7-3B 리비전 2fc962b9. [공식] 값은 개발사 공개 조건(GPU, 백엔드) 기준. 이용 조건: GR00T 백본 Hugging Face 접근 승인, π0.5 가중치 Gemma 이용약관 준수(7축 개방성). 굴착 적용 사례는 부록 A4. 계획서의 GR00T N1.6은 정식 출시 N1.7로 변경
4

4. 필드 적합성 7축 평가체계

7개 축의 지표와 분모 정의 — 공식 문서로 분석 가능한 축부터 1차 분석
1실시간성
E2E 추론 지연 p50/p95 (ms), 재계획 Hz
GR00T [공식] H100 27.9~85.8 ms — 10 Hz 주기(100 ms) 안. π0.5 공식 지연 미공개
공식 문서 분석
2자원
추론, 학습 최대 VRAM (GB)
학습 [공식] π0.5 LoRA 22.5 GB 초과, GR00T 40 GB급 GPU 권장
공식 문서 분석
3행동공간
M1 첫 예측 행동 MAE, 버킷 끝 오차 (cm)
굴착 4D를 두 모델 모두 패딩으로 수용(32D, 132D)
공식 문서 분석
4관측
상태, 영상 가림 시 오차 증가율 (%)
55D 연속 상태 — GR00T는 연속 MLP, π0.5 기본은 이산 토큰(분해능 검토 대상)
공식 문서 분석
5데이터 효율
에피소드 수–오차 곡선, N90
학습점 0~720 에피소드, 고정 시드 표본으로 분모 정의
지표 정의
6강건성
도메인 갭 (%), 충실도 간 전이 갭
미관측 도메인 시험 100 = 요인 5 × 20으로 분모 정의
지표 정의
7개방성
코드, 가중치, 이용 조건 등 7항목
코드와 가중치 모두 공개. GR00T 백본 접근 승인, 라이선스 표기 불일치. π0.5 Gemma 이용약관 준수
공식 문서 분석
분석 결론
축 1~4, 7은 공식 문서로 1차 분석
축 5, 6은 데이터 의존 지표로 지표와 분모 정의
모델 우열은 공개 근거로 판정하지 않음
계획서 분석 항목(입출력, 데이터 요구량, 제로샷/퓨샷, 지형, 조명, 통신 지연)을 7축에 대응. 출처: 설계/평가프레임워크.md v1 §2~§4, 본문/2-가_모델서베이.md 표 2-가-1, 2-가-2(확인일 2026-10-22)
5

5. 굴착 관측–행동 공통 규격

두 시뮬레이터와 실차를 하나의 규격으로 — 관측 55D, 행동 4D, 10 Hz
굴착기 관절 명칭 표시 기존 사진 + 개념 표시 버킷 암 붐 선회
행동 4D — 선회, 붐, 암, 버킷 관절 속도 명령(rad/s)
사진: KIMM 3.5톤 전기굴착기(FES2026 발표 원본). 관절 위치 표시는 개념
관측 ot 설계 AO-v0.1
캐빈 RGB 1대(640×480) + 상태 벡터 55D
관절 8부하 9직전 행동 4버킷 자세 7차체 기울기 2지형 7태스크 12유효 마스크 6
동기화와 저장
10 Hz 격자, 모델 입력은 과거 샘플만(인과), 행동은 영차 유지
LeRobot v2.1 + modality.json(GR00T 형식)
부하 채널 구분
Isaac은 관절 토크, APEX와 실차는 실린더 압력 — 환산 없이 별도 필드 + 마스크
출처: 설계/데이터셋_정의서.md AO-v0.1-r2-draft §0, §3, §4, 설계/modality.json(2026-10-22). 구성은 확정, 차원 배치는 잠정 설계값. 상태 55D는 ExT 논문의 관측 55D와 내역이 다름
6

6. 데이터 변환과 품질검사 파이프라인

변환부터 공식 로더 적재까지 구현 — 합성 데이터 CPU 시험 70건 통과
그림 1. 데이터 파이프라인 구현 범위(개념도) — 파랑 설계, 초록 구현과 합성 데이터 시험
시뮬레이터
실차 로그
Isaac+FEE, APEX, 실차 필드 매핑표설계
▶
플랫폼
어댑터
원명령 → rad/s 매핑 규칙설계
▶
LeRobot v2.1
작성기
parquet, mp4, 분할 파일구현
▶
품질검사
Q1~Q13
13항목 중 11항목(부분 5)구현
▶
공식 로더
적재
LeRobot, GR00T 로더합성 시험
▶
학습 실행
스크립트
RunPod 8종, DRY-RUN구문 시험
시험 결과 [시험] 2026-10-22 기록
  • 전체 회귀 70건 통과, skip 0(8.35 s, 팀장 재실행 8.43 s)
  • 공식 LeRobot v2.1 로더 — 상태 55D, 행동 (16, 4), 영상 (3, 480, 640) 적재
  • GR00T 정규화 — 속도 명령 정규화 후 원값 복원(허용오차 1e-4)
  • 시간 규약 — 2,559프레임(255.8 s) 간격 검사
결함 검출 시험 — 주입한 결함 모두 검출
NaN타임스탬프 지터영상 프레임 누락길이 불일치라벨 누락modality 구간 중복그룹, 도메인 누수(Q11)미래 샘플 사용(Q6)진단열 입력(Q13)
70건은 합성 데이터 CPU 도구 시험. 출처: 설계/T5_구현보고.md §2 V2~V9, §6.4, 작업인덱스 2026-10-22 23:11
7

7. 데이터 분할 설계

그룹 단위로 생성 전 고정 — 튜닝용 검증셋과 최종 시험셋 분리로 누수 차단
설계안 1,000 에피소드 데이터 분할 설계
그림 2. 데이터 분할 설계(설계안) — Isaac 1,000 = 720 / 80 / 100 / 100, APEX 100 = 퓨샷 풀 20 + 평가 봉인셋 80
출처: 작성지원/정량설계_분석.md(D), 설계/데이터셋_정의서.md §8.2, §8.3. APEX 막대는 가독성을 위해 6배 축척
8

8. 데이터율과 저장량 설계 계산

숫자는 프레임당 236 B, 10 Hz에서 2,360 B/s — 저장과 전송의 지배 항은 영상
설계 계산 프레임당 숫자 페이로드와 10 Hz 데이터율
그림 3. AO-v0.1 프레임당 숫자 페이로드와 10 Hz 데이터율(설계 계산) — (55 + 4) × 4 B = 236 B, 1시간 8.5 MB, 비압축 RGB는 약 3,905배
가정: float32, 10 Hz, 영상 1대. 영상, 타임스탬프, 보조 열, 파일 형식 오버헤드 제외. 비압축 RGB 640 × 480 × 3 = 921,600 B/프레임은 비교용 설계값이며 MP4 파일 크기 아님. 출처: 작성지원/정량설계_분석.md(D), 설계/데이터셋_정의서.md §3, §9
9

9. 10 Hz 제어주기 지연 예산

GR00T [공식] 지연 27.9~85.8 ms는 100 ms 주기 안 — L40 128.3 ms는 동기 실행 시 초과
표 3. π0.5와 GR00T N1.7의 10 Hz 시간 예산(설계 계산, 개발사 공개값 사용)
항목π0.5GR00T N1.7산식, 조건
제어 주기100 ms100 ms1 / 10 Hz, 규격
추론 지연(TensorRT)공식 지연 수치 미공개27.9 ms → 주기의 27.9%27.9 / 100. H100, denoising 4단계, 카메라 1대 [공식]
추론 지연(eager)85.8 ms → 주기의 85.8%85.8 / 100. 같은 조건 [공식]
행동 묶음 16스텝—1.6 s16 × 0.1 s, 공식 예제 구간 길이
행동 구간 상한 40스텝—4.0 s40 × 0.1 s
영상 샘플 나이 허용≤ 50 ms≤ 50 ms주기의 1/2, 품질 기준 Q6
상태 이산화 분해능정규화 범위의 1/256(약 0.39%)—[−1, 1]을 256구간 균등 분할, 구간 폭 2/256 ≈ 0.0078
GR00T N1.7 [공식] 지연의 주기 점유(설계 계산, 점유율 = L / 100 ms)
H100 TensorRT27.9 ms · 28%
H100 eager85.8 ms · 86%
L40 eager128.3 ms · 128%
[공식] 개발사 공개값(4 denoising step, 카메라 1대), [설계] 산식 계산. π0.5는 공식 지연 미공개로 대입 제외. 센서, 통신, 유압 응답 지연 미포함. 주기를 넘는 조건은 행동 chunk의 비동기 실행 전제. 출처: 최종보고서 표 2-4, 작성지원/정량설계_분석.md(D), 본문/2-가_모델서베이.md 표 2-가-1
10

10. 적용성 결론과 5년 기획 성과

문서와 설계 분석 기준 굴착 적용 경로 확인 — 2027~2031 전략사업 기획으로 연결
적용성 결론(공식 문서, 설계 분석 기준)
  • 행동 — 굴착 4D를 두 모델 모두 수용, 신규 로봇 공식 절차 확인
  • 상태 — 55D 연속 상태는 GR00T 연속 경로가 직접적, π0.5 토큰 입력은 분해능 검토 대상
  • 실시간 — GR00T H100 공식 지연은 10 Hz 주기 안, L40급은 비동기 chunk 실행 전제
  • 자원, 개방성 — 학습은 40 GB급 GPU, GR00T 백본 접근 승인, π0.5 Gemma 이용약관 준수
  • 데이터 — 1시간 비압축 화소량 33.18 GB 대 숫자 8.5 MB, 영상 압축 설계 우선
5년 로드맵 기획 성과
2026
본 연구
비교, 규격, 도구
▶
2027~2029
1단계
대규모 데이터, 모델 적응
▶
2030~2031
2단계
필드 실증, 분야 확장
본 과제의 탐색 방향을 2027년도 KIMM 전략연구사업 기획에 반영 후 과제 선정
적용성 결론 근거: 개발사 공개 문서, 설계 계산(모델 우열 판정 없음). 로드맵은 전략사업 기획 목표. 출처: 4~10번 슬라이드 근거, 본문/2-라_로드맵.md 2) 나), 다)
굴착 VLA 적용의 비교 기준, 데이터 규격, 도구 확보 — 전략사업 모델 선정 근거
11
감사합니다. 한국기계연구원 KIMM
질의 대비
APPENDIX
A1
2단계 검증 실험 설계
S1~S7, R1~R4 구성과 해석 한계
A2
데이터 분할과 품질 기준
720 / 80 / 100 / 100, Q1~Q13
A3
실험 정의와 지표
계획서 연구내용과 1:1 대응
A4
굴착 특화 참조 모델
ExT, Actor Labs
A0

A1. 2단계 검증 실험 설계

시뮬레이션 사전 검증 S1~S7 → 실환경 검증 R1~R4
그림 A1. 실험 구성(설계 산출물, 개념도)
1단계 시뮬레이션 사전 검증
S1
공식 예제
추론 재현
S2
시뮬레이션
파인튜닝
S3
제로샷
vs 퓨샷
S4
보류 도메인
강건성
S5
폐루프
(도전)
S6
저→고충실도
시뮬 간 전이
S7
시뮬 혼합
비율
▼
2단계 실환경 검증
R1
실차 로그 제로샷
R2
실차 퓨샷
R3
sim:real 혼합
R4
섀도 모드(명령 미전송)
sim-to-sim 대리 실험(S6, S7)의 해석 한계
유압 실물 부재센서 분진, 역광 미반영토양 실물 부재시연자가 사람 아닌 제어기부하 채널 구성 차이APEX 평가 80건 규모
보라 점선 S6, S7은 Isaac+FEE → AGX(APEX) sim-to-sim 대리 실험 — 실차 전이 갭의 예측값이 아니라 절차와 경향 확인용. 기준선: 원본 제어기, 단순 행동복제(MLP). 출처: 설계/실험설계서.md EXP-v0.1-r2 §0~§3
A1

A2. 데이터 분할과 품질 기준

분할은 생성 전에 고정, 보류셋은 학습과 튜닝에 사용 금지
표 A2-1. 분할 설계(설계안)
분할건수용도
Isaac 학습720S2, S3 최대점
Isaac 검증80튜닝 전용, 최종 보고 제외
같은 도메인 시험100S2, S3 최종 지표
미관측 도메인 시험100S4 강건성(요인 5 × 20)
APEX 퓨샷 풀20S6 퓨샷(5⊂10⊂20)
APEX 평가80S6, S7 봉인셋
표 A2-2. 품질검사 항목 구현 범위
구현항목
검사Q1 형식, Q2 수치, Q3 시간, Q6 샘플 나이, Q7 길이, Q11 분할 누수
부분Q4 필수 결측, Q8 물리 범위, Q9 라벨, Q12 행동 분포, Q13 진단열 격리
설계 기준 정의Q5 선택 필드 결측, Q10 중복
Q8 한계값은 기체 제원 확보 후 적용
출처: 설계/데이터셋_정의서.md §6, §8, 설계/T5_구현보고.md §6.5, 연구현황_근거표 E06, E07
A2

A3. 실험 정의와 지표

계획서 연구내용마다 대응 실험과 지표를 1:1로 연결
실험계획서 대응방법지표
S1공개 실험 재현2종 공식 체크포인트 예제 추론지연, VRAM
S2Level 1 모델 탑재, 파인튜닝GR00T N1.7 NEW_EMBODIMENT, Isaac 학습 분할M1(첫 예측 행동 MAE)
S3제로샷, 퓨샷 효과0 / 소수 / 최대 n 에피소드 학습에피소드 수–오차
S4조명, 토양 강건성S2 모델을 미관측 도메인에서 평가도메인 갭(%)
S5Level 1 가상필드 검증로컬 추론 폐루프(도전 목표)성공률, 사이클 시간
S6제로샷 전이(대리)Isaac 학습 모델을 APEX에 적용, 0/5/10/20 퓨샷충실도 간 전이 갭
S7Co-training 비율(대리)Isaac:AGX 100:0 / 90:10 / 70:30 / 0:100비율별 오차
R1~R3Sim-to-Real 갭 원인 분석실차 로그 제로샷, 실차 퓨샷, sim:real 혼합관절별, 국면별 오차
R4테스트베드 탑재섀도 모드, 추론만 하고 명령 미전송지연, 행동 일치도
실험 설계 산출물(지표와 분모 정의 포함). 출처: 설계/실험설계서.md §1~§2, §5 추적성 표
A3

A4. 굴착 특화 참조 모델

범용 VLA와 굴착 특화 정책은 우열보다 계층 분담 관계
구분ExT (ETH Zurich RSL)Actor Labs
자료 성격학술 논문(arXiv 2509.14992)회사 기술 블로그 2건, 동료평가 없음
기반 모델굴착 전용 소형 transformerπ0.5 LoRA 파인튜닝
입력고유수용성 상태, 카메라 없음단안 카메라 여러 대 + 언어
데이터시뮬레이션 대규모 전문가 시연현장 운전자 영상에서 조이스틱 조작 추출
실기 결과시뮬레이션→실기 전이, cm급 정확도 보고(초록)현장 토공 자율 수행 주장, 정량 지표 없음
본 연구 시사점Isaac+FEE 설계의 기준선π0.5 비교의 실무 근거(회사 주장)
상위
시각, 언어, 현장 다양성 — 범용 VLA
하위
토양 접촉 굴착 기술 — 상태 기반 특화 정책
출처: 본문/2-가_모델서베이.md 표 2-가-4(확인일 2026-10-22). GR00T N1.7의 굴착 적용 공개 사례는 확인되지 않음. 계층 구조는 연구실 내부 검토안(260807 굴착기 파운데이션 모델 도입 전략)
A4