1기존 1 · 표지
2기존 2 · 목차
3기존 3 · 1. AI, 로봇, 그리고 산업기계
4기존 4 · 2. 프로그래밍에서 학습으로의 전환 · 영상 2개
5기존 5 · 3. 행동 생성의 두 접근: VLA와 WAM · 영상 2개
6기존 6 · 4. 로봇 두뇌의 구성 방식
7기존 7 · 5. 로봇 학습의 데이터 격차
8기존 8 · 6. 학습 데이터의 확보와 확장 · 영상 3개
9기존 9 · 7. 현장 적용의 조건 · 영상 1개
10기존 10 · 14. 기계연 로봇 연구의 발전
11기존 11 · 15. 휴머노이드 카이로스 · 영상 3개
12기존 12 · 16. 로봇 작업지능과 학습 데이터 · 영상 3개
13기존 13 · 19. 의료로봇 · 영상 3개
14기존 14 · 20. 디지털트윈 · 영상 3개
15기존 15 · Field Robotics
16기존 16 · 현장의 4대 도전과제
17기존 17 · 스마트 건설기계 세부 기술
18신규 F0 · 연구 흐름 한눈에
연구 흐름 한눈에

모듈별 설계에서 데이터로 배우는 하나의 정책으로
2019–2021
모듈을 이어 붙인 시스템
Baidu AES 24시간 무인 굴착
ETH HEAP 자율 굴착기
→
2022–2023
시뮬레이션 강화학습의 실기 전이
ETH 유압 구동기 학습 모델
HEAP 6 m 석축, 현장 단위 계획
→
2024–2025
공개 데이터와 사전학습 정책
ETHcavation, GOOSE-Ex
ExACT, ExT 다중작업 정책
→
2026
흙을 아는 정책, 종단간 상용
ETH 42 m 제방 무개입 시공
Bedrock, Real-X 무인 현장 투입
Baidu AES(Science Robotics 2021) · Egli et al.(RA-L 2022) · ExT(arXiv 2509.14992) · Werner et al.(arXiv 2609.12677)
규칙과 모델 → 시뮬레이션 강화학습 → 데이터·사전학습 → 종단간 학습과 상용 투입
기존 장(2023년 조사)은 1~2기에 해당. 이번에 추가한 장은 3~4기. 이후 순서: 인지 → 계획 → 제어 → 종단간·산업, 각 분야마다 흐름 1장 → 기존 장 → 주목 연구.
18
19신규 F1 · 출발점 — Baidu AES (2021) · 영상
출발점 — Baidu AES (2021)

인지·계획·제어 모듈을 이어 붙여 24시간 무인 굴착
Zhang et al., “An autonomous excavator system for material loading tasks”, Science Robotics 2021 · 영상: Baidu Inc. 공식
기존 장들에서 여러 번 인용한 Baidu 연구의 통합 시스템. 이후 연구가 무엇을 바꿨는지 비교 기준으로 제시.
19
20신규 FP · 인지 분야 흐름
Perception — 무엇이 달라졌나

센서별 전용 알고리즘에서 공개 데이터와 파운데이션 모델로
분진 제거 필터 설계
→
분진 데이터셋, 이벤트 카메라·레이더
LiDARDustX 2025
확률 높이 지도
→
의미가 붙은 지도, 장면 전체 이해
ETHcavation 2024 · ExcavaTwin 2026
텍스처 분류기, 지중 레이더
→
파운데이션 분할 + 희소 기하, 굴착 반력
ETH 바위 굴착 2025
센서 융합 상태추정
→
무라벨 자기지도, 정책 안으로 흡수
sensVLA 2026
왼쪽: 기존 18–22장(2019–2023) · 오른쪽: 2024–2026
다음 5장(기존 18–22)은 왼쪽 열, 이어지는 주목 연구는 오른쪽 열에 해당.
20
21기존 18 · Perception – De-noising · 영상 1개
22기존 19 · Perception – Terrain Mapping · 영상 2개
23기존 20 · Perception – Material Classification · 영상 1개
24기존 21 · Perception – Environment Analysis · 영상 2개
25기존 22 · Perception – State Estimation & Localization · 영상 1개
26신규 P1 · ETHcavation — 현장 전체를 이해하는 굴착기 · 영상
ETHcavation — 현장 전체를 이해하는 굴착기

영상 분할 + LiDAR 지도 + 객체 추적, 데이터와 코드 공개
Terenzi et al., arXiv 2410.04250 · leggedrobotics.github.io/panoptic-scene-understanding.github.io
26
27신규 P2 · GOOSE-Ex — 굴착기에 실은 오프로드 데이터셋 · 영상
GOOSE-Ex — 굴착기에 실은 오프로드 데이터셋

굴착기·4족로봇 탑재 센서로 모은 공개 분할 데이터
Hagmanns et al., arXiv 2409.18788 · goose-dataset.de · 영상은 같은 연구실의 관련 실증
27
28신규 P3 · 바위 굴착 — 파운데이션 분할 + 희소 기하 · 그림
바위 굴착 — 파운데이션 분할 + 희소 기하

SAM2로 바위를 찾고 LiDAR 20점으로 줄여 정책에 입력
최신입력을 작게 유지해 시뮬레이션–실기 격차 축소
Gruetter, Terenzi, Egli, Hutter, arXiv 2509.17683 (2025) Fig. 2
28
29신규 P4 · 파운데이션 모델의 현실
파운데이션 모델은 현장에서 통할까

그대로 쓰면 실패, 기하와 묶으면 유효
0.02
Grounding DINO 등
zero-shot 정밀도
vs
건설 현장 객체 검출 평가 (ISARC 2025)
arXiv 2501.09267 (ISARC 2025, 건축 설비 요소 검출 실험) · Gruetter et al., arXiv 2509.17683
웹 데이터로 학습한 모델은 현장 용어·외형에 약함. 무엇을 찾을지는 파운데이션 모델, 어떻게 다룰지는 기하·고유감각.
29
30신규 P5 · 분진과 어둠 — 데이터와 센서로 대응
분진과 어둠 — 데이터와 센서로 대응

필터 설계에서 분진 데이터셋과 이벤트 카메라로
LiDARDustX — 3만 프레임, 80% 이상이 분진 장면
RGB + 이벤트 카메라 — 저조도 검출 AP 21.3 → 33.3
LiDARDustX, arXiv 2505.21914 · Feng & Zhou, arXiv 2611.19746
30
31신규 P6 · ExcavaTwin — 학습 없이 만드는 의미 지형 지도 · 그림
ExcavaTwin — 학습 없이 만드는 의미 지형 지도

굴착이 진행되는 동안 지형과 의미를 함께 갱신
Deng et al., arXiv 2609.34719 (2026) Fig. 5
31
32신규 P7 · 보지 않고 느끼기, 그리고 정책 안의 인지
보지 않고 느끼기, 그리고 정책 안의 인지

굴착 신호로 재료를 읽고, 인지와 행동을 한 모델로
굴착 신호만으로 암석 입도 추정 — 카메라·LiDAR 없음
sensVLA — 카메라 손상 시 성능 저하 29% 감소
Artan, Magnusson, Marshall, arXiv 2602.11082 · sensVLA, arXiv 2609.17021
32
33신규 FL · 계획 분야 흐름
Planning — 무엇이 달라졌나

경로·궤적 최적화에서 결과를 예측해 고르는 학습 계획으로
영역 커버리지 경로계획
→
현장 전체 3단 계획, 언어로 지시하는 다기종 협업
ETH 2023 · LLM 행동트리 2026
규칙 기반 계층 계획
→
계층 학습, 다중작업 사전학습 정책
고려대 CLEF 2026 · ETH ExT 2025
굴착점(POA) 규칙 선정
→
확산 모델 후보 + 월드모델 예측
휠로더 월드모델 2026
버킷 궤적 최적화
→
궤적 없이 정책이 직접 생성, 굴착에서 조형으로
ExACT 2024 · ETH 제방 2026
왼쪽: 기존 23–29장(2019–2023) · 오른쪽: 2024–2026
33
34기존 23 · Planning - Task Planning (Global)
35기존 24 · Planning – Task Planning (Global) · 영상 1개
36기존 25 · Planning - Task Planning (Hierarchical)
37기존 26 · Planning - Task Planning (Hierarchical)
38기존 27 · Planning - Task Planning (Local)
39기존 28 · Planning – Bucket Trajectory Planning
40기존 29 · Planning – Bucket Trajectory Planning · 영상 1개
41신규 L1 · 현장 단위 자율 굴착 계획 · 영상
현장 단위 자율 굴착 계획

지형 스캔부터 전역·국부·굴착 계획까지 한 시스템으로
Terenzi & Hutter, “Towards Autonomous Excavation Planning”, arXiv 2308.11478, CC BY 4.0
41
42신규 L2 · 굴착을 넘어 조형으로 — 자율 석축 · 영상
굴착을 넘어 조형으로 — 자율 석축

현장의 바위를 스캔하고 골라 높이 6 m, 길이 65 m 석축 시공
Johns et al., Science Robotics 2023 · 영상: ETH Zürich 공식 (규모 수치는 원문 재확인 필요)
42
43신규 L3 · 흙 상태를 보는 강화학습 — 42 m 제방 · 영상
흙 상태를 보는 강화학습 — 42 m 제방

같은 정책이 11.5톤 굴착기와 500 g 탁상 로봇에서 동작
Werner et al., “Size Doesn’t Matter: Material-State RL”, arXiv 2609.12677 (2026), CC BY-NC-SA 4.0
GPU 입자(MPM) 흙 시뮬레이션에서 학습. 숙련 운전자와 같은 진척 속도.
43
44신규 L4 · 말로 지시하는 다기종 협업
말로 지시하는 다기종 협업

언어 모델이 작업 순서와 동기화를 짜고, 동작은 검증된 스킬이 수행
LLM 행동트리 — 시뮬레이션 30개 시나리오 최대 성공률 93%
실기 검증 — ZX200 굴착기와 덤프의 협조 작업
Tsutsumi et al., arXiv 2602.01041 (2026) · 규슈대·토목연구소
44
45신규 L5 · 어디를 팔 것인가 — 월드모델로 고르기
어디를 팔 것인가 — 월드모델로 고르기

확산 모델이 후보를 내고 월드모델이 결과를 예측해 선택
스쿱 수 17% 감소, 후보 5개 처리 72 ms
World-Action Model, arXiv 2609.15382 (2026)
45
46신규 L6 · 계층 학습과 굴착 파운데이션 정책
계층 학습과 굴착 파운데이션 정책

작업별 계획기에서 하나의 사전학습 정책으로
ExT — 여러 전문가 시연 사전학습 → 미세조정, cm 수준 정확도
Cho et al., Automation in Construction 182 (2026) · Zhai et al., arXiv 2509.14992 · CLEF 영상은 저자 개인 채널(논문 연결 미확인)
46
47신규 L7 · ExACT — 궤적 계획 없이 밸브 명령까지 · 영상
ExACT — 궤적 계획 없이 밸브 명령까지

LiDAR·카메라·관절 상태에서 밸브 명령을 직접 출력
Chen et al., arXiv 2405.05861 (2024)
47
48신규 L8 · 목표 선정에서 굴착까지 한 흐름 · 그림
목표 선정에서 굴착까지 한 흐름

지도에서 굴착점을 고르고 강화학습 이동 + 모방학습 굴착
arXiv 2609.29750 (2026) Fig. 3
48
49신규 FC · 제어 분야 흐름
Control — 무엇이 달라졌나

유압 모델을 세워 제어하던 방식에서 유압과 흙을 데이터로 배우는 방식으로
PID, 슬라이딩 모드, 적응·시간지연 제어
→
실기 운전 기록으로 유압 모델 학습
ETH 2022 · 칠레대 2026
모델예측제어(MPC)
→
병렬 시뮬레이션 강화학습의 실기 전이
ETH 자재 운반기 2024
토질 추정 후 보상
→
토질을 알려주지 않아도 전략이 나타남
ETH 바위 굴착 2025
강체 시뮬레이션
→
입자 흙 시뮬레이션에서 학습
NAIST 2026 · ETH 2026
왼쪽: 기존 30–31장 · 오른쪽: 2022–2026
49
50기존 30 · Control
51기존 31 · Control · 영상 1개
52신규 C1 · 토질 적응 굴착 — 학습한 유압 모델 위의 강화학습 · 영상
토질 적응 굴착 — 학습한 유압 모델 위의 강화학습

실기 데이터로 배운 구동기 모델 덕분에 시뮬레이션 정책이 실기에서 동작
Egli et al., “Soil-Adaptive Excavation Using Reinforcement Learning”, RA-L 2022
52
53신규 C2 · 바위 제거 — 숙련자와의 거리
바위 제거 — 숙련자와의 거리

토질을 입력받지 않아도 단단한 흙은 끌고, 무른 흙은 파고듦
Gruetter, Terenzi, Egli, Hutter, arXiv 2509.17683 (2025) Fig. 1·5
53
54신규 C3 · 대형 자재 운반기 강화학습 · 영상
대형 자재 운반기 강화학습

40톤 장비의 매달린 집게를 흔들림까지 고려해 제어
Spinelli et al., arXiv 2410.05093 (IROS 2024) · 영상은 같은 연구실의 관련 영상
54
55신규 C4 · 입자 시뮬레이션에서 실기로
입자 시뮬레이션에서 실기로

흙과 바위를 입자로 흉내 내 매설 장애물 제거를 학습
Kadokawa et al., arXiv 2606.09183 · arXiv 2412.07477
55
56신규 C5 · 68분 데이터로 배운 유압 해머 · 그림
68분 데이터로 배운 유압 해머

원격조작 기록만으로 유압 모델을 만들고 강화학습 정책을 실기에
Leiva et al., arXiv 2601.07813 (2026) · 영상: youtu.be/e-7tDhZ4ZgA (임베드 제한, 링크로 재생)
56
57기존 32 · 모방학습 기반의 End-to-End 자율작업 · 영상 1개
58신규 E1 · 말로 지시하는 굴착기 — π0.5 × Actor · 영상
말로 지시하는 굴착기 — π0.5 × Actor

범용 로봇 모델을 굴착기 조작 데이터로 미세조정
Actor(labs.actor) 공개 영상 · Physical Intelligence π0.5 — 수치는 회사 공개 자료(비심사)
58
59신규 E2 · Bedrock Robotics — 운전자 없는 상용 현장 · 영상
Bedrock Robotics — 운전자 없는 상용 현장

현장 운전 데이터 수만 시간으로 학습한 종단간 모델
Bedrock Robotics 공식 영상(투입 발표 영상 youtu.be/JkXl-PdEIU0) · therobotreport.com(2026.8), techcrunch.com(2026.10) — 회사 발표 기준
59
60신규 E3 · HD현대 Real-X × Gravis — 스위스 현장 투입 · 영상
HD현대 Real-X × Gravis — 스위스 현장 투입

22톤 무인 굴착기로 길이 1 km 트렌치 굴착
HD현대사이트솔루션 발표(2026.4.29, asiae.co.kr) · 영상: EquipmentWorld · 현장 인터뷰 영상 youtu.be/4GphvjJbLF4 — 회사 발표 기준
60
61신규 E4 · Gravis — ETH 연구실에서 현장으로
Gravis — ETH 연구실에서 현장으로

연구 → 분사 창업 → 제조사와 현장 시연
Gravis Robotics 공식 영상 · 2026.8 시리즈 A 2억 달러(siliconangle.com)
61
62신규 E5 · 제조사와 스타트업의 움직임
제조사와 스타트업의 움직임

신차보다 기존 장비 개조로 데이터부터
EquipmentWorld(Caterpillar 발표 영상) · Built Robotics 공식 영상
62
63신규 E6 · 최고 수준 요약
지금의 최고 수준 한눈에

연구는 숙련자에 근접, 상용은 무인 현장 투입 단계
| 분야 | 지금의 최고 수준 | 대표 사례 |
| 인지 | 파운데이션 분할 + 희소 기하, 공개 데이터셋 | ETH 2025 · ETHcavation · GOOSE-Ex |
| 현장 계획 | 언어 지시 → 다기종 행동트리, 성공률 93% | 규슈대 2026 |
| 굴착·조형 | 42 m 제방 45분, 201회 무개입 | ETH 2026 |
| 제어 | 바위 제거 성공률 70% (숙련자 83%) | ETH 2025 |
| 사전학습 정책 | 다중작업 사전학습 → 미세조정, cm 수준 | ETH ExT 2025 |
| 종단간 상용 | 운전자 없는 현장, 22 t 장비 1 km 트렌치 | Bedrock · HD현대 Real-X × Gravis |
상용 수치는 회사 발표 기준 · 학술 수치는 각 논문 초록 기준
기술현황 구간의 마무리. 이후 기계연 연구로 연결.
63
64기존 33 · 오프로드 자율주행 환경인식 기술 · 영상 2개
65기존 34 · 협업 크레인 거더 자동운반 · 영상 4개
66기존 35 · 굴착기·휠로더 원격제어 retrofit
67기존 36 · 원격제어 굴착기 시연 · 영상 1개
68기존 37 · 과수 예찰 자율 농업기계 · 영상 1개
69기존 38 · 과수 예찰 주행·자세 시험 · 영상 2개
70기존 39 · UAV·UGV 연동 시험 · 영상 1개
71기존 40 · 숙련자 데이터 학습 파이프라인
72기존 41 · MC 굴착기 센서 구성
73기존 42 · 2D 그리드 작업계획 강화학습
74기존 43 · 가상환경 자율작업 시스템 구조
75기존 44 · 가상환경 자율작업 1사이클 · 영상 1개
76기존 45 · 토공 자율작업 가상환경 시뮬레이터 구축 · 영상 2개
77기존 46 · 관로파기 현장 실증과 관제 UI · 영상 1개
78기존 47 · 강화학습 실기 전이 · 영상 3개
79기존 48 · 필드 지형 강화학습 · 영상 7개
80기존 49 · 선택기 기반 정책 전환 · 영상 2개
81기존 50 · 18. 필드로봇 피지컬 AI
82기존 51 · 필드로봇 AI, 어떻게 적용할 것인가