GIST 콜로키움 「필드로봇 피지컬AI」 검토용 v2전체 82장 = 기존 51 + 신규 31 신규 장만 보기 / 전체 보기 영상 표시가 있는 그림은 누르면 유튜브에서 재생
1기존 1 · 표지
2기존 2 · 목차
3기존 3 · 1. AI, 로봇, 그리고 산업기계
4기존 4 · 2. 프로그래밍에서 학습으로의 전환 · 영상 2개
5기존 5 · 3. 행동 생성의 두 접근: VLA와 WAM · 영상 2개
6기존 6 · 4. 로봇 두뇌의 구성 방식
7기존 7 · 5. 로봇 학습의 데이터 격차
8기존 8 · 6. 학습 데이터의 확보와 확장 · 영상 3개
9기존 9 · 7. 현장 적용의 조건 · 영상 1개
10기존 10 · 14. 기계연 로봇 연구의 발전
11기존 11 · 15. 휴머노이드 카이로스 · 영상 3개
12기존 12 · 16. 로봇 작업지능과 학습 데이터 · 영상 3개
13기존 13 · 19. 의료로봇 · 영상 3개
14기존 14 · 20. 디지털트윈 · 영상 3개
15기존 15 · Field Robotics
16기존 16 · 현장의 4대 도전과제
17기존 17 · 스마트 건설기계 세부 기술
18신규 F0 · 연구 흐름 한눈에
03
필드로봇
AI기술

연구 흐름 한눈에

모듈별 설계에서 데이터로 배우는 하나의 정책으로
2019–2021
모듈을 이어 붙인 시스템
Baidu AES 24시간 무인 굴착
ETH HEAP 자율 굴착기
→
2022–2023
시뮬레이션 강화학습의 실기 전이
ETH 유압 구동기 학습 모델
HEAP 6 m 석축, 현장 단위 계획
→
2024–2025
공개 데이터와 사전학습 정책
ETHcavation, GOOSE-Ex
ExACT, ExT 다중작업 정책
→
2026
흙을 아는 정책, 종단간 상용
ETH 42 m 제방 무개입 시공
Bedrock, Real-X 무인 현장 투입
Baidu AES(Science Robotics 2021) · Egli et al.(RA-L 2022) · ExT(arXiv 2509.14992) · Werner et al.(arXiv 2609.12677)
규칙과 모델 → 시뮬레이션 강화학습 → 데이터·사전학습 → 종단간 학습과 상용 투입
기존 장(2023년 조사)은 1~2기에 해당. 이번에 추가한 장은 3~4기. 이후 순서: 인지 → 계획 → 제어 → 종단간·산업, 각 분야마다 흐름 1장 → 기존 장 → 주목 연구.
18
19신규 F1 · 출발점 — Baidu AES (2021) · 영상
03
필드로봇
AI기술

출발점 — Baidu AES (2021)

인지·계획·제어 모듈을 이어 붙여 24시간 무인 굴착
Baidu Research · Science Robotics 2021영상
2021 기준점
24h+
무인 연속 작업
모듈마다 따로 설계한 규칙·학습 조합
Zhang et al., “An autonomous excavator system for material loading tasks”, Science Robotics 2021 · 영상: Baidu Inc. 공식
기존 장들에서 여러 번 인용한 Baidu 연구의 통합 시스템. 이후 연구가 무엇을 바꿨는지 비교 기준으로 제시.
19
20신규 FP · 인지 분야 흐름
03
필드로봇
AI기술

Perception — 무엇이 달라졌나

센서별 전용 알고리즘에서 공개 데이터와 파운데이션 모델로
분진 제거 필터 설계
→
분진 데이터셋, 이벤트 카메라·레이더
LiDARDustX 2025
확률 높이 지도
→
의미가 붙은 지도, 장면 전체 이해
ETHcavation 2024 · ExcavaTwin 2026
텍스처 분류기, 지중 레이더
→
파운데이션 분할 + 희소 기하, 굴착 반력
ETH 바위 굴착 2025
센서 융합 상태추정
→
무라벨 자기지도, 정책 안으로 흡수
sensVLA 2026
왼쪽: 기존 18–22장(2019–2023) · 오른쪽: 2024–2026
다음 5장(기존 18–22)은 왼쪽 열, 이어지는 주목 연구는 오른쪽 열에 해당.
20
21기존 18 · Perception – De-noising · 영상 1개
22기존 19 · Perception – Terrain Mapping · 영상 2개
23기존 20 · Perception – Material Classification · 영상 1개
24기존 21 · Perception – Environment Analysis · 영상 2개
25기존 22 · Perception – State Estimation & Localization · 영상 1개
26신규 P1 · ETHcavation — 현장 전체를 이해하는 굴착기 · 영상
03
필드로봇
AI기술

ETHcavation — 현장 전체를 이해하는 굴착기

영상 분할 + LiDAR 지도 + 객체 추적, 데이터와 코드 공개
ETH RSL · ACRA 2024영상
공개 데이터셋
502장
수작업 panoptic 라벨
M545 굴착기 자율주행 실증
Terenzi et al., arXiv 2410.04250 · leggedrobotics.github.io/panoptic-scene-understanding.github.io
26
27신규 P2 · GOOSE-Ex — 굴착기에 실은 오프로드 데이터셋 · 영상
03
필드로봇
AI기술

GOOSE-Ex — 굴착기에 실은 오프로드 데이터셋

굴착기·4족로봇 탑재 센서로 모은 공개 분할 데이터
Fraunhofer IOSB · 자율 굴착기 드럼 회수영상
ICRA 2025
5,000
추가 프레임(카메라+LiDAR)
분할 결과로 물체를 집는 실증
Hagmanns et al., arXiv 2409.18788 · goose-dataset.de · 영상은 같은 연구실의 관련 실증
27
28신규 P3 · 바위 굴착 — 파운데이션 분할 + 희소 기하 · 그림
03
필드로봇
AI기술

바위 굴착 — 파운데이션 분할 + 희소 기하

SAM2로 바위를 찾고 LiDAR 20점으로 줄여 정책에 입력
ETH RSL 2025Gruetter et al., CC BY 4.0
최신
20점
바위 하나의 표현
입력을 작게 유지해 시뮬레이션–실기 격차 축소
Gruetter, Terenzi, Egli, Hutter, arXiv 2509.17683 (2025) Fig. 2
28
29신규 P4 · 파운데이션 모델의 현실
03
필드로봇
AI기술

파운데이션 모델은 현장에서 통할까

그대로 쓰면 실패, 기하와 묶으면 유효
0.02
Grounding DINO 등
zero-shot 정밀도
vs
0.87
YOLO11n
미세조정
건설 현장 객체 검출 평가 (ISARC 2025)
분할기로만 쓰고 기하로 압축 → 실기 동작Gruetter et al., CC BY 4.0
arXiv 2501.09267 (ISARC 2025, 건축 설비 요소 검출 실험) · Gruetter et al., arXiv 2509.17683
웹 데이터로 학습한 모델은 현장 용어·외형에 약함. 무엇을 찾을지는 파운데이션 모델, 어떻게 다룰지는 기하·고유감각.
29
30신규 P5 · 분진과 어둠 — 데이터와 센서로 대응
03
필드로봇
AI기술

분진과 어둠 — 데이터와 센서로 대응

필터 설계에서 분진 데이터셋과 이벤트 카메라로
LiDARDustX 2025CC BY-NC-SA 4.0
LiDARDustX — 3만 프레임, 80% 이상이 분진 장면
이벤트 카메라 융합 2026
RGB + 이벤트 카메라 — 저조도 검출 AP 21.3 → 33.3
LiDARDustX, arXiv 2505.21914 · Feng & Zhou, arXiv 2611.19746
30
31신규 P6 · ExcavaTwin — 학습 없이 만드는 의미 지형 지도 · 그림
03
필드로봇
AI기술

ExcavaTwin — 학습 없이 만드는 의미 지형 지도

굴착이 진행되는 동안 지형과 의미를 함께 갱신
2026
최신
12.7cm
변형 영역 평균 높이 오차
1.4s
갱신 주기
Deng et al., arXiv 2609.34719 (2026) Fig. 5
31
32신규 P7 · 보지 않고 느끼기, 그리고 정책 안의 인지
03
필드로봇
AI기술

보지 않고 느끼기, 그리고 정책 안의 인지

굴착 신호로 재료를 읽고, 인지와 행동을 한 모델로
Digging for Data · IEEE T-FR 2026
굴착 신호만으로 암석 입도 추정 — 카메라·LiDAR 없음
sensVLA · 휠로더 2026CC BY-NC-ND 4.0
sensVLA — 카메라 손상 시 성능 저하 29% 감소
Artan, Magnusson, Marshall, arXiv 2602.11082 · sensVLA, arXiv 2609.17021
32
33신규 FL · 계획 분야 흐름
03
필드로봇
AI기술

Planning — 무엇이 달라졌나

경로·궤적 최적화에서 결과를 예측해 고르는 학습 계획으로
영역 커버리지 경로계획
→
현장 전체 3단 계획, 언어로 지시하는 다기종 협업
ETH 2023 · LLM 행동트리 2026
규칙 기반 계층 계획
→
계층 학습, 다중작업 사전학습 정책
고려대 CLEF 2026 · ETH ExT 2025
굴착점(POA) 규칙 선정
→
확산 모델 후보 + 월드모델 예측
휠로더 월드모델 2026
버킷 궤적 최적화
→
궤적 없이 정책이 직접 생성, 굴착에서 조형으로
ExACT 2024 · ETH 제방 2026
왼쪽: 기존 23–29장(2019–2023) · 오른쪽: 2024–2026
33
34기존 23 · Planning - Task Planning (Global)
35기존 24 · Planning – Task Planning (Global) · 영상 1개
36기존 25 · Planning - Task Planning (Hierarchical)
37기존 26 · Planning - Task Planning (Hierarchical)
38기존 27 · Planning - Task Planning (Local)
39기존 28 · Planning – Bucket Trajectory Planning
40기존 29 · Planning – Bucket Trajectory Planning · 영상 1개
41신규 L1 · 현장 단위 자율 굴착 계획 · 영상
03
필드로봇
AI기술

현장 단위 자율 굴착 계획

지형 스캔부터 전역·국부·굴착 계획까지 한 시스템으로
ETH RSL · 2023영상
기준 연구
30초
평균 굴착 사이클 (사람 수준)
문서화된 최대 규모 자율 굴착
Terenzi & Hutter, “Towards Autonomous Excavation Planning”, arXiv 2308.11478, CC BY 4.0
41
42신규 L2 · 굴착을 넘어 조형으로 — 자율 석축 · 영상
03
필드로봇
AI기술

굴착을 넘어 조형으로 — 자율 석축

현장의 바위를 스캔하고 골라 높이 6 m, 길이 65 m 석축 시공
ETH Zürich · Science Robotics 2023영상
대표 성과
6m
석축 높이
65m
석축 길이
Johns et al., Science Robotics 2023 · 영상: ETH Zürich 공식 (규모 수치는 원문 재확인 필요)
42
43신규 L3 · 흙 상태를 보는 강화학습 — 42 m 제방 · 영상
03
필드로봇
AI기술

흙 상태를 보는 강화학습 — 42 m 제방

같은 정책이 11.5톤 굴착기와 500 g 탁상 로봇에서 동작
ETH RSL · 2026영상
최고 수준
45분
42 m 제방 조성
201회
무개입 연속 스트로크
Werner et al., “Size Doesn’t Matter: Material-State RL”, arXiv 2609.12677 (2026), CC BY-NC-SA 4.0
GPU 입자(MPM) 흙 시뮬레이션에서 학습. 숙련 운전자와 같은 진척 속도.
43
44신규 L4 · 말로 지시하는 다기종 협업
03
필드로봇
AI기술

말로 지시하는 다기종 협업

언어 모델이 작업 순서와 동기화를 짜고, 동작은 검증된 스킬이 수행
지시 → 행동 순서 → 기계별 행동트리
LLM 행동트리 — 시뮬레이션 30개 시나리오 최대 성공률 93%
실기: 굴착기 + 크롤러 덤프
실기 검증 — ZX200 굴착기와 덤프의 협조 작업
Tsutsumi et al., arXiv 2602.01041 (2026) · 규슈대·토목연구소
44
45신규 L5 · 어디를 팔 것인가 — 월드모델로 고르기
03
필드로봇
AI기술

어디를 팔 것인가 — 월드모델로 고르기

확산 모델이 후보를 내고 월드모델이 결과를 예측해 선택
휠로더 월드모델 2026
후보 생성 → 지형·적재량 예측 → 실행
탑재 카메라 화면의 후보 궤적 5개
스쿱 수 17% 감소, 후보 5개 처리 72 ms
World-Action Model, arXiv 2609.15382 (2026)
45
46신규 L6 · 계층 학습과 굴착 파운데이션 정책
03
필드로봇
AI기술

계층 학습과 굴착 파운데이션 정책

작업별 계획기에서 하나의 사전학습 정책으로
고려대 CLEF · Autom. Constr. 2026영상
CLEF — 상위 강화학습 + 하위 모방학습, 성공률 90.8% (단일 구조 71.1%)
ETH ExT 2025
ExT — 여러 전문가 시연 사전학습 → 미세조정, cm 수준 정확도
Cho et al., Automation in Construction 182 (2026) · Zhai et al., arXiv 2509.14992 · CLEF 영상은 저자 개인 채널(논문 연결 미확인)
46
47신규 L7 · ExACT — 궤적 계획 없이 밸브 명령까지 · 영상
03
필드로봇
AI기술

ExACT — 궤적 계획 없이 밸브 명령까지

LiDAR·카메라·관절 상태에서 밸브 명령을 직접 출력
Baidu RAL · ICRA 2024 워크숍영상
모방학습
소수 시연으로 도달·굴착·덤프
시뮬레이션 검증 단계
Chen et al., arXiv 2405.05861 (2024)
47
48신규 L8 · 목표 선정에서 굴착까지 한 흐름 · 그림
03
필드로봇
AI기술

목표 선정에서 굴착까지 한 흐름

지도에서 굴착점을 고르고 강화학습 이동 + 모방학습 굴착
축소형 유압 굴착기 2026
최신
2.4배
고정 굴착 대비 사이클당 적재량
arXiv 2609.29750 (2026) Fig. 3
48
49신규 FC · 제어 분야 흐름
03
필드로봇
AI기술

Control — 무엇이 달라졌나

유압 모델을 세워 제어하던 방식에서 유압과 흙을 데이터로 배우는 방식으로
PID, 슬라이딩 모드, 적응·시간지연 제어
→
실기 운전 기록으로 유압 모델 학습
ETH 2022 · 칠레대 2026
모델예측제어(MPC)
→
병렬 시뮬레이션 강화학습의 실기 전이
ETH 자재 운반기 2024
토질 추정 후 보상
→
토질을 알려주지 않아도 전략이 나타남
ETH 바위 굴착 2025
강체 시뮬레이션
→
입자 흙 시뮬레이션에서 학습
NAIST 2026 · ETH 2026
왼쪽: 기존 30–31장 · 오른쪽: 2022–2026
49
50기존 30 · Control
51기존 31 · Control · 영상 1개
52신규 C1 · 토질 적응 굴착 — 학습한 유압 모델 위의 강화학습 · 영상
03
필드로봇
AI기술

토질 적응 굴착 — 학습한 유압 모델 위의 강화학습

실기 데이터로 배운 구동기 모델 덕분에 시뮬레이션 정책이 실기에서 동작
ETH RSL · RA-L 2022영상
기반 기술
흙 종류가 달라도 같은 정책
이후 ETH 연구의 공통 토대
Egli et al., “Soil-Adaptive Excavation Using Reinforcement Learning”, RA-L 2022
52
53신규 C2 · 바위 제거 — 숙련자와의 거리
03
필드로봇
AI기술

바위 제거 — 숙련자와의 거리

토질을 입력받지 않아도 단단한 흙은 끌고, 무른 흙은 파고듦
12 t 굴착기 · ETH 2025CC BY 4.0
성공률 70% — 숙련 운전자 83%
같은 정책, 다른 흙CC BY 4.0
토질별 버킷 경로 — 추정 없이 나타난 전략
Gruetter, Terenzi, Egli, Hutter, arXiv 2509.17683 (2025) Fig. 1·5
53
54신규 C3 · 대형 자재 운반기 강화학습 · 영상
03
필드로봇
AI기술

대형 자재 운반기 강화학습

40톤 장비의 매달린 집게를 흔들림까지 고려해 제어
ETH RSL · 대형 자재 운반 로봇영상
IROS 2024
40t
자재 운반기
선회 유압의 비선형을 학습 모델로
Spinelli et al., arXiv 2410.05093 (IROS 2024) · 영상은 같은 연구실의 관련 영상
54
55신규 C4 · 입자 시뮬레이션에서 실기로
03
필드로봇
AI기술

입자 시뮬레이션에서 실기로

흙과 바위를 입자로 흉내 내 매설 장애물 제거를 학습
NAIST · 2026영상
매설 장애물 제거 — 3일 학습, 12 t 굴착기 실기 전이
NAIST · IEEE T-ASE 2025영상
해상도 점진 증류 — 학습 시간 1/7 미만
Kadokawa et al., arXiv 2606.09183 · arXiv 2412.07477
55
56신규 C5 · 68분 데이터로 배운 유압 해머 · 그림
03
필드로봇
AI기술

68분 데이터로 배운 유압 해머

원격조작 기록만으로 유압 모델을 만들고 강화학습 정책을 실기에
칠레대 · Bobcat E10 · 2026
데이터 효율
68분
학습에 쓴 조작 데이터
12cm
위치 오차 미만
Leiva et al., arXiv 2601.07813 (2026) · 영상: youtu.be/e-7tDhZ4ZgA (임베드 제한, 링크로 재생)
56
57기존 32 · 모방학습 기반의 End-to-End 자율작업 · 영상 1개
58신규 E1 · 말로 지시하는 굴착기 — π0.5 × Actor · 영상
03
필드로봇
AI기술

말로 지시하는 굴착기 — π0.5 × Actor

범용 로봇 모델을 굴착기 조작 데이터로 미세조정
Actor · 2026.3영상
회사 공개 데모
200
실제 조작 궤적(약)
위성 통신으로 원격 추론
Actor(labs.actor) 공개 영상 · Physical Intelligence π0.5 — 수치는 회사 공개 자료(비심사)
58
59신규 E2 · Bedrock Robotics — 운전자 없는 상용 현장 · 영상
03
필드로봇
AI기술

Bedrock Robotics — 운전자 없는 상용 현장

현장 운전 데이터 수만 시간으로 학습한 종단간 모델
Bedrock Robotics · 실제 현장 자율 굴착영상
상용
2026.8
무인 상용 현장 첫 투입
10억$
누적 투자(약)
Bedrock Robotics 공식 영상(투입 발표 영상 youtu.be/JkXl-PdEIU0) · therobotreport.com(2026.8), techcrunch.com(2026.10) — 회사 발표 기준
59
60신규 E3 · HD현대 Real-X × Gravis — 스위스 현장 투입 · 영상
03
필드로봇
AI기술

HD현대 Real-X × Gravis — 스위스 현장 투입

22톤 무인 굴착기로 길이 1 km 트렌치 굴착
Develon 27톤 굴착기 × Gravis영상
국내 OEM
1km
깊이 3 m 트렌치
120%
수작업 대비 생산성(약)
HD현대사이트솔루션 발표(2026.4.29, asiae.co.kr) · 영상: EquipmentWorld · 현장 인터뷰 영상 youtu.be/4GphvjJbLF4 — 회사 발표 기준
60
61신규 E4 · Gravis — ETH 연구실에서 현장으로
03
필드로봇
AI기술

Gravis — ETH 연구실에서 현장으로

연구 → 분사 창업 → 제조사와 현장 시연
Gravis × Develon · Bauma 2025영상
자율 덤프트럭 상차 현장 시연
Gravis × Hitachi · Bauma 2025영상
자율 트렌칭 현장 시연
Gravis Robotics 공식 영상 · 2026.8 시리즈 A 2억 달러(siliconangle.com)
61
62신규 E5 · 제조사와 스타트업의 움직임
03
필드로봇
AI기술

제조사와 스타트업의 움직임

신차보다 기존 장비 개조로 데이터부터
Caterpillar · CES 2026영상
Caterpillar — 자율 굴착기·도저·운반트럭 공개
Built Robotics · 2026영상
Built Robotics — 태양광 현장 자율 항타
EquipmentWorld(Caterpillar 발표 영상) · Built Robotics 공식 영상
62
63신규 E6 · 최고 수준 요약
03
필드로봇
AI기술

지금의 최고 수준 한눈에

연구는 숙련자에 근접, 상용은 무인 현장 투입 단계
분야지금의 최고 수준대표 사례
인지파운데이션 분할 + 희소 기하, 공개 데이터셋ETH 2025 · ETHcavation · GOOSE-Ex
현장 계획언어 지시 → 다기종 행동트리, 성공률 93%규슈대 2026
굴착·조형42 m 제방 45분, 201회 무개입ETH 2026
제어바위 제거 성공률 70% (숙련자 83%)ETH 2025
사전학습 정책다중작업 사전학습 → 미세조정, cm 수준ETH ExT 2025
종단간 상용운전자 없는 현장, 22 t 장비 1 km 트렌치Bedrock · HD현대 Real-X × Gravis
상용 수치는 회사 발표 기준 · 학술 수치는 각 논문 초록 기준
기술현황 구간의 마무리. 이후 기계연 연구로 연결.
63
64기존 33 · 오프로드 자율주행 환경인식 기술 · 영상 2개
65기존 34 · 협업 크레인 거더 자동운반 · 영상 4개
66기존 35 · 굴착기·휠로더 원격제어 retrofit
67기존 36 · 원격제어 굴착기 시연 · 영상 1개
68기존 37 · 과수 예찰 자율 농업기계 · 영상 1개
69기존 38 · 과수 예찰 주행·자세 시험 · 영상 2개
70기존 39 · UAV·UGV 연동 시험 · 영상 1개
71기존 40 · 숙련자 데이터 학습 파이프라인
72기존 41 · MC 굴착기 센서 구성
73기존 42 · 2D 그리드 작업계획 강화학습
74기존 43 · 가상환경 자율작업 시스템 구조
75기존 44 · 가상환경 자율작업 1사이클 · 영상 1개
76기존 45 · 토공 자율작업 가상환경 시뮬레이터 구축 · 영상 2개
77기존 46 · 관로파기 현장 실증과 관제 UI · 영상 1개
78기존 47 · 강화학습 실기 전이 · 영상 3개
79기존 48 · 필드 지형 강화학습 · 영상 7개
80기존 49 · 선택기 기반 정책 전환 · 영상 2개
81기존 50 · 18. 필드로봇 피지컬 AI
82기존 51 · 필드로봇 AI, 어떻게 적용할 것인가