굴착기와 이동식 크레인이 작업하는 공사 현장 개념 일러스트(생성 이미지)
한국건설기술연구원 지반연구본부 세미나
2026. 11.
KICT Seminar

필드로봇에서의
AI활용

이한민 산업기계DX연구실장
한국기계연구원
1

1. AI, 로봇, 그리고 산업기계

산업마다 무인화와 자율화 요구가 먼저 있었고, ChatGPT 모멘트가 그것을 가속
전망AI젠슨 황의 4단계로봇모델 → 학습→ 파운데이션산업기계자동화 → 자율화→ 피지컬 AI2010201220142016201820202022202420262028ChatGPT 모멘트 → 가속Perception AI보고 듣고 인식Generative글, 그림코드 생성Agentic스스로 계획도구 실행Physical AI현실에서 보고몸으로 행동AlexNetAlphaGoChatGPTCES 피지컬 AI모델 기반 제어고전 비전과 제어정해진 동작의 정확한 반복학습 기반 제어시뮬레이션 강화학습과 모방학습보행부터파운데이션 모델VLA, RFM에 월드 액션 모델 추가언어로 이해하고, 예측하며 행동+ 월드 액션 모델패턴 자동화정형 반복 작업머신 컨트롤과 가이던스스마트건설기계, 스마트농기계자율화센서 융합, 경로 계획원격과 반자율필드로봇 피지컬 AI학습 기반 자율작업굴착기와 농기계
2

2. 프로그래밍에서 학습으로의 전환

데이터와 경험으로 학습해, 더 다양한 작업과 환경에 대응
프로그래밍 중심
사람이 동작 설계→실행
FANUC 태블릿 티치 펜던트
→
학습 중심
시연·경험→학습→실행
Figure Helix 2.5 (2026.09)
3

3. 행동 생성의 두 접근: VLA와 WAM

이해를 행동으로 연결하는 VLA · 미래를 예측해 행동하는 WAM

VLAVision-Language-Action

Chef Robotics · Physical Intelligence Pi API
햄버거 조립

WAMWorld Action Model

1X World Model · NEO
티슈 뽑기
4

4. 로봇 두뇌의 구성 방식

하나의 모델이 행동을 직접 출력하거나, 이해와 제어를 나누어 처리
행동 직접 출력Google DeepMind RT-2 (2023)
RT-2 Vision-Language-Action 모델 구성도
↑지시와 영상 입력
↑행동 토큰을 로봇 동작으로
영상과 지시를 받아 하나의 VLA 모델이 행동 토큰을 직접 출력
이해와 제어 역할 분담Figure Helix (2025.02)
Figure Helix System 2, System 1 구성도
이해·계획→
연속 제어→
System 2가 장면과 지시를 이해, System 1이 연속 동작으로 변환
5

5. 로봇 학습의 데이터 격차

인터넷에 축적된 지식에 비해, 로봇의 행동 경험은 부족
인터넷의 글과 그림
웹 문서, 코드, 이미지 예시웹 데이터 예시
vs
로봇의 원격조작 경험
DROID로봇 시연 데이터 예시
Goldberg (2025)의 당시 비교
약 10만 년
학습용 글과 그림을 사람이 읽고 보는 시간
약 1년
당시 최대 원격조작 데이터셋의 누적 기록 시간
로봇에는 관찰, 행동, 결과가 연결된 경험이 필요
6

6. 학습 데이터의 확보와 확장

로봇으로 수집하고, 사람에게서 배우고, 합성 데이터로 확장
1텔레오퍼레이션
Stanford, Mobile ALOHA (2024)
사람 조작으로 관찰과 행동 기록
+
2사람 영상 기반 학습
사람 1인칭 영상
▼ 학습에 활용
로봇 이동
Figure, Project Go-Big (2025.09)
1인칭 영상으로 로봇 이동 학습
+
3합성 데이터 생성
소수 시연
▼ 배치를 바꿔 증강
다수 변형 궤적
NVIDIA, DexMimicGen (2024)
소수 시연을 시뮬레이션에서 증강
시뮬레이션 증강월드 모델 생성
다양한 경험으로 확장하고, 실제 작업으로 보정하고 검증
7

7. 현장 적용의 조건

현장의 기준은 안정적인 작업 완수, 지속적인 가동, 비용 대비 생산성
1작업 신뢰도
Telexistence TX SCARA
Telexistence, 일본 편의점 음료 진열
운영자 1명이 약 50대 감시
물건을 떨어뜨리는 등 예외 상황은
원격 운영자가 복구
→
2운영 지속성
Figure 02, BMW 스파턴버그 공장
누적 1,250시간+, 부품 9만 개+
가동률이 아닌 11개월 누적 실적
주요 고장 지점인 전완부 재설계
→
3경제성
Rosendin 태양광 설치 로봇
Rosendin, 미국 태양광 현장시험
2인 작업조, 8시간 350–400장
3–4인 수작업조 대비 3배 속도
생산성 개선 사례, 투자회수는 별도
작업 성공뿐 아니라, 실패해도 복구하고 계속 운영할 수 있어야 현장 적용
8

14. 기계연 로봇 연구의 발전

휴머노이드, 필드로봇, 의료로봇으로 확장되는 기계 지능
휴머노이드
휴머노이드 카이로스
사람의 환경에서 작업
필드로봇
KIMM 자율작업 굴착기
산업·재난 현장의 작업
의료로봇
수술실의 KIMM 의료로봇
정밀한 의료 작업
6축 산업로봇
1986 국내 최초 6축 산업로봇
▶
양팔로봇 아미로
2010 양팔로봇 아미로
▶
현재 휴머노이드 카이로스 V0.7
9

15. 휴머노이드 카이로스

이동과 조작을 위한 로봇 플랫폼과 핵심부품 개발
2026 글로벌 기계기술 포럼 2026. 9. 7.
카이로스 V0.7 탈춤 시연
로드맵2027.4V1▶2030.4V2 초감각, 전신감각▶2035실용화
구동기
2.1kg으로
최대 192 N·m
전용 구동기 5종 자체 설계, 성능 20% 향상
로봇 핸드
핀셋을 쥐고
작은 부품까지
오랜 핸드 연구의 축적
대면적 몸통 촉각센서
촉각 피부 차별점
쓰다듬는 손길까지
감지
3축 촉각, 자가회복 피부
10

16. 로봇 작업지능과 학습 데이터

사람의 시연을 학습해 다양한 작업으로 확장
1시연 수집
2이해와 계획
3작업 수행 RoGeTA
RoGeTA 교시 장치로
사람의 시연 수집
데이터 팩토리
휴머노이드 여러 대의 동시 시연 수집 환경
▶
명령 이해언어·시각 모델
작업 계획순서 수립과 검증
동작 조합집기, 놓기, 복구
▶
테이블 정리
분리수거와 물건 전달
11

19. 의료로봇

정밀조작과 원격제어로 의료 역량 확장
정밀조작최소침습 카테터 수술로봇
심장 모형 속 카테터
가는 관 끝을 떨림 없이 원하는 방향으로 조향
원격제어울릉도–대구 원격 초음파
의사 · 조작
로봇 · 초음파
의사의 손 조작을 먼 곳의 로봇이 따라 초음파 영상 획득
12

20. 디지털트윈

실제 장비와 가상 트윈을 실시간 연동해 학습·최적화
실제 장비디지털트윈
자율주행 트랙터 — 실차 작업을 트윈에서 실시간 관제
디지털트윈실제 설비
공작기계 자율제조 셀 — 설비·로봇 동작을 트윈과 연동
美 Digital Twin Consortium공식 테스트베드
MANDATE-R2R 이차전지 롤투롤 자율제조
실제 설비와 트윈을 실시간 연동, 다중 AI 에이전트가 공정을 스스로 최적화 · 2025.12 등록
13

Field Robotics

비정형·옥외 환경에서 일하는 모든 로봇
건설
건설굴착기 · 휠로더 · 도저
농업
농업트랙터 · 과수 모니터링
광업
광업채굴 · 운반 · 정리
임업
임업벌채 · 식재 · 운반
재난·국방
재난·국방탐색구조 · 정찰
해양
해양해저 작업 · 양식
우주
우주행성 탐사
도시 인프라
도시 인프라하수도 · 터널 점검
14

현장의 4대 도전과제

불확실성 · 부분관측 · 동적 환경, 그리고 안전과 신뢰
불확실성
01불확실성

토질 · 흙의 밀도 · 식생 · 기상이
매 작업마다 다름

부분관측
02부분관측

지하 매설물 · 가려진 장애물
먼지로 인한 센서 저하

동적 환경
03동적 환경

작업이 진행될수록
지형 자체가 바뀜 (굴착·운반)

안전과 신뢰
04안전과 신뢰

30톤 굴착기가
작업자 옆에서 움직임

15

4계층으로 보는 Field Robot AI

환경을 이해 → 무엇을 할지 결정 → 어디서 · 어떻게 할지 → 물리 제약 안에서 실행
L1
Perception & World Model환경을 이해

Multi-Modal Fusion · NeRF · SAM

L2
Task Reasoning무엇을 할지 결정

LLM · VLM · Foundation Models

L3
Planning & Decision어디서 · 어떻게 할지

RL · Imitation Learning · Diffusion Policy

L4
Control물리 제약 안에서 실행

MPC · Learned Residuals · Safety Layer

16

3D 지형을 어떻게 표현할 것인가

단일 센서가 아닌 LiDAR + Stereo + IMU 다중 융합이 디폴트가 됨.
2.5D Height Map

격자 셀당 높이의 평균·분산

실시간 5 Hz 업데이트 · 굴착·평탄화 표준

Point Cloud

LiDAR 원본 데이터

정밀하지만 계산 비용 ↑

NeRF / 3D Gaussian Splatting

미분 가능한 3D 재구성

시뮬레이션 합성 데이터 생성

Occupancy Networks

자율주행에서 검증된 표현

건설·농업으로 확산 중

점군 정합과 표면 재구성 (a)~(f)
점군 정합 → 표면 재구성
17

현장은 깨끗하지 않다

눈 · 비 · 분진 · 진흙
확률 기반 노이즈 제거

섹션별 노이즈 점군 밀도를 추정하여 제거

다중 모달 융합

단일 센서 실패를 다른 센서가 보완

자기지도학습

라벨 없이 인지 범위 확장

센서 클리닝

진흙 · 흙탕물 대응 물리적 클리닝

진흙 속 트랙터
비포장 지형 무인 차량
18

옥외 인지에 들어온 Vision FMs

→ 라벨 비용이 극단적으로 ↓ · 현장 데이터 수집 병목 해소
SAM / SAM 2
ZERO-SHOT 분할

라벨 없이 객체 마스킹

DINOv2 / CLIP
사전학습 특징

적은 데이터로 일반화

Depth Anything
단안 깊이 추정

일반화 성능 급상승

Open-Vocabulary Det.
자연어 쿼리

“흙더미 옆 사람”, “노란 안전모”

굴착 현장 객체 분할 예시
19

GPS가 안 되는 곳에서 어떻게 위치를 알까

옥외 SLAM은 풀린 문제는 아니지만, 5년 전 대비 양상이 완전히 바뀌었다.
LIO-SAM / FAST-LIO

LiDAR + IMU 융합

과수원 · 터널 · 실내 표준

Visual-Inertial Odom.

카메라 + IMU

경량 플랫폼용

Learning-based loop closure

변화하는 지형에서도 재인식

계절 변화 대응

RTK + IMU Fusion

cm급 정밀도

GPS 단절 시 IMU 보완

LiDAR 점군 지도
20

휴리스틱에서 학습 기반 결정으로

→ 학습 기반은 데이터 의존적이지만, 같은 양의 데이터로 점점 더 많은 작업을 푼다.
GEN.APPROACHEXAMPLESLIMITATION
1세대기하학적 경로계획Dubins · A* · RRT정적 가정 · 비용함수 수동
2세대최적화 기반 제어MPC · Trajectory Opt.모델 의존 · 비선형 한계
3세대학습 기반Imitation · RL · Diffusion데이터 의존 · 효율 폭발
4세대LLM-as-plannerVLA · SayCan · PaLM-E자연어 미션 → 행동 시퀀스
21

숙련자에게 배우기

굴착기 운전 숙련까지 4–5년 — 암묵 지식이 절대다수
왜 시연인가
  • 굴착기 운전 숙련까지 4–5년 — 암묵 지식이 절대다수
  • 보상함수 설계가 어려운 작업 (정밀 그레이딩)
  • 대량 시연 수집은 retrofit + 일반 작업 중에도 가능
대표 기법
Behavior Cloning · DAgger기본 시연 모방
Diffusion Policy다봉 행동 분포 생성
ACT · VQ-BeTAction Chunking, 토큰화
Offline RL + Demos시연 + RL 결합
22

옥외에서 강화학습이 통하려면

Massively Parallel Sim · Domain Randomization · Real-to-Sim-to-Real
Massively Parallel Sim

Isaac Sim · MuJoCo MJX · Vortex Studio

수천 개 로봇을 GPU 한 대에서 동시에 학습

Domain Randomization

Texture · Friction · Lighting

토질 · 마찰 · 조명을 무작위화하여 일반화

Real-to-Sim-to-Real

NeRF / GS reconstruction

실측으로 시뮬레이터를 보정

병렬 시뮬레이션 GIF (왼쪽)
병렬 시뮬레이션 GIF (오른쪽)
23

학습이 모델 기반을 대체하지 않는다

MPC가 여전히 핵심인 이유
  • 유압 펌프 파워 한계, 실린더 변위, 안전 제약은 사전 보장 필수
  • ML 정책 제안 → MPC가 안전 영역으로 사영 (projection)
  • Augmented Lagrangian iLQR — 실시간 (<80ms) 제약 최적화
  • Learned residuals — 모델 오차를 신경망이 보정
굴착기 MPC 시뮬레이션 — 궤적, 활성 제약, 외란 추정
[SNU21]
24

한 모델로 모두 풀지 않는다

계층 분리가 실용 정답
UPPER · LLM REASONING
자연어 명령 → 작업 분해
의존관계 · 선행조건 검증원자적 자율 작업 블록 (atomic blocks) 정의기계 간 협업 조율 (팀 운용)
LOWER · E2E POLICY
Visuomotor 행동 생성
환경 인식 (점군 · 카메라)기계 제어 (굴삭 · 적재 · 이동)물리 상호작용 (토질 · 경사 적응)

→ Bedrock · Figure · Physical Intelligence 모두 유사 구조. 상위(언어)와 하위(운동)는 다른 추론 빈도와 다른 학습 데이터를 요구.

25

Sim-to-Real Gap

여전히 가장 큰 적
PROBLEM
  • 토양 · 유압의 비선형성은 시뮬레이션이 약함
  • 시뮬 → 현장 전이 시 정책이 자주 깨짐
  • 드물고 위험한 상황을 시뮬에서만 학습할 수 없음
→
EMERGING SOLUTIONS
Differentiable SimulationBrax · Genesis · MuJoCo MJX
Real-to-SimNeRF · 3D Gaussian Splatting로 재구성 후 학습
Foundation Pretraining시뮬 의존도 ↓, 적은 현장 데이터로 적응
26

협업 크레인 거더 자동운반

다중 크레인을 통합 제어해 교량 거더를 자동 운반
기술적 성과
다중 크레인 통합제어위치 오차 수평/수직 ±5 cm
라이다 기반 충돌방지환경탐지
Multi-RRT거더 이송 경로계획
축소 크레인자동운반 실증
협업 크레인 시스템 구성환경탐지 센서와이어 센서크레인 1크레인 2붐 각도 센서붐 길이 센서거더 위치자세 센서거더관제 시스템크레인 GPS크레인 제어기스윙 각도 센서
협업 크레인 시스템 구성
교량 구조물 이송 사례
자동운반 제어 ①
자동운반 제어 ②
원본 1.5배속
자동운반 제어 ③
27

굴착기·휠로더 원격제어

기계식 장비에 전자제어 retrofit kit를 달아 원격으로 제어
원격제어 스테이션
원격제어 스테이션
원격제어 굴착기굴착기 retrofit kit
원격제어 굴착기 Retrofit kit
원격제어 휠로더휠로더 retrofit kit
원격제어 휠로더 Retrofit kit
전자제어 인터페이스비례제어밸브 모듈 · 임베디드 컨트롤러 · GNSS · IMU · 압력계
작업장치 위치 제어굴착기 · 휠로더
정밀 압력 제어 · AI 고장진단Pilot 압력 hysteresis 제거
고장검출 정확도 90% 이상
공동연구개발 (다산네트웍스 주관)다산네트웍스KITECH한국기계연구원
28

원격제어 굴착기 시연

retrofit kit을 단 굴착기를 원격으로 조작
원격제어 굴착기
29

과수 예찰 자율 농업기계

자율주행 플랫폼에 매니퓰레이터와 병해충 탐지기를 탑재
플랫폼 3D 설계
3D 설계
제작 플랫폼
제작 플랫폼
플랫폼 치수 도면3D 모델
치수 도면
병해충 탐지기 광학 헤드 설계
탐지기 광학 헤드 설계
병해충 탐지기(광학 헤드) 모형 장착
30

과수 예찰 주행·자세 시험

주행 위치와 매니퓰레이터 자세를 목표값과 실제값으로 비교
주행플랫폼 위치 Map 좌표
주행플랫폼 X·Y·Heading 목표 대비 실제 그래프
Odometry 원점: SLAM 초기 위치
Odometry XY 궤적 그래프
Turn
매니퓰레이터 자세 관절각
매니퓰레이터 관절각 그래프
모의 예찰
31

UAV·UGV 연동 시험

무인이동체 육해공 자율협력 — UAV와 UGV 연동 시험
32

휠-레그 로봇 정책 전이 화재현장 실내수색 무인이동체

상용 휠-레그 로봇에서 학습한 제어를 통합 UGV 플랫폼으로 전이
제어기 학습을 위한 병렬 연산 시뮬레이션 환경시뮬레이션
제어기 학습을 위한 병렬 연산 시뮬레이션 환경
휠 레그 로봇의 형태학적 유사성 이용시뮬레이션
휠-레그 로봇의 형태학적 유사성 이용
상용 휠-레그 로봇제어 학습
시뮬레이션 간정책 전환
시뮬레이션 → 실제환경 전환 (추진)
통합 UGV 플랫폼
33

숙련자 데이터 학습 파이프라인

숙련자 작업을 데이터로 수집·학습해 무인 굴착기 자율작업으로
데이터 수집
데이터 수집 플랫폼
데이터 수집 굴착기
→
라이다 점군 → 2D 그리드
데이터 수집 및 가공
라이다
그리드맵
……… 관절각
센서
관절각 시계열 카메라 작업매핑approach (x,y,z)dig (depth,drag)dump (x,y,z)
숙련자 작업 DB
approach (…)
dig (…)
dump (…)
⋮
인공지능 학습
2D 그리드인공지능 모델
dig(depth, drag)
라이다 2D 그리드 → 인공지능 모델 학습
자율작업 실증
작업 전후 지형
AI 기반 무인 굴착기 자율작업 계획 및 제어
참여 기관SURROMIND한국기계연구원KOCETIHD현대영신디엔씨아주대학교Ontario Tech University
34

MC 굴착기 센서 구성

기존 굴착기에 인지·자세·유압 센서를 더한 데이터 수집 플랫폼
LiDAR & Stereo Camera #1
Tilt Sensor
Pressure Sensor
Input Switch for Logging
센서를 장착한 KIMM 굴착기
LiDAR & Stereo Camera #2
GNSS-RTK
Main Control Box & IMU
Swing Angle Estimator
35

2D 그리드 작업계획 강화학습

2D 그리드 맵에서 Dig·Dump·Leveling 작업계획을 강화학습(PPO)으로
문제 정의
작업 환경20×40 그리드 맵 (실제 10 m×20 m)
한 그리드 0.5 m · 높이 −3 ~ 3 m
행동작업 시작 지점 (x 0~40, y 0~20)
Dig · Dump별 action space
보상 함수1회 굴착량 최대화
평균 높이 목표 도달 여부
이동거리 최소화
PPO
학습 환경 그리드
학습 환경
강화학습 기반 평탄화 Dumping 작업 시퀀스
Dumping 작업 시퀀스
작업 종료
작업 종료
강화학습 기반 평탄화 Leveling 작업 시퀀스
Leveling 작업 시퀀스
36

가상환경 자율작업 시스템 구조

Vortex Studio·ROS2 가상환경에서 인식 → 상위 계획 → 하위 제어
환경 인식
Environment PerceptionLiDAR · Camera
State Estimation경사계 · IMU · RTK-GPS · Encoder · 압력계 · TF
상위 계획High-level Planner
Grid MapperGrid Map GeneratorGrid Map InterpolationROI Extraction
RL ModuleDig ModelDump ModelLeveling Model
Task ManagerTask Combination PlannerTask Scheduler
Trajectory GeneratorDig · Dump ModuleSwing ModuleSwing-less Module
하위 제어Low-level Controller
Motion Control
AI-to-WorldCoordinate Transformation
Inverse KinematicsSolver
Actuator Control
BucketPID
BoomPID
ArmPID
SwingPID
37

가상환경 자율작업 1사이클

점군 인식부터 제어까지 가상환경에서 한 사이클 자율 수행
Point Cloud환경 인식
GridMap생성 및 추출
목표작업 영역인공지능 기반 설정
궤적 생성
자율 작업 제어
가상환경 · 1-cycle
38

관로파기 현장 실증과 관제 UI

실제 굴착기의 관로파기 자율작업과 관제 화면
실제 배속
관로파기 자율작업 영상
123
굴착기 자율작업 관제 UI
12D 그리드맵
2현재 / 목표 / 차이 지형 맵
3버킷 궤적 (목표 / 실제)
39

18. 필드로봇 피지컬 AI

공통 인지 모델 하나로 건설·농업·재난 장비를 자율화
필드로봇 피지컬 AI 세부기술 구성
인구절벽·위험환경 대응
AI 필드로봇 기술 개발
4족 보행 로봇
재난 4족 보행
트랙터
농업 트랙터
과수 예찰 로봇
농업 과수 예찰
굴착기
건설 굴착기
자재 이송 로봇
건설 자재 이송
이기종 장비 5종Level 4자율화
40