한국건설기술연구원 지반연구본부 세미나
2026. 11.
KICT Seminar
필드로봇에서의
AI활용
이한민 산업기계DX연구실장
한국기계연구원
AI, 로봇, 그리고 산업기계
산업마다 무인화와 자율화 요구가 먼저 있었고, ChatGPT 모멘트가 그것을 가속
프로그래밍에서 학습으로의 전환
데이터와 경험으로 학습해, 더 다양한 작업과 환경에 대응
→
학습 중심
시연·경험→학습→실행
Figure Helix 2.5 (2026.09)
행동 생성의 두 접근: VLA와 WAM
이해를 행동으로 연결하는 VLA · 미래를 예측해 행동하는 WAM
VLAVision-Language-Action
장면·언어 지시
로봇 상태
→
시각·언어
이해
→
행동 생성
Chef Robotics · Physical Intelligence Pi API
햄버거 조립
WAMWorld Action Model
장면·언어 지시
로봇 상태
→
미래 예측
활용
→
행동 생성
1X World Model · NEO
티슈 뽑기
로봇 두뇌의 구성 방식
하나의 모델이 행동을 직접 출력하거나, 이해와 제어를 나누어 처리
행동 직접 출력Google DeepMind RT-2 (2023)

↑지시와 영상 입력
↑행동 토큰을 로봇 동작으로
영상과 지시를 받아 하나의 VLA 모델이 행동 토큰을 직접 출력
이해와 제어 역할 분담Figure Helix (2025.02)

이해·계획→
연속 제어→
System 2가 장면과 지시를 이해, System 1이 연속 동작으로 변환
로봇 학습의 데이터 격차
인터넷에 축적된 지식에 비해, 로봇의 행동 경험은 부족
인터넷의 글과 그림
웹 데이터 예시vs
로봇의 원격조작 경험
로봇 시연 데이터 예시
Goldberg (2025)의 당시 비교
약 10만 년
학습용 글과 그림을 사람이 읽고 보는 시간
약 1년
당시 최대 원격조작 데이터셋의 누적 기록 시간
로봇에는 관찰, 행동, 결과가 연결된 경험이 필요
학습 데이터의 확보와 확장
로봇으로 수집하고, 사람에게서 배우고, 합성 데이터로 확장
1텔레오퍼레이션
Stanford, Mobile ALOHA (2024)
사람 조작으로 관찰과 행동 기록
+
2사람 영상 기반 학습
Figure, Project Go-Big (2025.09)
1인칭 영상으로 로봇 이동 학습
+
3합성 데이터 생성
NVIDIA, DexMimicGen (2024)
소수 시연을 시뮬레이션에서 증강
시뮬레이션 증강월드 모델 생성
다양한 경험으로 확장하고, 실제 작업으로 보정하고 검증
현장 적용의 조건
현장의 기준은 안정적인 작업 완수, 지속적인 가동, 비용 대비 생산성
1작업 신뢰도
Telexistence, 일본 편의점 음료 진열
운영자 1명이 약 50대 감시
물건을 떨어뜨리는 등 예외 상황은
원격 운영자가 복구
→
2운영 지속성
Figure 02, BMW 스파턴버그 공장
누적 1,250시간+, 부품 9만 개+
가동률이 아닌 11개월 누적 실적
주요 고장 지점인 전완부 재설계
→
3경제성
Rosendin, 미국 태양광 현장시험
2인 작업조, 8시간 350–400장
3–4인 수작업조 대비 3배 속도
생산성 개선 사례, 투자회수는 별도
작업 성공뿐 아니라, 실패해도 복구하고 계속 운영할 수 있어야 현장 적용
기계연 로봇 연구의 발전
휴머노이드, 필드로봇, 의료로봇으로 확장되는 기계 지능
휴머노이드 카이로스
이동과 조작을 위한 로봇 플랫폼과 핵심부품 개발
2026 글로벌 기계기술 포럼 2026. 9. 7.
카이로스 V0.7 탈춤 시연
로드맵2027.4V1▶2030.4V2 초감각, 전신감각▶2035실용화
구동기
2.1kg으로
최대 192 N·m
전용 구동기 5종 자체 설계, 성능 20% 향상
로봇 핸드
핀셋을 쥐고
작은 부품까지
오랜 핸드 연구의 축적
촉각 피부 차별점
쓰다듬는 손길까지
감지
3축 촉각, 자가회복 피부
로봇 작업지능과 학습 데이터
사람의 시연을 학습해 다양한 작업으로 확장
1시연 수집
2이해와 계획
3작업 수행 RoGeTA
데이터 팩토리
휴머노이드 여러 대의 동시 시연 수집 환경
▶
명령 이해언어·시각 모델
작업 계획순서 수립과 검증
동작 조합집기, 놓기, 복구
▶
의료로봇
정밀조작과 원격제어로 의료 역량 확장
정밀조작최소침습 카테터 수술로봇
심장 모형 속 카테터
가는 관 끝을 떨림 없이 원하는 방향으로 조향
원격제어울릉도–대구 원격 초음파
의사 · 조작
⇄295 km왕복 지연
약 40 ms
로봇 · 초음파
의사의 손 조작을 먼 곳의 로봇이 따라 초음파 영상 획득
디지털트윈
실제 장비와 가상 트윈을 실시간 연동해 학습·최적화
실제 장비디지털트윈
자율주행 트랙터 — 실차 작업을 트윈에서 실시간 관제
디지털트윈실제 설비
공작기계 자율제조 셀 — 설비·로봇 동작을 트윈과 연동
美 Digital Twin Consortium공식 테스트베드
MANDATE-R2R 이차전지 롤투롤 자율제조
실제 설비와 트윈을 실시간 연동, 다중 AI 에이전트가 공정을 스스로 최적화 · 2025.12 등록
필드로봇이 마주하는 현장
실험실 밖에서는 조건이 매번 달라진다
비정형정해진 형상·배치가 없다
가변날씨·먼지·노면이 수시로 바뀐다
접촉흙·나무·암석과 힘을 주고받는다
그래서 관측으로 상태를 추정하고, 결과를 보며 다시 고친다
사진: AI Frontiers Summit 2026 「AI Technologies for Field Robotics」 수록(개별 출처 미표기)
필드로봇은 어떻게 움직이나
관측 → 추정 → 계획 → 행동, 그리고 결과로 다시 고친다
모델 기반 추정·최적화 학습이 들어가는 자리
관측
카메라 · LiDAR
IMU · GNSS · 압력
추정
위치 · 지형 · 상태
필터 · 스캔 정합영상 분할 · 주행가능성
계획
경로 · 작업 순서
경로 탐색 · 최적화주행 비용 · 작업 순서
행동
관절 · 유압 구동
MPC · 피드백 제어시연 · 강화학습 정책
결과 지형이 바뀌고 · 반력이 생기고 · 성공하거나 실패한다 → 다시 관측
개념도: v3 일반기술 근거(Miki 2022 · Lee 2021 · Rudin 2021 · Spinelli 2024)를 종합해 재구성
현장에서 흐려지는 센서
풀·눈·물·분진 앞에서는 깊이 측정이 부정확해질 수 있다
원본 발표 수록 영상
광산 장비 작업 장면 CG 애니메이션 — 출처 미표기 원본 자료
풀 · 눈밟을 수 있어도 장애물로 보임
물 · 반사면빛이 되돌아오지 않아 측정이 빠짐
분진 · 안개 · 조명깊이 측정 잡음 · 저하
한 센서에 기대지 않고
여러 센서와 발·바퀴의 접촉 감각을 함께 쓴다
Miki et al., Science Robotics 2022 (서론) · 영상: 원본 발표 수록(출처 미표기)
지도와 접촉 감각을 함께 쓰는 보행
위치·고도지도는 추정으로, 보행 정책은 지도와 접촉 감각을 함께 활용
LiDAR · 카메라 · IMU
관절 · 자세 이력
전통 추정 · 최적화
위치추정점군 정합 + IMU 적분
고도지도셀 높이·분산 갱신
고유감각 직접 입력 — 지도를 거치지 않음
미끄러운 판을 밟은 뒤 정책 내부 상태(belief)의 마찰 추정이 떨어진다 외부 연구 · 실내 시험
도식: 세 논문을 종합한 개념도(자체 작성) · Shan et al., IROS 2020 · Miki et al., IROS 2022 · Miki et al., Science Robotics 2022, Fig. 4E
높이 지도 너머, 지나갈 수 있는가
로봇의 실제 주행 결과를 자기지도 신호로 — 영상에서 통과 가능 영역을 학습
숲에서 사람이 먼저 몰아 주고, 몇 분 뒤 로봇이 스스로 길을 고른다 외부 연구 · 실기 야외
명령 속도 vs 실제 속도
통과 가능성 점수잘 따라가면 높음
영상 영역에 라벨현장에서 계속 학습
실제 속도가 명령을 못 따라가는 구간 = 낮은 점수
Frey, Mattamala et al., RSS 2023, Fig. 1·4 · Mattamala et al., Autonomous Robots 2025
밟아 본 결과로 영상을 학습
접촉으로 마찰·강성을 추정하고, 영상에 옮겨 아직 밟지 않은 곳을 예측
저자 공개 영상 · 외부 재생(인터넷 필요)
산길에서 예측한 마찰 지도 — 탑재 카메라 영상 위 예측 외부 연구
발 접촉 이력 + 지형 형상
마찰 · 강성 추정시뮬레이션에서 학습한 추정기
영상에 자동 라벨
앞쪽 지형 예측 → 접촉으로 다시 갱신
검증 수준 실기 정량 검증은 미끄러운 판·바닥의 마찰 위주, 야외는 정성. 값은 시뮬레이션 접촉 파라미터 — 토질 정수가 아니다.
제안 지반 시험값과의 대응은 협업으로 검증할 과제
Chen et al., IEEE RA-L 2024 (arXiv:2408.16567) · 영상: 저자 프로젝트 페이지에서 직접 재생 leggedrobotics.github.io/identifying_terrain_physical_parameters_webpage
모르는 땅은 조심해서
같아 보여도 다른 땅, 처음 보는 땅 — 두 불확실성을 경로 계획에 반영
같아 보여도 결과가 다른 땅
traction 높음traction 낮음
처음 보는 땅
같아 보여도 다른 땅traction의 분포로 학습
나쁜 쪽 traction으로 궤적을 미리 계산
처음 보는 땅학습 데이터와 얼마나 다른지 판별
경로에서 회피
traction = 실제 속도 ÷ 명령 속도
검증: 시뮬레이션 + RC카·Spot 실기
Cai et al., IEEE Transactions on Robotics 2024 (EVORA), Fig. 1 사진 · Spot 실기 야외
학습 정책은 어디에 들어가는가
ETH 제방 사례: 기존 계획·자세 추종에 학습한 접촉 동작을 결합
11.5 t 굴착기 제방 쌓기 — ETH Zürich, 2026
작업 위치 계획어디를 긁을지 — 기존 방식
한 번 긁기지형 높이·삽 자세·힘 사용률 → 목표 삽 자세
삽 자세 추종유압 제어 — 기존 방식
Werner et al., arXiv 2609.12677 (2026) Fig. 3·현장 사진, CC BY-NC-SA 4.0 · Lee et al., IROS 2021
숙련자의 감각을 데이터로 옮길 수 있는가
숙련자 시연에서 장비 상태와 조작의 관계를 배운다
Dadhich, Sandin, Bodin, Andersson, Martinsson, Automation in Construction 97 (2019) — 초록 확인 범위 · 개념도는 자체 작성
수천 번의 시도를 시뮬레이션에서
병렬 시뮬레이션에서 배운 정책을 실제 장비의 밸브 명령으로 옮긴다
원본 발표 수록 — 병렬 시뮬레이션 학습 화면 예시(출처 미표기)
GIF: 원본 발표 수록 · Rudin et al., CoRL 2021 · Egli et al., RA-L 2022 · 사진: Gruetter et al., arXiv 2509.17683 Fig. 1, CC BY 4.0
토질 정수는 학습 환경의 조건이 된다
점착력·마찰각의 범위를 정해 시뮬레이션을 흔들고, 실기는 접촉 반응으로 적응
시뮬레이터의 토양 저항 모델
- c 점착력
- φ 내부마찰각 흙 속 전단
- δ 흙–버킷 마찰각 접촉면
- γ 단위중량
범위 안에서 무작위로 바꿈
버킷 저항력 계산
정책 학습실기에서는 압력·관절 반응을 봄
같은 정책, 다른 흙 — 단단한 흙은 끌고, 무른 흙은 파고든다 외부 연구 · 실기 경로
Gruetter et al., arXiv 2509.17683 (2025) Table I·Fig. 5, CC BY 4.0 · Egli et al., RA-L 2022
시뮬레이션과 현장의 차이를 잰다
현장 계측으로 시뮬레이터를 맞춰 보고, 마지막은 실기로 확인한다
흙 — 현장 시험과 비교
휠로더 현장 시험자갈 더미 · 자세·힘·적재량 계측
같은 조작의 입자 시뮬레이션입자 크기를 바꿔 비교
유압 — 실측으로 모델링
실기 운전 기록압력·명령·속도
선회 유압 모델 학습시뮬레이터에 결합
실기 — 결과를 직접 측정
작업 전후 LiDAR 스캔으로 실제 만든 형상을 확인
실기 제방 단면 — 전문 운전자(파랑) · 학습 정책(빨강) 외부 연구 · 실기 야외
Aoshima & Servin, arXiv 2310.05765 · Spinelli et al., IROS 2024 · 그래프: Werner et al., arXiv 2609.12677 Fig. 8, CC BY-NC-SA 4.0
말로 지시하면 장비 작업 순서가 되는가
언어 모델은 작업 순서와 기계 간 동기화를 짜고, 동작은 기존 스킬이 한다
"흙을 한 번 파서 덤프장으로 옮겨라"
LLM → 작업 순서사람이 검토·수정 요청
기계별 행동트리
굴착기초기 자세덤프 도착 대기굴착 · 적재초기 자세 복귀
덤프트럭굴착기 준비 대기적재 위치 이동적재 · 복귀 완료 대기덤프장 이동 · 하역
상태 플래그 공유 — "굴착기 초기 자세 완료" · "덤프 적재 위치 도착" · "적재 완료"
기존 하위 스킬굴착 · 이동 · 하역 — 미리 만든 계획·제어
외부 연구 · 실기 1건 굴착기(ZX200) + 덤프트럭 협업 시연 — 규슈대·일본 토목연구소, 2026
원문 ↗
Tsutsumi et al., arXiv 2602.01041 (2026) Fig. 3·7, Table III · 도식: 주요 동기화 개념도(자체 작성)
협업 크레인 거더 자동운반
다중 크레인을 통합 제어해 교량 거더를 자동 운반
기술적 성과
다중 크레인 통합제어위치 오차 수평/수직 ±5 cm
라이다 기반 충돌방지환경탐지
Multi-RRT거더 이송 경로계획
축소 크레인자동운반 실증
굴착기·휠로더 원격제어
기계식 장비에 전자제어 retrofit kit를 달아 원격으로 제어
전자제어 인터페이스비례제어밸브 모듈 · 임베디드 컨트롤러 · GNSS · IMU · 압력계
작업장치 위치 제어굴착기 · 휠로더
정밀 압력 제어 · AI 고장진단Pilot 압력 hysteresis 제거
고장검출 정확도 90% 이상
원격제어 굴착기 시연
retrofit kit을 단 굴착기를 원격으로 조작
과수 예찰 자율 농업기계
자율주행 플랫폼에 매니퓰레이터와 병해충 탐지기를 탑재
과수 예찰 주행·자세 시험
주행 위치와 매니퓰레이터 자세를 목표값과 실제값으로 비교
UAV·UGV 연동 시험
무인이동체 육해공 자율협력 — UAV와 UGV 연동 시험
휠-레그 로봇 정책 전이 화재현장 실내수색 무인이동체
상용 휠-레그 로봇에서 학습한 제어를 통합 UGV 플랫폼으로 전이
제어기 학습을 위한 병렬 연산 시뮬레이션 환경
상용 휠-레그 로봇제어 학습
시뮬레이션 간정책 전환
시뮬레이션 → 실제환경 전환 (추진)
통합 UGV 플랫폼
숙련자 데이터 학습 파이프라인
숙련자 작업을 데이터로 수집·학습해 무인 굴착기 자율작업으로
인공지능 학습


dig(depth, drag)
라이다 2D 그리드 → 인공지능 모델 학습
자율작업 실증

AI 기반 무인 굴착기 자율작업 계획 및 제어
MC 굴착기 센서 구성
기존 굴착기에 인지·자세·유압 센서를 더한 데이터 수집 플랫폼
2D 그리드 작업계획 강화학습
2D 그리드 맵에서 Dig·Dump·Leveling 작업계획을 강화학습(PPO)으로
문제 정의
작업 환경20×40 그리드 맵 (실제 10 m×20 m)
한 그리드 0.5 m · 높이 −3 ~ 3 m
행동작업 시작 지점 (x 0~40, y 0~20)
Dig · Dump별 action space
보상 함수1회 굴착량 최대화
평균 높이 목표 도달 여부
이동거리 최소화
PPO
가상환경 자율작업 시스템 구조
Vortex Studio·ROS2 가상환경에서 인식 → 상위 계획 → 하위 제어
환경 인식
Environment PerceptionLiDAR · Camera
State Estimation경사계 · IMU · RTK-GPS · Encoder · 압력계 · TF
상위 계획High-level Planner
Grid MapperGrid Map GeneratorGrid Map InterpolationROI Extraction
RL ModuleDig ModelDump ModelLeveling Model
Task ManagerTask Combination PlannerTask Scheduler
Trajectory GeneratorDig · Dump ModuleSwing ModuleSwing-less Module
하위 제어Low-level Controller
Motion ControlAI-to-WorldCoordinate Transformation
Inverse KinematicsSolver
Actuator ControlBucketPID
BoomPID
ArmPID
SwingPID
가상환경 자율작업 1사이클
점군 인식부터 제어까지 가상환경에서 한 사이클 자율 수행
Point Cloud환경 인식
GridMap생성 및 추출
목표작업 영역인공지능 기반 설정
궤적 생성
자율 작업 제어
가상환경 · 1-cycle
관로파기 현장 실증과 관제 UI
실제 굴착기의 관로파기 자율작업과 관제 화면
123
굴착기 자율작업 관제 UI
12D 그리드맵
2현재 / 목표 / 차이 지형 맵
3버킷 궤적 (목표 / 실제)
지반 특성 이해를 위한 협업 제안
땅을 미리 아는 정보와 파면서 아는 정보를 함께 쓰는 굴착
지반 사전정보지반조사 · 시추
토질 물성KICT 지반연구본부
굴착 작업계획그리드 지도 · 작업 순서 · 궤적
작업 중 관측점군 지형 변화
유압 압력 · 자세KIMM 자율작업 굴착기
공동연구 제안 — 협의 전