로봇 러닝 과외 정리
Robot Learning 튜토리얼 · 음성 과외 정리

로봇은 어떻게
배우는가

고전 제어의 한계에서 강화학습, 모방학습, VLA까지 · 그리고 필드 로봇에 옮기기

2026.11.18
이한민 · hmlee@kimm.re.kr
01

전체 흐름

사람이 수식을 쓰던 자리를 데이터가 채운다
01고전 제어모델링과 인지의 벽
02강화학습보상 · 사람 개입 · HIL-SERL
03모방학습ACT · 디퓨전 폴리시
04범용 정책VLA · π0 · SmolVLA
05필드 로봇어디서 공통화할까
바탕: Capuano 외, "Robot Learning: A Tutorial" (Oxford · Hugging Face, 2025) · 영상 강의(3시간)의 자막은 보지 못했고 논문 구조를 따라 정리
02

3분 요약 영상

손그림으로 보는 로봇이 배우는 방법 · 소리 있음
03

1. 고전 제어의 두 벽

모델링과 인지 · 둘 다 사람이 써 줘야 했다
고전 제어 · 사람이 쓴다동역학 모델궤적 계획제어기벽 1 · 모델링접촉 · 마찰 · 흙 · 유연한 물체벽 2 · 인지영상 속 물체를 규칙으로 못 쓴다로봇 러닝 · 데이터가 배운다관측영상 · 관절함수하나를 통째로행동모델링과 인지를 따로 풀지 않는다두 벽의 뿌리는 같다 · 사람이 세상을 명시적으로 기술해야 한다는 부담
04

2. 사람은 빠지지 않는다

수식과 규칙 대신 시연 · 보상 · 개입으로 가르친다
시연이렇게 하는 거야원격 조작으로 보여 준다
→ 모방학습
보상이게 잘한 거야점수만 정해 준다
→ 강화학습
개입거긴 아니야도는 중에 끼어들어 바로잡는다
→ 둘을 섞는 방식
두 갈래는 "사람이 어떤 형태로 데이터를 주느냐"로 갈린다
05

3. HIL-SERL: 실물에서 하는 강화학습

시행착오를 줄이는 세 가지 장치
정책 학습① 시연버퍼에 먼저 넣어 둔다② 사람 개입조이스틱으로 바로잡기③ 성공 분류기사진 보고 됐다 / 안 됐다출발점헤매지 않고 시작중간 가이드개입한 구간도 데이터최종 보상보상 함수를 쓰지 않고 보여 준다실물 로봇에서 1~2시간 · 조립·삽입 과제를 거의 100% 성공시뮬레이터를 만들지 않고 가는 길
Luo 외(버클리, 2024) · 바탕은 시연을 리플레이 버퍼에 섞는 RLPD · 성공률·시간은 튜토리얼 요약 기준
06

4. 중간 가이드는 어디서 오나

분류기 보상은 성공 아니면 0 · 빈자리를 시연과 개입이 채운다
시뮬레이션 강화학습 (보행)HIL-SERL (조작)
중간 가이드보상 항을 사람이 설계
높이 유지 · 전진 · 서 있지 않기
시연 + 개입이라는 데이터
최종 목표보상 함수에 함께성공 분류기
시행착오수천 대 병렬, 수백만 번실물 한 대, 한두 시간
맞는 과제사람이 보여 주기 어려운 것짧고, 사람이 보여 줄 수 있는 것
07

5. 어디까지 통하나

사람 개입은 느리고 안전한 조작에서만 통한다
전제탁상 조립휴머노이드 보행굴착기 실차사람이 반응할 만큼 느린가○×△조이스틱으로 조작되는가○×○실패해도 안전한가○××굴착기는 느리지도 않고, 문제가 생기면 위험하다→ 실물이 아니라 시뮬레이터에서 같은 방식을 쓰면?
보행은 수십 밀리초 안에 균형이 깨지고 관절이 수십 개 · 여전히 시뮬레이션 강화학습이 주류
08

6. 아이디어: 조종석 시뮬레이터에서 사람과 함께 학습

실물의 위험은 빼고 시연 · 개입 · 자동 보상은 그대로
운전자캐빈을 모사한 조종석시뮬레이터유압 · 흙 상호작용정책온라인 강화학습시연개입행동관측 · 보상리셋이 공짜뒤집혀도 되고 흙도 다시 깐다시간을 늦출 수 있다개입할 여유가 생긴다보상에 속 정보를버킷 흙 무게 · 지형 오차손맛을 담은 모방학습 + 스스로 다듬는 강화학습남는 문제 · 심투리얼 갭(데드밴드·지연 넣기) · 숙련 운전자의 시간
다음 논문 주제 후보 · 배포 뒤 안전은 MPC 안전 필터로 잇는 구상 · "시간 늦추기"와 "속 정보 보상"은 검토할 안
09

7. 가까운 선행 연구

조각은 다 있다 · 한 번에 묶은 것은 아직 못 봤다
실물 굴착기 + 사람 개입 RL2025 · IEEE 계열 저널데이터 수집 12 · 18 · 21분(자갈 · 모래 · 자갈 섞인 흙)학습 뒤 128회 · 38분 연속 굴착경로 추종 수준ExT시뮬레이션 시연 → RL 파인튜닝전문가 정책으로 시연 대량 생성트랜스포머 학습그 위에 강화학습시연 먼저, RL 나중시연에서 보상 배우기Vortex 시뮬레이터전문가 시연으로 보상 함수 학습밀집 보상 신호운전자 자동 평가중간 보상을 시연에서빈자리 · 조종석 시뮬레이터에서 시연 + 실시간 개입 + 자동 보상을 한 번에여기에 MPC 안전 필터를 잇는 조합
첫 논문: "Human-in-the-Loop RL to Track Excavation Paths for a Hydraulic Excavator in a Short Period of Time" · 초록만 확인, 수치와 본문은 PDF로 재확인 필요
10

8. 따라 배우기의 두 문제

순진하게 따라 하면 눈덩이처럼 벗어나고, 평균을 내 버린다
문제 1 · 오차 누적시연정책조금 틀림 → 못 본 장면 → 더 틀림문제 2 · 다중 모드장애물왼쪽 시연오른쪽 시연평균 = 직진행동 복제 · 보상도 탐색도 없이 관측-행동 쌍을 지도학습
11

9. ACT ① 액션 청킹

한 번에 행동 하나가 아니라 앞으로의 묶음을 낸다
매 스텝 결정틀릴 기회가 스텝마다묶음으로 결정결정 횟수가 묶음 길이만큼 줄어든다템포럴 앙상블같은 시점을 가리키는 예측들을 가중 평균매 스텝 새 묶음겹치는 부분을 섞어부드럽게사람도 "버킷 감아서 올린다"는 덩어리로 움직인다 · 대가는 묶음 동안 눈을 감는 것
ACT: Action Chunking with Transformers (Zhao 외, 2023, ALOHA) · 디퓨전 폴리시는 앙상블 대신 묶음의 앞부분만 실행하고 다시 예측
12

10. ACT ② CVAE의 z

인코더는 궤적을 보고 "이렇게 생긴 궤적"이라고 적어 둘 뿐이다
인코더 · 학습할 때만CLS관절정답 행동 묶음현재 상태트랜스포머 · 영상은 안 봄z궤적의 지문디코더 · 실제 정책영상관절z트랜스포머학습 땐 인코더가 준 값학습 · 손실 둘예측 행동과 정답의 차이+ z를 0 근처에 모으는 KL 항추론 · 인코더를 버린다z = 0가장 무난한 스타일
ALOHA 기준 관절 14차원, z 32차원 · 인코더 입력은 CLS + 현재 관절 + 행동 묶음 토큰 · 조건과 행동의 관계는 디코더가 배운다
13

11. z는 왜 평균을 막나

학습 중 인코더가 정답을 미리 보고 힌트를 흘려 준다
z 없이같은 장면정책왼오평균입력이 같으면 출력도 하나뿐z와 함께장면 + z₁장면 + z₂정책왼오입력이 달라지니 갈라쳐도 손실이 준다한계 · 추론에서는 z = 0시연이 한쪽으로 쏠려 있으면 다수 쪽이 나오지만, 정확히 반반이면 0은 애매한 자리
ACT는 다중 모드를 "풀었다"기보다 시연 간 편차를 흡수해 학습을 안정시킨다 · 정면으로 다루는 건 디퓨전 폴리시
14

12. 디퓨전 폴리시

엉망진창인 궤적에서 시작해 매끈한 묶음으로 다듬는다
노이즈행동 궤적조건(영상 · 상태)을 보며 10번쯤 걷어낸다왼쪽오른쪽골짜기에는 서지 않는다평균이 아니라 샘플링출발 노이즈에 따라봉우리 하나로 수렴대가 · 추론이 느리다
Chi 외(2023) · 묶음 전체를 한 덩어리로 다듬으므로 관절값이 말이 되는 것과 스텝이 이어지는 것이 동시에 일어난다
15

13. ACT와 디퓨전 폴리시

두 문제를 각자 다른 방식으로 푼다
ACT디퓨전 폴리시
오차 누적행동 묶음행동 묶음
다중 모드CVAE의 z로 편차 흡수 (반쯤)분포에서 샘플링 (제대로)
묶음 실행매 스텝 새 묶음 + 가중 평균앞부분만 실행하고 다시 예측
추론 속도한 번에 출력여러 번 걷어내야 해서 느림
느린 추론을 줄인 변형이 플로우 매칭 · 노이즈에서 정답까지 곧게 가는 방향을 배운다 → π0의 행동 출력
16

14. VLA의 구조

세상을 아는 조수가 알려 주고, 손은 번역만 한다
VLM 뼈대 · 세상을 아는 쪽이미지 토큰언어 토큰 · "빨간 컵을 집어"인터넷 규모로 미리 학습액션 전문가 · 손상태노이즈 섞인 행동 묶음플로우 매칭매 층마다 어텐션으로 들여다본다행동 묶음손은 디퓨전 폴리시와 거의 같다달라진 건 손에 주는 설명픽셀 덩어리 → 의미가 해석된 장면못 본 물체 · 새 지시에도어느 정도 일반화
π0(Physical Intelligence): PaliGemma 약 3B + 액션 전문가 약 0.3B · 가중치는 따로, 어텐션은 공유
17

15. 손이 배우는 것

단일 과제의 행동이 아니라 과제를 가로지르는 암묵적 어휘
과제운동 어휘터 파기상차평탄화관로 파기붐 내리기버킷 삽입감기들어 올리기선회덤프같은 어휘의다른 조합과제 목록을 외우지 않는다어떤 조합을 쓸지는 앞단이 지정함수 목록이 아니라 연속 궤적"감으면서 살짝 들기" 같은 중간 동작도 나온다
굴착기라면 어휘는 몇 개 안 된다 · 승부처는 앞단이 흙·트럭·팔 곳을 판단하는 일 · 손이 실제로 배우는 어려운 부분은 로봇별 운동학
18

16. π0와 SmolVLA

같은 구조의 원형과 소비자 GPU용 축소판
π0 · 크기약 3.3BVLM 뼈대 + 액션 전문가
π0 · 데이터약 1만 시간로봇 7종
다양성으로 사전학습, 깨끗한 데이터로 사후학습
SmolVLA · 크기0.45B작은 VLM의 앞쪽 절반 층만 사용
SmolVLA · 데이터약 2.3만에피소드 · 커뮤니티가 올린
저가 로봇 데이터셋 481개
튜토리얼의 결론: 이제 로봇 러닝은 누구나 해 볼 수 있다 · LeRobot으로 학습과 추론 코드 제공
19

17. 정책 라이브러리냐, 하나의 모델이냐

최종은 하나의 모델 · 라이브러리는 거기로 가는 재료
A · 라이브러리 + 셀렉터계단진흙눈길셀렉터진흙 묻은 계단은?경계 밖 · 전이 없음늘수록 같이 커진다B · 전문가 → 하나로계단진흙눈길데이터단일 모델라이브러리는 데이터 생성기C · 처음부터 하나로모든 조건의 시연단일 모델시연을 모을 수 있어야보행 · 흙 작업은 비싸다배포할 때 셀렉터가 남아 있으면 옛 방식전문가 정책 기반 데이터 생성 → 단일 범용 정책으로 디스틸레이션
처음부터 한 정책에 모든 조건을 넣는 강화학습은 불안정하기 쉬움 · 전문가를 교사로 학생 하나를 가르치는 방식이 흔함
20

18. 어디서 공통화할 것인가

동작 어휘가 갈리는 층 위에 공통 층을 세운다
공통 층 · 필드 인지 + 작업 계획지형흙 · 작물 · 잔해날씨 · 조명 · 먼지"어디를 파라 · 어느 고랑 · 저 너머로"토공굴착기 · 휠로더유압 관절농업 주행 작업트랙터조향 · 속도 · 작업기수확 조작과수 로봇팔 · 그리퍼보행사족 로봇다리 관절 12개버티컬 · 임바디먼트별 실행 정책관절 수준에서 한 덩어리로 합치는 것은 아직 안 된다 · 동작 어휘 자체가 다르다
π0의 7종은 모두 팔 달린 조작 로봇 · 필드 AI가 사족·휴머노이드·바퀴를 함께 다루는 것도 "이동" 수준 출력이기 때문으로 보임(공개 자료로부터의 추론, 확인 필요)
21

19. 버티컬의 단위

장비 이름이 아니라 동작 어휘가 얼마나 겹치나로 묶는다
묶인다굴착기 + 휠로더흙을 퍼서 옮긴다
→ 토공 작업 VLA
갈린다굴착기 · 크레인 · 도저같은 건설기계지만
어휘가 많이 다르다
갈린다트랙터 · 수확 로봇주행 작업과 매니퓰레이션
→ 농업도 둘로
굴착기로 시작해 휠로더까지 넓히면 크로스 임바디먼트를 실제로 보여 주는 실험이 된다 · 굴착기 VLA는 크기·제원이 다른 굴착기에 공통으로
22

다음 걸음

오늘 과외에서 남은 일
01논문 주제 후보조종석 시뮬레이터 + 사람 개입 RL + 안전 필터
02선행 논문 본문IEEE PDF로 개입 방식 · 보상 설계 확인
03영상 뒷부분LeRobot 데모 · 질의응답은 자막이 있어야
04제안서 문구데이터 생성 → 단일 범용 정책 디스틸레이션
05공통 층 넓히기인지에 작업 계획까지
23

출처

음성 과외 내용 정리 · 수치는 원문 재확인 필요

Robot Learning: A Tutorial
Capuano, Pascal, Zouitine, Wolf, Aractingi · Oxford · Hugging Face · arXiv 2510.12403

강의 영상
Deep Learning with Yacine · Robot Learning Tutorial with Francesco Capuano (2026.11.6 라이브) · 제목과 설명란만 확인

HIL-SERL
Luo 외(버클리, 2024) · 사람 개입 실물 강화학습 · RLPD, 성공 분류기

ACT · 디퓨전 폴리시
Zhao 외(2023, ALOHA) · Chi 외(2023)

π0 · SmolVLA
Physical Intelligence(2024) · Hugging Face(2025, arXiv 2506.01844)

실물 굴착기 사람 개입 RL
Human-in-the-Loop RL to Track Excavation Paths for a Hydraulic Excavator in a Short Period of Time · 초록만 확인

ExT · Vortex 보상 학습
음성 대화 중 검색으로 찾은 자료 · 이번 작업에서 다시 확인하지 않음

앞선 정리
VLA, 구조에서 굴착기 적용까지(11.14) · 굴착기의 머리는 누가 맡을까(11.15)

SmolVLA 크기·데이터와 튜토리얼 저자는 이번에 검색으로 다시 확인 · HIL-SERL 성공률, π0 수치, 굴착기 논문의 분 단위 수치는 2차 자료 또는 초록 기준
24