Physical AI —
AI가 화면을 떠나
현실 세계로 나오다

1. Physical AI란 무엇인가?

여러분이 ChatGPT에게 "커피 만들어줘"라고 말하면, ChatGPT는 커피 만드는 방법을 아주 잘 설명해 줍니다. 하지만 실제로 커피를 내려주지는 못합니다. 왜냐하면 ChatGPT는 디지털 세계에만 존재하기 때문입니다.

Physical AI는 이 한계를 넘어서는 기술입니다. AI가 눈(카메라, 센서)으로 주변을 보고, 머리(AI 모델)로 판단하고, 손과 발(로봇 팔, 바퀴)로 실제 행동을 하는 것. 이것이 Physical AI입니다.

2. 기존 로보틱스, Agentic AI와 뭐가 다른가?

기존 로보틱스: "시킨 대로만 하는 로봇"

공장의 용접 로봇을 떠올려 보세요. 이 로봇은 "A 지점에서 B 지점으로 팔을 움직여 3초간 용접"이라는 명령을 정확히 반복합니다. 하지만 부품 위치가 1cm만 달라져도 스스로 대응하지 못합니다. 사람이 다시 프로그래밍해야 합니다.

Agentic AI: "스스로 생각하고 일하는 디지털 비서"

Agentic AI는 목표를 주면 스스로 계획을 세우고, 여러 도구를 활용해 작업을 완수하는 AI입니다. "다음 주 출장 일정 잡아줘"라고 하면, 항공편 검색 → 호텔 예약 → 캘린더 등록까지 알아서 처리합니다. 하지만 디지털 세계 안에서만 활동합니다.

Physical AI: "현실 세계에서 스스로 판단하고 행동하는 AI"

Physical AI는 Agentic AI의 자율적 판단 능력에 물리적 행동 능력을 더한 것입니다.

핵심 차이를 한마디로: Physical AI = Agentic AI의 두뇌 + 로보틱스의 몸

3. Physical AI를 만드는 5가지 핵심 과정

Physical AI를 구현하는 것은 마치 "아이를 키우는 것"과 비슷합니다. 아이가 걸음마를 배우듯, AI도 단계적으로 물리 세계를 배워야 합니다. 그리고 이 과정은 한 번으로 끝나지 않고, 경험이 쌓일수록 더 잘하게 되는 순환 구조(플라이휠)를 이룹니다.

① 데이터 — "경험을 모으는 단계"

아이가 세상을 배우려면 많은 경험이 필요하듯, Physical AI도 방대한 데이터가 필요합니다. 데이터는 크게 두 종류입니다.

실제 데이터는 공장 카메라, LiDAR(레이저로 주변을 3D로 스캔하는 센서), 촉각 센서 등에서 수집합니다. 로봇이 실제로 물건을 집거나 이동하면서 쌓는 경험 데이터입니다.

합성 데이터(Synthetic Data)는 가상 환경에서 AI가 만들어낸 학습용 데이터입니다. 예를 들어, 하나의 물체 사진을 조명, 각도, 배경을 수천 가지로 바꿔가며 가상 이미지를 생성합니다. 실제 데이터 수집이 비싸고 위험할 때 특히 유용합니다. 자율주행차가 보행자 사고 상황을 학습하려면 실제로 사고를 낼 수는 없으니, 가상으로 수만 가지 사고 시나리오를 만들어 학습시키는 것입니다.

② 학습 — "기술을 익히는 단계"

수집한 데이터로 AI 모델을 훈련시킵니다. Physical AI에서는 두 가지 핵심 학습 방법이 있습니다.

모방 학습(Imitation Learning)은 사람이 시범을 보이면 AI가 따라 배우는 방식입니다. VR 헤드셋을 쓴 사람이 물건을 집는 동작을 보여주면, 로봇이 그 동작을 학습합니다. 요리를 배울 때 셰프의 동작을 따라 하는 것과 같습니다.

강화 학습(Reinforcement Learning)은 AI가 시행착오를 통해 스스로 최적의 방법을 찾는 방식입니다. 가상 환경에서 수백만 번 시도하며 걷기를 배우는 로봇이 대표적입니다. 자전거 타기를 배울 때 넘어지고 일어나기를 반복하며 균형 감각을 익히는 것과 비슷합니다.

③ 시뮬레이션 — "가상 세계에서 연습하는 단계"

실제 로봇으로 바로 테스트하면 비용도 많이 들고 위험합니다. 그래서 디지털 트윈(현실의 쌍둥이)이라는 가상 환경에서 먼저 충분히 연습합니다.

비행기 조종사가 실제 비행 전에 비행 시뮬레이터에서 수백 시간 연습하는 것과 같습니다. 차이점은 규모입니다. 시뮬레이션에서는 수천 대의 로봇을 동시에 가상으로 훈련할 수 있고, 실제로는 위험한 상황(충돌, 낙하, 극한 환경)도 안전하게 테스트할 수 있습니다.

NVIDIA의 Isaac Sim은 실제 공장을 3D로 똑같이 복제한 가상 공장에서 로봇을 훈련시키는 플랫폼입니다. Omniverse는 이 디지털 트윈을 구축하는 기반 플랫폼으로, 여러 팀이 동시에 같은 가상 환경에서 협업할 수 있게 합니다.

④ Sim-to-Real — "가상에서 배운 것을 현실에 적용하는 단계"

가상 세계와 현실 세계는 미묘하지만 중요한 차이가 있습니다. 빛의 반사, 마찰력, 센서 노이즈 등이 다릅니다. 이 차이를 Sim-to-Real Gap(시뮬레이션-현실 격차)이라 부르며, 이를 줄이는 것이 Physical AI의 핵심 과제 중 하나입니다.

주요 해결 기법이 Domain Randomization입니다. 시뮬레이션에서 조명, 색상, 물리 파라미터(마찰, 무게, 탄성)를 랜덤하게 바꿔가며 학습시킵니다. 충분히 다양한 가상 환경을 경험한 AI에게 현실 세계는 "또 하나의 변형"에 불과하게 됩니다. 비유하자면, 다양한 코트에서 연습한 테니스 선수가 어떤 코트에서든 적응하는 것과 같습니다.

학습된 모델은 최적화(경량화)되어 로봇에 탑재된 엣지 컴퓨터에 배포됩니다. 현실에서의 경험 데이터는 다시 수집되어 모델을 개선하는 데 사용됩니다. 이것이 플라이휠이 순환하는 지점입니다.

⑤ 에이전트 오케스트레이션 — "자율적으로 운영하는 단계"

하나의 로봇이 모든 것을 혼자 하는 것이 아닙니다. 여러 AI 에이전트가 역할을 나누어 협력합니다.

4. Physical AI의 두뇌: VLM과 VLA 모델

Physical AI에서 가장 중요한 기술 중 하나가 바로 AI 모델입니다. 로봇의 "두뇌" 역할을 하는 이 모델들은 크게 두 종류로 나뉩니다.

VLM (Vision-Language Model)은 이미지를 보고 사람의 말을 이해해서 텍스트로 대답하는 AI입니다. "눈과 귀는 있지만 손발은 없는" 모델입니다. 공장 사진을 보여주고 "이 부품에 결함이 있나요?"라고 물으면 "네, 왼쪽 상단에 스크래치가 있습니다"라고 답합니다.

VLA (Vision-Language-Action Model)은 VLM에 "행동 출력"을 추가한 모델입니다. 테이블 위 사진을 보여주고 "빨간 컵을 집어줘"라고 하면, 로봇 팔이 실제로 빨간 컵을 집는 동작을 수행합니다.

실제 Physical AI 시스템에서는 VLM과 VLA가 함께 일합니다. VLM이 "큰 그림"을 보고 계획을 세우면 (System 2: 느린 사고), VLA가 실제 동작을 빠르게 실행합니다 (System 1: 빠른 반사). 축구에서 감독(VLM)이 전략을 짜고, 선수(VLA)가 실행하는 것과 같습니다.

주요 VLA 모델 — "로봇의 두뇌" 비교

주요 VLM 모델 — "로봇의 눈과 판단력"

5. Physical AI의 핵심 구성요소

6. Physical AI Value Chain — 누가 무엇을 만드는가

Physical AI는 하나의 기업이 혼자 만들 수 없습니다. 반도체부터 클라우드, AI 모델, 시뮬레이션, 로봇 하드웨어까지 여러 레이어가 맞물려야 합니다. 각 레이어의 핵심 플레이어와 그들의 역할을 살펴봅니다.

7. Physical AI가 적용되는 산업과 이점

8. Physical AI가 가져올 변화 — 큰 그림

Physical AI는 약 50조 달러 규모의 물리적 산업 경제를 변화시킬 잠재력을 가지고 있습니다.

이 모든 곳에 Physical AI가 적용될 수 있습니다.

2026년 현재: 로보틱스 분야는 2025년에 약 379억 유로의 투자를 유치했고, 휴머노이드 로봇 시장은 2035년까지 380억 달러 규모로 성장할 전망입니다. Deloitte는 Physical AI가 "실험 단계에서 대규모 배포 단계로 전환 중"이라고 분석했습니다. CES 2026에서 38개 휴머노이드 로봇 기업이 전시된 것은 역대 최다 기록입니다.

9. 정리: Physical AI를 한눈에

참고 출처