자율주행차가 운행되는 도시 에 사는 사람이라면 많은 연습이 필요해 보일 것이다. Robotaxis는 카메라, 레이더, LiDAR 등의 센서에서 데이터를 수집하여 이를 작동하는 신경망을 훈련시키기 위해 공공 도로에서 연간 수백만 마일을 이동합니다 .
최근 몇 년 동안 컴퓨터 그래픽 기술의 충실도와 현실감이 눈에 띄게 향상됨 에 따라 이러한 알고리즘의 개발을 가속화하기 위해 시뮬레이션이 점점 더 많이 사용되고 있습니다. 예를 들어 Waymo는 자율주행차가 이미 시뮬레이션에서 약 200억 마일을 주행 했다고 밝혔습니다 . 실제로 산업용 로봇 부터 드론까지 모든 종류의 기계가 가상 세계 내에서 점점 더 많은 양의 훈련 데이터와 연습 시간을 수집하고 있습니다.
자율주행차 시뮬레이션에 중점을 둔 Nvidia의 수석 관리자인 Gautham Sholingar에 따르면, 주요 이점 중 하나는 현실 세계에서 교육 데이터를 수집하는 것이 거의 불가능한 모호한 시나리오를 설명하는 것입니다.
“시뮬레이션이 없으면 설명하기 어려운 몇 가지 시나리오가 있습니다. 위험하고 보행자가 관련되어 있거나 멀리 있는 물체의 속도와 같이 정확하게 측정하기 어려운 사물이기 때문에 데이터를 수집하기 어려운 극단적인 경우가 항상 있습니다. 시뮬레이션이 정말 빛을 발하는 곳이 바로 여기입니다.”라고 Singularity Hub 와의 인터뷰에서 그는 말했습니다 .
그러한 상황을 처리하기 위해 AI를 훈련시키기 위해 누군가가 예기치 않게 거리로 달려가는 것은 윤리적이지 않지만, 가상 세계 내의 애니메이션 캐릭터에게는 문제가 훨씬 적습니다.
Sholingar는 시뮬레이션의 산업적 사용이 수십 년 동안 존재해 왔지만 컴퓨팅 능력, 복잡한 물리학을 모델링하는 능력, 오늘날의 그래픽을 지원하는 GPU의 개발이 수렴되면서 우리가 미래의 전환점을 목격할 수 있음을 나타냅니다. AI 훈련을 위해 시뮬레이션 세계를 사용합니다.
AI가 세상을 ‘보는’ 방식 때문에 그래픽 품질이 중요합니다 .
신경망은 이미지 데이터를 처리할 때 각 픽셀의 색상을 해당 숫자로 변환합니다. 흑백 이미지의 경우 숫자 범위는 완전히 검은색 픽셀을 나타내는 0부터 완전히 흰색인 255까지이며, 그 사이의 숫자는 회색의 일부 변형을 나타냅니다. 컬러 이미지의 경우 널리 사용되는 RGB(빨간색, 녹색, 파란색) 모델은 1,600만 가지가 넘는 색상에 대응할 수 있습니다. 따라서 그래픽 렌더링 기술이 점점 더 사실적으로 변하면서 실제 카메라로 캡처한 픽셀과 게임 엔진에서 렌더링된 픽셀 간의 차이가 사라지고 있습니다.
시뮬레이션은 카메라뿐만 아니라 센서에 대한 합성 데이터를 점점 더 생성할 수 있기 때문에 강력한 도구이기도 합니다. 고품질 그래픽은 사람의 눈에 매력적이고 친숙하여 카메라 센서를 훈련하는 데 유용하지만 렌더링 엔진은 레이더 및 LiDAR 데이터도 생성할 수 있습니다. 시뮬레이션 내에서 이러한 합성 데이터 세트를 결합하면 알고리즘이 AV에서 일반적으로 사용되는 다양한 유형의 센서를 모두 사용하여 훈련할 수 있습니다.
고품질 그래픽을 생성하는 데 필요한 GPU 생산에 대한 전문 지식으로 인해 Nvidia는 이 분야의 리더로 자리매김했습니다. 2021년에는 고품질 합성 센서 데이터를 렌더링하고 다양한 산업 과 관련된 실제 물리학을 모델링할 수 있는 시뮬레이션 플랫폼인 Omniverse를 출시했습니다 . 이제 개발자는 Omniverse를 사용하여 자율 차량 및 기타 로봇 시스템을 교육하기 위한 센서 데이터를 생성하고 있습니다.
토론에서 Sholingar는 이러한 유형의 시뮬레이션이 개발을 가속화하는 데 유용할 수 있는 몇 가지 구체적인 방법을 설명했습니다. 첫 번째는 약간의 재교육을 통해 한 유형의 차량용으로 개발된 인식 알고리즘을 다른 유형에서도 재사용할 수 있다는 사실과 관련이 있습니다 . 그러나 새 차량은 센서 구성이 다르기 때문에 알고리즘이 세상을 새로운 관점에서 보게 되므로 성능이 저하될 수 있습니다.
“세단형 AV를 개발했는데 SUV로 가야 한다고 가정해 보겠습니다. 글쎄, 그것을 훈련시키려면 누군가가 모든 센서를 교체하고 SUV에 다시 장착해야 합니다. 이 과정에는 시간이 걸리고 비용이 많이 들 수 있습니다. 합성 데이터는 이러한 종류의 개발을 가속화하는 데 도움이 될 수 있습니다.”라고 Sholingar는 말했습니다.
또 다른 영역에는 특히 고속 고속도로 시나리오에서 멀리 있는 물체를 정확하게 감지하는 훈련 알고리즘이 포함됩니다 . 200미터 이상 떨어져 있는 물체는 종종 몇 픽셀로 나타나며 사람이 레이블을 지정하기 어려울 수 있으므로 일반적으로 이에 대한 훈련 데이터가 충분하지 않습니다.
Sholingar는 “데이터에 정확하게 주석을 달기가 어려운 먼 범위의 경우 데이터 세트의 해당 부분을 늘리는 것이 목표였습니다.”라고 말했습니다. “실험에서 시뮬레이션 도구를 사용하여 300미터 높이의 자동차에 대한 더 많은 합성 데이터와 경계 상자를 추가하고 이것이 알고리즘 성능을 향상시키는지 평가하기 위해 실험을 실행했습니다.”
Sholingar에 따르면 이러한 노력을 통해 알고리즘은 200미터 이상의 물체를 더 정확하게 감지할 수 있었으며 이는 합성 데이터를 사용해야만 가능했습니다.
이러한 개발 중 많은 부분이 더 나은 시각적 충실도와 포토리얼리즘에 의한 것이지만 Sholingar는 이것이 가능한 실제 시뮬레이션을 만드는 요소의 한 가지 측면일 뿐이라고 강조했습니다.
“이러한 비주얼을 보면 시뮬레이션이 얼마나 아름다운지에 푹 빠지는 경향이 있고 매우 즐겁습니다. 정말 중요한 것은 AI 알고리즘이 이러한 픽셀을 어떻게 인식하는지입니다. 그러나 외관 외에도 시뮬레이션에서 현실을 모방하는 데 중요한 두 가지 주요 측면이 더 있습니다.”
첫째, 엔지니어는 시뮬레이션에 대표 콘텐츠가 충분히 포함되어 있는지 확인해야 합니다. AI는 다양한 색상의 옷을 입은 보행자, 자전거가 달린 루프랙이나 서핑보드와 같이 특이한 모양의 자동차를 포함하여 현실 세계의 다양한 물체를 감지할 수 있어야 하기 때문에 이는 중요합니다.
둘째, 시뮬레이션은 광범위한 보행자 및 차량 행동을 묘사해야 합니다. 기계 학습 알고리즘은 보행자가 휴대폰을 보기 위해 멈추거나 길을 건널 때 예기치 않게 멈추는 시나리오를 처리하는 방법을 알아야 합니다. 다른 차량도 바짝 끼어들거나 다가오는 차량을 앞으로 흔들기 위해 잠시 멈추는 등 예상치 못한 방식으로 행동할 수 있습니다.
“시뮬레이션의 맥락에서 리얼리즘이라고 하면 시각적인 겉모습 부분에만 연관되는 경우가 많지만, 저는 보통 이 세 가지 측면을 모두 보려고 노력합니다. 내용과 행동, 모습을 정확하게 표현할 수 있다면 현실감 있는 방향으로 나아갈 수 있다”고 말했다.
또한 대화를 통해 시뮬레이션이 합성 데이터 생성을 위한 점점 더 가치 있는 도구가 되겠지만, 실제 데이터 수집 및 테스트를 대체하지는 않을 것이라는 점이 분명해졌습니다.
“우리는 시뮬레이션을 현실 세계에서 수행하는 작업을 가속화하는 도구로 생각해야 합니다. 시간과 비용을 절약하고 다양한 극단적인 시나리오에 도움이 될 수 있지만 궁극적으로는 실제 데이터 수집에서 수집된 데이터 세트를 늘리는 도구입니다.”라고 그는 말했습니다.
Omniverse를 넘어 “움직이는 사물”의 자율성을 개발하는 데 도움을 주는 광범위한 산업이 시뮬레이션으로 전환하고 있습니다. Tesla는 유사한 기술을 사용하여 Unreal Engine의 자동화를 개발한다고 발표했으며, 캐나다 스타트업인 Waabi는 자율주행 소프트웨어 교육에 시뮬레이션 우선 접근 방식을 취하고 있습니다. 한편 마이크로소프트는 자율 드론을 훈련시키기 위해 유사한 도구를 실험했지만 최근 프로젝트가 중단되었습니다.
현실 세계에서의 훈련 및 테스트는 자율 시스템 개발에 있어 중요한 부분으로 남아 있지만, 물리 및 그래픽 엔진 기술의 지속적인 개선은 가상 세계가 머신 러닝 알고리즘을 강화할 수 있는 기능적 도구로 발전할 수 있는 부담이 적은 샌드박스를 제공할 수 있음을 의미합니다. 우리의 자율적인 미래.
이미지 크레디트: 엔비디아
