엔드투엔드 자율주행, 코드가 사라진 자리에 남는 검증 문제

테슬라 FSD는 북미에서 약 90만 명이 쓰고 누적 주행거리 13억 마일에 이른다. 웨이모는 피닉스·샌프란시스코·로스앤젤레스에서 주간 약 20만 회 로보택시를 운행한다. 기사는 이 숫자를 상용화의 증거로 읽는다. 현장에서 보면 이 숫자는 다른 질문을 낳는다. 사람이 짠 규칙을 신경망 하나로 바꾼 뒤, 그 시스템이 안전하다는 것을 무엇으로 증명할 것인가.

배경: 왜 중요한가

2004년 DARPA 그랜드 챌린지 이후 20년 동안 자율주행 소프트웨어는 인지·예측·계획·제어를 별도 모듈로 나눠 만들었다. 각 모듈은 입력과 출력이 정의돼 있어 어디서 틀렸는지 추적할 수 있었다. 대신 앞단 오류가 뒤로 누적되고, 손으로 짠 규칙은 엣지 케이스를 다 덮지 못했다.

최근 흐름은 이 구조를 세 방향에서 허문다. 첫째, 카메라 영상에서 트랜스포머로 3차원 특징값을 뽑아 객체 검출·점유 격자·BEV(Bird's Eye View, 차량 주변을 위에서 내려다본 평면 표현) 분할·온라인 지도 생성을 한 번에 처리한다. 둘째, 고정밀 HD맵 대신 내비게이션용 SD맵과 센서 인지를 합쳐 로컬 맵을 실시간으로 만든다. 셋째, 인지 특징값을 그대로 경로 계획 신경망에 넣어 전 과정을 하나로 학습하는 엔드투엔드 자율주행이다.

왜 이 방향인가. 데이터와 모델을 키울수록 일반화 성능이 오르는 스케일링 법칙이 언어모델에서 확인됐고, 자율주행도 같은 곡선을 탈 수 있다는 기대 때문이다. 13억 마일이 중요한 이유가 여기에 있다. 그것은 안전 기록이기 전에 학습 데이터의 양이다.

핵심: 일반 기사가 놓치는 지점

기사는 "성능이 좋아졌다"에서 끝난다. 현장에서 갈리는 지점은 성능이 아니라 검증이다. 자동차 안전 규격은 모듈 구조를 전제로 만들어졌다. 신경망 하나로 합치면 그 전제가 무너진다.

모듈 경계가 사라지면 검증 경계도 사라진다

기능안전 표준 ISO 26262는 위험도를 ASIL A~D 네 등급으로 나누고, 등급별로 요구사항 추적·단위 시험·고장 분석을 요구한다. 조향·제동에 직접 관여하는 기능은 대부분 최고 등급인 ASIL D다. 이 체계는 "이 함수는 이 입력에 이 출력을 낸다"는 명세가 있어야 돌아간다. 엔드투엔드 자율주행에는 그 명세가 없다. 수억 개 가중치 중 어느 것이 좌회전 판단을 맡는지 특정할 수 없다.

그래서 ISO 21448(SOTIF, 고장이 없어도 성능 한계 때문에 생기는 위험을 다루는 표준)이 쓰인다. 목표는 "모르는 위험 시나리오"의 비중을 줄이는 것인데, 모르는 시나리오가 얼마나 남았는지 셀 방법이 없다. 결국 주행거리로 통계를 만들어야 한다. 미국 인간 운전자의 사망사고율은 공개 통계 기준 약 1억 마일당 1건대다. 랜드연구소는 2016년 보고서에서 자율주행이 인간보다 낫다는 것을 통계적으로 보이려면 수억 마일 이상이 필요하다고 추산했다. 13억 마일은 이 기준을 넘어 보이지만, 운전자가 언제든 개입하는 레벨 2+ 주행거리와 개입 없는 주행거리는 같은 마일이 아니다. 개입이 있었던 구간은 시스템이 혼자 처리했다는 증거가 되지 못한다. 웨이모의 원격 어시스트가 관여한 건수와 비중은 공개 자료로는 상세히 확인되지 않는다.

하나 더 있다. 모델을 업데이트하면 검증을 처음부터 다시 해야 하느냐는 문제다. 모듈 구조에서는 바뀐 모듈만 재검증하면 됐다. 단일 신경망은 데이터 한 배치를 더 학습해도 모든 출력이 조금씩 바뀐다. 회귀 시험 범위를 어디까지 잡을지 합의된 기준이 아직 없다.

HD맵을 버리는 대신 무엇을 떠안는가

HD맵은 비쌌다. 차선 하나가 바뀌면 지도를 다시 만들어야 했고, 최신성 유지 비용이 서비스 지역 확장 속도를 묶었다. 온라인 맵 생성은 이 비용을 없앤다. 대신 두 가지를 떠안는다.

첫째는 라벨링 비용이다. 3차원 인지 학습에는 3차원 정답이 필요한데, 2차원 박스보다 몇 배 비싸다. 그래서 거리 추정과 영역 분할 결과로 자동 라벨을 만드는데, 자동 라벨의 오류가 그대로 학습 데이터에 들어간다. 라벨 품질을 누가 어떻게 감사하느냐가 사실상 성능 상한을 정한다.

둘째는 지도가 하던 사전 정보의 역할이다. HD맵은 "이 앞 200m에 정지선이 있다"를 센서가 보기 전에 알려줬다. 온라인 맵은 카메라가 본 것만 안다. 폭우·역광·눈 덮인 차선처럼 센서 입력 자체가 열화되는 조건에서 정적 정보의 안전망이 없어진다. 레벨 3 자동차로유지시스템 규정인 UN R157이 작동 조건을 고속도로로 한정하고 최고속도를 처음 60km/h에서 개정 후 130km/h로 단계적으로 올린 이유가 이 ODD(Operational Design Domain, 시스템이 안전하게 작동하도록 설계된 조건 범위) 논리다. 규제는 어디서 작동하는지를 명시하라고 요구하는데, 지도 없는 시스템은 그 경계를 지도 위에 그릴 수 없다.

복잡한 상황에서만 멀티모달 언어모델을 호출하는 Physical AI 접근도 같은 문제를 안는다. 언어모델은 추론 지연이 수백 ms 단위라 실시간 제어 루프에 넣을 수 없고, 어떤 상황을 복잡하다고 판정해 호출할지가 또 하나의 판단 모듈이다.

그래서 뭘 봐야 하나

투자·산업 관점의 포인트는 다음과 같다. 어느 것도 단정할 수 없다.

• 무인 주행거리와 개입률의 분리 공개 여부. 레벨 2+ 누적 마일과 무인 마일을 합산해 발표하는 기업과 분리해 발표하는 기업은 검증 단계가 다르다.
• 검증 인프라 수요. 월드모델 기반 시뮬레이션, 자동 라벨링 감사 도구, 시나리오 데이터베이스는 차량 판매량과 무관하게 개발 단계마다 비용이 발생한다.
• 차량 내 연산 하드웨어. 엔드투엔드 모델과 온라인 맵 생성은 HD맵 조회보다 연산량이 크다. 차량용 SoC의 열 설계와 전력 예산이 모델 크기를 제한하고, 이 한계가 레벨 4 시점의 실질 변수다.
• 규제 대응 속도. UN R157 개정, 미국 주별 무인 운행 허가, 국내 임시운행 허가 조건이 ODD를 어디까지 넓히느냐에 따라 서비스 지역 확장 속도가 갈린다.

리스크도 같은 자리에 있다. 데이터가 많은 기업이 유리하다는 스케일링 논리는 데이터 품질과 검증 방법이 따라올 때만 성립한다. 사고 한 건이 업계 전체 시험 운행을 멈춘 사례는 2018년 우버 템피 사고 때 이미 있었다.

엔드투엔드 자율주행은 코드를 데이터로 바꿨다. 성능은 데이터 양을 따라 올라가지만, 안전을 증명하는 방법은 아직 모듈 시대 규격에 머물러 있다. 이 간격이 좁혀지는 속도가 상용화 속도를 정한다.