처음 자율주행 데모 영상을 봤을 때, 솔직히 저는 "저게 어떻게 가능하지?"라는 생각부터 들었습니다. 빗속에서도 보행자를 잡아내고, 좁은 골목길에서 스스로 방향을 트는 모습이 그냥 신기함 그 이상이었습니다. 알고 보니 그 뒤에는 센서 인식부터 딥러닝 분석, 그리고 실시간 피드백 루프까지 유기적으로 맞물린 구조가 있었고, 그 구조를 하나씩 파악하고 나서야 비로소 "아, 이래서 되는구나" 싶었습니다.
AI가 세상을 읽는 첫 번째 관문, 센서 인식
인공지능이 주변을 파악하려면 가장 먼저 외부 정보를 데이터로 받아들여야 합니다. 이 역할을 하는 것이 바로 다양한 센서들입니다. 카메라, 라이다(LiDAR), 레이더, 초음파 센서 등이 대표적입니다. 여기서 라이다(LiDAR)란 레이저를 사방으로 발사한 뒤 반사되어 돌아오는 시간을 측정해 주변 사물까지의 정확한 거리와 형태를 3D로 재구성하는 장치입니다. 쉽게 말해 AI의 입체적인 눈이라고 보시면 됩니다.
제가 직접 자율주행 관련 데이터 파이프라인을 다루는 프로젝트에 참여해봤는데, 처음엔 카메라 하나면 충분하지 않을까 생각했습니다. 그런데 야간이나 우천 상황에서 카메라만으로는 사물 인식 정확도가 급격히 떨어지더군요. 그래서 요즘 시스템은 단일 센서에 의존하지 않고 센서 퓨전(Sensor Fusion) 기술을 씁니다. 여기서 센서 퓨전이란 카메라, 라이다, 레이더처럼 서로 다른 방식의 센서 데이터를 통합해 어느 하나가 취약한 환경에서도 전체 인식 정확도를 유지하는 기법입니다.
수집된 원시 데이터(Raw Data)는 그 자체로 바로 쓸 수 없습니다. 빛 번짐, 온도 잡음, 신호 간섭 같은 노이즈를 걷어내는 전처리 과정을 반드시 거쳐야 합니다. 이 전처리가 얼마나 잘 되느냐에 따라 이후 분석 품질이 완전히 달라진다는 걸, 실제로 데이터를 다뤄보기 전까지는 몰랐습니다. 컴퓨터 비전(Computer Vision) 기술이 바로 이 단계에서 작동하는데, 이미지 속 픽셀 배열을 분석해 선과 면, 사물의 윤곽을 추출해냅니다.
- 카메라: 색상·형태 정보를 고해상도로 포착, 조도 변화에 취약
- 라이다(LiDAR): 어둠과 무관하게 정밀 거리 측정, 비용이 높음
- 레이더: 악천후에도 안정적, 해상도는 낮은 편
- 센서 퓨전: 위 세 가지를 결합해 약점을 상호 보완
딥러닝은 머신러닝의 일부다, 그런데 왜 이게 중요한가
이 부분은 처음 공부할 때 제가 가장 헷갈렸던 지점입니다. 딥러닝과 머신러닝을 완전히 별개의 기술로 알고 있는 분들도 많은데, 실제로는 포함 관계입니다. 머신러닝(Machine Learning)이라는 큰 울타리 안에 딥러닝(Deep Learning)이 존재합니다. 머신러닝이란 명시적인 프로그래밍 없이 데이터로부터 스스로 규칙을 찾아내는 기술 전반을 가리킵니다. 의사결정나무, 서포트 벡터 머신(SVM) 같은 방법론들이 모두 여기 포함됩니다.
딥러닝은 그 머신러닝 안에서도 인간의 뇌 신경망 구조를 모방한 인공신경망(Artificial Neural Network)을 수십, 수백 층으로 깊게 쌓아 학습하는 방식을 말합니다. 여기서 인공신경망이란 입력 데이터를 여러 층의 노드(뉴런)를 통해 단계적으로 변환하면서 패턴을 찾아내는 수학적 구조입니다. 층이 깊을수록 더 추상적인 특징을 포착할 수 있습니다. 출처: IBM - What is Deep Learning
과거 전통적인 머신러닝에서는 사람이 직접 "이 사진에서 바퀴 모양을 찾아라"처럼 특징(Feature)을 정의해줘야 했습니다. 딥러닝은 이 과정조차 스스로 합니다. 수만 장의 자동차 사진을 보면서 픽셀 단계에서부터 선, 면, 형태를 자동으로 추출해냅니다. 일반적으로 딥러닝이 무조건 더 좋다고 생각하는 분들도 있는데, 저는 조금 다르게 봅니다. 데이터가 적거나 해석 가능성이 중요한 상황에서는 전통 머신러닝이 오히려 더 실용적인 경우가 많았습니다. 문제의 성격과 데이터 규모에 따라 선택하는 게 맞습니다. 출처: Google - Machine Learning Crash Course
판단하고, 행동하고, 다시 배우는 피드백 루프
센서로 세상을 읽고, 딥러닝으로 의미를 파악했다면 마지막은 판단과 행동입니다. 그런데 제가 실제로 강화학습(Reinforcement Learning) 기반 시뮬레이션을 돌려보면서 느낀 건, AI의 행동이 일회성이 아니라는 점이었습니다. 여기서 강화학습이란 AI가 어떤 행동을 했을 때 보상과 벌점을 반복 경험하면서 스스로 최적의 전략을 찾아가는 학습 방식입니다. 마치 게임에서 계속 죽으면서 레벨업하는 과정과 비슷합니다.
자율주행 차량을 예로 들면, 딥러닝 모델이 "전방 8m에 보행자"라는 판단을 내리면, 차량의 전자제어장치(ECU)는 현재 속도와 노면 마찰 계수를 계산해 제동 명령을 내립니다. 브레이크가 작동해 속도가 줄어들면 센서는 바뀐 상황을 다시 수집해 모델에 돌려보냅니다. 이것이 피드백 루프(Feedback Loop)입니다. 인식이 행동을 낳고, 행동이 다시 새 인식을 낳는 순환 구조입니다.
솔직히 이건 예상 밖이었습니다. 처음엔 AI가 "보고 → 판단 → 멈춤"의 선형 과정이라고 생각했는데, 실제 구조는 이 순환이 1초에 수십 번씩 돌아가는 실시간 루프였습니다. 로봇 청소기가 벽을 피하고 구석을 탐색하면서 동선을 스스로 최적화하는 것도 이 피드백 루프 덕분입니다. 기술이 더 정교해질수록 이 루프의 주기는 짧아지고 판단은 더 정밀해질 가능성이 있습니다.
자주 묻는 질문
Q. 딥러닝이랑 머신러닝은 그냥 같은 말 아닌가요?
A. 같은 말처럼 혼용되는 경우가 많은데, 엄밀히 말하면 포함 관계입니다. 머신러닝이 더 큰 범주이고, 딥러닝은 그 안에서 인공신경망을 깊게 쌓는 특정 방식을 가리킵니다. 모든 딥러닝은 머신러닝이지만, 모든 머신러닝이 딥러닝은 아닙니다. 데이터 양이 적거나 해석이 중요한 문제에서는 의사결정나무 같은 전통 머신러닝이 더 적합한 경우도 있습니다.
Q. AI 카메라가 비나 눈이 올 때도 제대로 작동하나요?
A. 카메라 단독으로는 악천후에 취약한 것이 사실입니다. 그래서 현재 대부분의 고급 시스템은 카메라, 라이다, 레이더를 동시에 사용하는 센서 퓨전 방식을 씁니다. 라이다와 레이더는 빛이 없거나 비가 와도 비교적 안정적으로 거리를 측정할 수 있어서, 카메라가 흐릿한 상황을 다른 센서가 보완하는 구조입니다. 물론 극단적인 기상 조건에서 완전한 신뢰성을 보장하는 수준까지는 아직 발전 중이라고 봐야 합니다.
Q. AI가 스스로 학습해서 판단 방식을 바꿀 수도 있나요?
A. 강화학습을 적용하면 가능합니다. 올바른 판단에 보상, 잘못된 판단에 벌점을 반복 경험하면서 AI는 스스로 더 나은 전략을 찾아갑니다. 다만 이 학습이 의도치 않은 방향으로 최적화될 가능성도 있어서, 학습 환경 설계와 안전 장치가 중요하다는 시각도 있습니다. 아직은 완전 자율적인 자기 개선보다는 제어된 범위 안에서의 학습이 현실적입니다.
Q. 컴퓨터 비전은 딥러닝 없이도 되나요?
A. 예전에는 사람이 직접 엣지 검출 알고리즘 같은 규칙을 만들어서 컴퓨터 비전을 구현했습니다. 지금도 단순한 조건에서는 전통 방식이 쓰이기도 합니다. 하지만 실제 도로처럼 복잡하고 예측 불가능한 환경에서는 딥러닝 기반 컴퓨터 비전이 압도적인 성능 차이를 보입니다. 제 경험상, 같은 데이터셋에서 전통 방식과 딥러닝을 비교해보면 복잡도가 올라갈수록 격차가 눈에 띄게 벌어집니다.
결론
AI가 환경을 인식하고 작동하는 구조를 처음부터 뜯어보면, 결국 센서 인식, 딥러닝 분석, 피드백 루프라는 세 축이 톱니바퀴처럼 맞물려 돌아가는 시스템입니다. 어느 하나가 부실하면 나머지도 흔들립니다. 제가 직접 프로젝트를 해보면서 느낀 건, 화려한 알고리즘보다 데이터 전처리와 센서 설계가 훨씬 더 결과를 좌우한다는 사실이었습니다.
딥러닝이 머신러닝의 전부인 것처럼 이야기하는 시각도 있는데, 개인적으로는 문제의 성격에 맞는 방법론을 고르는 눈이 더 중요하다고 봅니다. 기술이 어떻게 돌아가는지 기본 구조를 이해하고 나면, 어떤 새로운 AI 서비스가 나오더라도 그 뒤에 어떤 원리가 있는지 스스로 판단할 수 있게 됩니다. 다음 단계로는 강화학습이나 센서 퓨전 각각을 더 깊이 파고들어 보시길 권합니다.
참고: IBM - What is Deep Learning / Google - Machine Learning Crash Course