Edge AI 업계 후기

Edge AI에서 빼놓을 수 없는 하드웨어 Jetson Orin Nano

클라우드/소프트웨어 개발자로서, Edge AI 쪽에 잠깐 몸 담그고 나온 후기를 짤막하게 써 본다.

노파심에 이야기하지만 이것은 전적으로 주관적인 경험이며 또한 이 후기는 특정 회사/집단을 대변하지 않고, 오로지 내 시야에서 본 업계의 이야기이다.

 

• 클라우드를 on-premise 형태로 개발하는 느낌이 강하다. 구체적으로 쓰자면, Terraform과 같은 state-based deployment나, 가끔은 외부 서비스를 활용하는 SaaS를 적극 활용하는 최근의 클라우드 솔루션과는 달리, EC2 인스턴스 몇개 할당하고, 그 위에서 procedural script를 돌려서 솔루션을 유지하는 느낌. 아무래도 임베디드 하던 팀의 성향이 클라우드 개발에서도 그대로 적용된 게 아닌가 싶다. 아쉬운 부분이자, 새 분야 진출 시 인력관리를 어떻게 해야할 지 생각해 볼 부분이다.
  • 이러한 구성도 존중은 하는데, 가장 큰 문제는 설정과 로직의 분리(One file one role) 가 전혀 이루어지지 않는다는 것이다. 엄청난 코드 컨플릭트와 업무 블로킹이 발생하여 결과물을 늦게 나오게 하는 최고의 공신.
• 인프라에서 클라우드 스케일링 설계는 의미가 없는 수준. 이건 Edge AI 특징에서도 기인하는데, evaluation이 cloud에서 돌아가는 것이 아니라 임베디드에서 돌아가기 때문이다. training은 어차피 배치로 돌리기 때문에 다소 설계 난이도가 낮은 편이기도 하거니와, B2B라서 데이터가 비교적 적은 편인 관계로 더더욱 그 난이도를 낮춘다.
• Cost-efficient AI 모델 및 On-chip 설계가 무엇인지 몸으로 체감 가능. 우선 모델을 칩 위에서 돌린다는 것 자체가 SaaS에 의존하는 것이 기본값인 클라우드 개발자에게는 꽤 큰 패러다임의 전환이다. 보통 Edge AI는 외부 네트워크/시스템에 의존할 수 없는 환경인 경우가 많기 때문에 그렇게 진화하게 된 것이다. 그걸 이해하더라도 바로 돌릴 수는 없고, 여러가지를 고려해야 한다. 전력 및 발열 설계부터 AI 모델 자체 최적화 (모델링 및 TRT), 성능 및 속도 벤치마킹 … 이 모든 점에서 타협점을 찾는 게 사실 Edge AI의 전부이다.
  • 쓰고나니 별 거 아닌 사실같기도 한데 이거 모른다고 (당시에는 온디바이스 AI 모델 자체를 생각을 안 해봤음) 면접에서 팽한 H 모회사가 문득 떠오르네… 할 말은 없지만 서운하다!!
• AI 모델링만 놓고 보면 그렇게 고수준은 아님. 튜닝 혹은 앙상블 수준의 간단한 구성으로 성능 향상을 꾀하는 정도. 아주 높은 수준의 연구를 원한다면 실망할지도.
• 매우 넓은 기술의 폭: 엠비디드부터 클라우드까지 원없이 할 수 있다. 얼마나 깊이 팔 수 있는지는 개인 역량에 따라 달려 있다. 펌웨어 및 문서 참고해서 전원 및 데이터 케이블 셋팅하는 것부터 시작해서 머신 접속 (Serial 통신 및 플래싱), 드라이브 및 CUDA 라이브러리 세팅, 최종적으로는 C++/파이썬 백엔드/프론트 어플리케이션 실행 및 개발. 이 모든 것을 할 수 있으면 분명 사랑받을 것이다. 그렇다고 페이가 늘어난다는 것은 아니다.

누차 이야기하지만 순수 개인적인 생각이다!! 산업 분야와, 고객과, 제공하는 솔루션, 그리고 팀의 성격 등에 따라 아주 큰 차이가 발생할 수 있다.

 

Q: 다시 해당 분야로 갈 생각이 있나요?
A: 클라우드와 Edge AI, 두 분야를 모두 잘 이해하고 있는 사람들이 있는 곳이라면 다시 도전할 의향이 있다. (초 희귀 매물일 듯.)

Q: 왜요?
A: 낭만이 있다, 로봇에는. 산업 포텐셜도 높게 봄. (정작 글쓴이는 로봇 관련 전공 및 경험 전무)