온디바이스 AI 도입으로 달라진 SoC 설계

728x90

SoC 설계의 출발점이 바뀌다
온디바이스 AI가 요구한 새로운 역할 분담
NPU 중심 설계로 이동한 이유
메모리와 인터커넥트 구조의 재편
전력 관리와 발열 설계의 재정의
소프트웨어를 전제로 한 하드웨어 설계
온디바이스 AI 시대 SoC의 성능 기준 변화

서론

SoC 설계는 오랫동안 집적과 효율의 역사였다. CPU와 GPU, ISP, 통신 모뎀을 하나의 칩에 담아 전력과 공간을 절약하는 것이 핵심 목표였고, 연산의 무게중심은 여전히 CPU에 놓여 있었다. 인식과 판단처럼 무거운 작업은 외부 서버에서 처리하는 것이 일반적이었기 때문에, SoC 내부 설계는 상대적으로 정형화된 구조를 유지할 수 있었다.

하지만 온디바이스 AI가 본격적으로 도입되면서 이 전제는 무너지기 시작했다. AI 연산은 단순한 기능 추가가 아니라, SoC 내부에서 가장 많은 자원과 설계 고민을 요구하는 요소로 떠올랐다. 그 결과 SoC 설계는 집적의 문제가 아니라, AI 연산을 얼마나 효율적으로 지속할 수 있는가를 중심으로 재편되고 있다.

1. SoC 설계의 출발점이 바뀌다

온디바이스 AI 이전의 SoC 설계는 명확한 출발점을 갖고 있었다. 범용 연산은 CPU, 그래픽은 GPU, 카메라는 ISP라는 식의 역할 분담이다. AI 연산은 있어도 부가적인 기능에 가까웠다.

하지만 지금은 설계 질문 자체가 달라졌다.

AI 연산을 어디에 배치할 것인가
어떤 연산을 항상 실행할 것인가
지속적인 추론을 어떻게 감당할 것인가

이 질문에 답하지 못하면 SoC 전체 성능이 흔들린다. 온디바이스 AI 도입 이후 SoC 설계는 더 이상 CPU 중심으로 시작되지 않는다. AI 연산을 중심에 두고, 나머지 구성 요소가 이를 어떻게 지원할지를 먼저 고민하는 구조로 바뀌었다.

첫 화면

2. 온디바이스 AI가 요구한 새로운 역할 분담

AI 연산은 기존 연산과 성격이 다르다. 짧고 강한 연산보다, 작지만 지속적인 연산이 많다. 이 특성은 SoC 내부 역할 분담을 다시 짜게 만들었다.

체크리스트처럼 보면 변화는 분명하다.

CPU는 제어와 범용 연산에 집중한다
GPU는 그래픽과 일부 병렬 연산을 맡는다
AI 연산은 전용 블록이 담당한다

이 구조가 자리 잡지 못한 SoC는 동일한 AI 기능을 구현하더라도 전력 소모와 발열에서 불리해진다. 그래서 최근 SoC 설계에서는 역할 분담 자체가 성능의 핵심 요소가 되고 있다.

첫 화면

3. NPU 중심 설계로 이동한 이유

왜 굳이 NPU가 필요해졌을까라는 질문은 자연스럽다.

답은 효율이다. CPU는 범용 연산에 강하지만, AI 추론에 필요한 대규모 행렬 연산에는 전력 대비 효율이 낮다. GPU는 병렬 처리에 유리하지만, 상시 동작에는 부담이 크다. 이 빈틈을 채운 것이 NPU다.

Qualcomm과 Apple은 SoC 설계에서 NPU를 보조 장치가 아니라 핵심 연산 블록으로 배치하고 있다. 이 변화는 AI 성능 경쟁이 클럭이나 코어 수가 아니라, NPU 구조와 활용 방식으로 이동했음을 보여준다.

첫 화면

4. 메모리와 인터커넥트 구조의 재편

온디바이스 AI SoC에서 가장 자주 발생하는 병목은 연산 능력이 아니라 데이터 이동이다. NPU가 아무리 빠르더라도, 데이터를 가져오는 경로가 길면 성능은 체감되지 않는다.

그래서 SoC 설계에서는 다음과 같은 변화가 나타난다.

NPU 인접 메모리 배치 확대
온칩 메모리 비중 증가
인터커넥트 구조 단순화 및 고속화

비교해 보면 기존 SoC는 기능 블록 간 연결이 중심이었지만, AI 중심 SoC는 데이터 흐름이 설계의 기준이 된다. 메모리와 연산 블록의 거리가 곧 성능이 되는 구조로 바뀌고 있다.

첫 화면

5. 전력 관리와 발열 설계의 재정의

온디바이스 AI는 항상 깨어 있는 SoC를 요구한다. 이는 전력과 발열 설계 기준을 완전히 바꾼다. 순간 최고 성능보다, 얼마나 오래 안정적으로 AI 연산을 유지할 수 있는지가 중요해졌다.

가이드 흐름으로 보면 변화는 단계적이다.
1단계는 저전력 AI 연산 블록 설계다.
2단계는 상황에 따라 연산 유닛을 선택적으로 활성화하는 제어다.
3단계는 열이 특정 영역에 집중되지 않도록 하는 구조적 분산이다.

이 과정에서 전원 관리 회로와 클럭 도메인 설계, 내부 배치까지 함께 달라진다. SoC 설계는 더 이상 성능 그래프만으로 평가되지 않는다.

첫 화면

6. 소프트웨어를 전제로 한 하드웨어 설계

온디바이스 AI SoC는 하드웨어만으로 완성되지 않는다. 운영체제와 AI 프레임워크를 전제로 설계되는 구조가 일반화되고 있다.

질문과 답변으로 보면 왜 소프트웨어가 SoC 설계에 중요한가라는 질문에 대한 답은 자원 판단이다.

어떤 연산을 CPU가 처리할지
언제 NPU를 깨울지
전력과 발열을 어떻게 조절할지

이 판단은 소프트웨어 없이는 불가능하다. 그래서 최근 SoC는 특정 AI 워크로드와 소프트웨어 스택을 염두에 두고 설계된다. 이 흐름 속에서 NVIDIA처럼 하드웨어와 소프트웨어를 함께 설계하는 전략이 힘을 얻고 있다.

첫 화면

7. 온디바이스 AI 시대 SoC의 성능 기준 변화

온디바이스 AI 도입 이후 SoC 성능을 평가하는 기준도 달라졌다. 단순한 연산 능력보다, 얼마나 자연스럽게 AI 기능을 유지할 수 있는지가 중요해졌다.

의견을 덧붙이면 앞으로 SoC 경쟁력은 스펙 시트보다 실제 사용 환경에서 드러난다. 배터리를 급격히 소모하지 않으면서도, 지연 없이 AI 기능을 제공할 수 있는지가 핵심이다. 이 기준에서 보면 온디바이스 AI를 고려하지 않은 SoC 설계는 점점 경쟁력을 잃을 가능성이 크다.

첫 화면

결론

온디바이스 AI 도입은 SoC 설계를 부분적으로 수정하는 수준을 넘어, 설계 철학 자체를 바꾸고 있다. CPU 중심 구조는 NPU 중심 구조로 이동했고, 메모리와 인터커넥트, 전력 관리, 소프트웨어 연계까지 모두 다시 정의되고 있다.

이제 SoC는 얼마나 많은 기능을 담았는지가 아니라, AI 연산을 얼마나 효율적으로 지속할 수 있는지로 평가된다. 온디바이스 AI는 SoC 설계를 다시 쓰게 만든 가장 강력한 요인이며, 이 변화는 일시적인 트렌드가 아니라 구조적 전환으로 이어지고 있다.

첫 화면