일요주간 - SK텔레콤·엔비디아·리벨리온, GPU·NPU 통합해 한국형 소버린 AI 인프라 구축

▲ SK텔레콤·엔비디아·리벨리온, GPU·NPU 결합한 한국형 소버린 AI 인프라 개발(사진=SK텔레콤)

SK텔레콤이 엔비디아, 리벨리온과 손잡고 국산 AI 반도체를 글로벌 기술 플랫폼에 결합한 한국형 소버린 AI 인프라 개발에 나선다. GPU와 NPU의 역할을 분담하는 통합 시스템을 구축해 AI 추론 성능과 전력 효율을 동시에 높인다는 구상이다.

SK텔레콤은 9일 서울 코엑스에서 열린 'NVIDIA AI Day Seoul'에서 엔비디아, 리벨리온과 GPU·NPU 통합 시스템 개발을 위한 업무협약(MOU)을 체결했다.

이번 협력의 핵심은 엔비디아의 고속 인터커넥트 기술인 'NVLink Fusion'을 활용해 리벨리온이 개발 중인 신경망처리장치(NPU) 'Rebel R200'을 엔비디아 플랫폼에 연결하는 것이다. 여기에 엔비디아의 서버 랙 표준 설계 규격인 'MGX'를 적용해 GPU와 NPU가 함께 작동하는 랙 단위 통합 시스템을 개발할 계획이다.

3사는 특히 AI 추론 과정에서 GPU와 NPU의 장점을 각각 활용하는 '분리형 추론' 방식을 적용하기로 했다. AI 경쟁의 중심이 모델 개발에서 실제 서비스 운영으로 이동하고, 에이전틱 AI 확산으로 추론 수요가 빠르게 증가하면서 데이터센터의 연산 성능뿐 아니라 전력 효율과 운영비용 절감이 핵심 경쟁력으로 떠오른 데 따른 것이다.

AI 추론은 크게 프리필(Prefill)과 디코드(Decode) 두 단계로 구분된다. 사용자의 질문을 분석하고 처리하는 프리필 단계는 연산량이 많아 GPU가 적합한 반면, 답변을 순차적으로 생성하는 디코드 단계는 메모리에서 필요한 데이터를 빠르게 불러오는 능력이 중요하다.

이에 따라 엔비디아 GPU가 프리필을 담당하고 리벨리온 NPU가 디코드를 처리하는 방식으로 역할을 분담한다. 각 반도체의 강점을 살려 전체 추론 처리 속도를 높이고 전력 소모를 줄이는 것이 목표다.

SK텔레콤은 AI 데이터센터 구축·운영 경험을 바탕으로 통합 시스템을 실제 데이터센터에 적용해 성능과 안정성을 검증할 예정이다. 실서비스 환경에서의 활용성과 상용화 가능성도 함께 평가한다. 이후 자체 AI 모델인 'A.X K2'와 대국민 AI 서비스 '모두의 AI'를 연계해 인프라부터 모델, 서비스까지 아우르는 풀스택 소버린 AI 체계를 구축한다는 방침이다.

이번 협력은 과학기술정보통신부의 소버린 AI 및 국산 AI 반도체 육성 정책과도 맞닿아 있다. 3사는 한국형 소버린 AI 인프라 구축 사례를 확보하고, 이를 토대로 국내 공공·민간 부문에서 활용할 수 있는 AI 서비스 기반을 확대할 계획이다.

정석근 SK텔레콤 최고기술책임자(CTO) 겸 AI CIC장은 "엔비디아 GPU와 리벨리온 NPU의 강점을 결합해 추론 성능과 전력 효율을 높일 수 있는 한국형 소버린 AI 인프라의 가능성을 검증한다는 데 의미가 있다"며 "AI 데이터센터 운영 역량과 독자 AI 모델, 대국민 서비스 경쟁력을 바탕으로 공공과 민간이 실제 활용할 수 있는 소버린 AI 인프라 생태계를 만들어 가겠다"고 말했다.

아쉬시 카란디카르 엔비디아 NVLink Fusion 부문 부사장은 한국의 반도체 기술력과 인재 경쟁력을 소버린 AI 발전의 기반으로 평가했다. 그는 "NVLink Fusion은 한국의 ASIC을 엔비디아 AI 팩토리 플랫폼과 결합해 고성능 AI 인프라를 구현하도록 지원한다"며 "과기정통부와 SK텔레콤, 리벨리온의 협력이 한국의 소버린 AI 역량과 차세대 AI 컴퓨팅 생태계 강화에 기여할 것"이라고 밝혔다.

박성현 리벨리온 대표도 이번 협력을 한국 AI 반도체와 모델을 글로벌 기술과 연결해 국내 소버린 AI 생태계를 확장하는 전환점으로 평가했다. 박 대표는 "독자 기술력을 바탕으로 양사와 차세대 AI 인프라를 공동 설계하고, 한국 기술이 글로벌 AI 산업의 핵심 축으로 성장하도록 기여하겠다"고 강조했다.

일요주간 / 하수은 기자 jlist@naver.com 

[저작권자ⓒ 일요주간. 무단전재-재배포 금지]