CXL, 메모리를 서버 사이에서 나눠 쓰는 시대 연다
글자 크기
◆ HBM만으로는 모자란 AI의 '기억력'
생성형 인공지능(AI)이 더 길게 대화하고 더 많은 사용자를 동시에 상대하게 되면서, AI가 '기억해야 할 정보'의 양도 크게 늘고 있다.
연산 속도는 고대역폭메모리(HBM)로 끌어올렸지만 기억 공간은 여전히 부족하다.
이 문제의 해법으로 '컴퓨트 익스프레스 링크(CXL)'가 반도체 업계의 새 승부처로 떠올랐다.
AI가 대화를 기억하는 공간, KV 캐시가 모자란다
대규모언어모델(LLM)은 사용자와 대화할 때 앞서 나온 문맥을 'KV 캐시(Key-Value Cache)'라는 형태로 메모리에 임시 저장한다.
같은 계산을 반복하지 않고 빠르게 답을 내기 위해서다.
대화가 길어지고 동시 사용자가 늘수록 KV 캐시는 수십~수백 기가바이트(GB)로 불어난다.
이 데이터가 메모리 용량을 넘으면 AI는 이미 계산했던 내용을 다시 계산해야 하고, 응답 속도는 눈에 띄게 느려진다.
AI 연산의 무게중심이 학습에서 추론으로 옮겨 가면서 이 문제는 더 커졌다.
업계는 AI 칩의 연산 속도를 메모리가 따라가지 못해 전체 성능이 떨어지는 현상을 '메모리 월(Memory Wall)'이라고 부른다.
HBM은 속도는 빠르지만 GPU 옆에 붙일 수 있는 양이 한정돼 있고 값도 비싸다.
용량을 늘리려고 GPU를 더 사는 것도 비용 부담이 크다.
메모리를 '떼어내' 함께 쓰는 기술
CXL은 중앙처리장치(CPU), 그래픽처리장치(GPU), 메모리 등을 고속으로 연결하는 차세대 인터페이스다.
핵심은 '메모리 풀링(Pooling)'이다.
지금까지 메모리는 각 서버에 고정돼 있어서, 한 서버의 메모리가 모자라도 옆 서버에 남는 메모리를 가져다 쓸 수 없었다.
CXL 스위치로 여러 메모리 장치를 하나의 공유 풀로 묶으면 필요한 서버에 필요한 만큼 나눠 줄 수 있다.
이론적으로는 페타바이트(PB) 규모까지 메모리를 확장할 수 있다.
책상에 비유하면 이해가 쉽다.
사람마다 작은 개인 책상만 쓰던 사무실에, 누구나 필요할 때 넓게 펼쳐 쓸 수 있는 대형 공용 테이블이 생기는 셈이다.
값비싼 AI 칩을 늘리지 않고도 '기억 공간'을 키울 수 있다는 점에서 데이터센터 운영 비용을 낮출 대안으로 주목받고 있다.
삼성 "D램 대비 92% 성능"… 실제 추론 환경서 검증
국내 메모리 업체들은 이미 실증 결과를 내놓고 있다.
삼성전자는 GPU와 CXL 스위치, 자사의 CXL 메모리 모듈(CMM-D)을 연결해 1테라바이트(TB) 규모의 메모리 풀을 구성하고 AI 추론 성능을 평가했다.
단일 GPU 환경에서는 일반 D램과 비슷한 성능을 냈고, GPU 8개를 쓰는 환경에서도 D램 대비 약 92% 수준의 성능을 유지하면서 더 큰 용량을 제공했다.
특히 512GB D램 구성과 비교한 실험에서 차이가 뚜렷했다.
D램만 쓴 구성은 KV 캐시 요구량이 용량을 넘자 캐시를 다시 계산하느라 성능이 떨어졌다.
반면 CXL 메모리 풀은 더 많은 KV 캐시를 담으면서도 안정적인 성능을 유지했다.
'AI의 기억 공간을 넓힌다'는 CXL의 효과를 수치로 보여준 것이다.
삼성은 '용량 확장', SK하이닉스는 '메모리 중심 랙'
두 회사는 이달 미국 새너제이에서 열린 글로벌 데이터센터 기술 행사 'OCP 글로벌 서밋 2026'에서 나란히 CXL 전략을 내놨다.
삼성전자는 속도는 차세대 HBM으로 높이고, 부족한 용량은 CXL로 확장하며, 늘어나는 데이터는 차세대 SSD에 담는 3단계 해법을 제시했다.
AMD와 함께 CXL 기반 메모리 확장 기술을 실제 환경에서 시연하기도 했다.
SK하이닉스는 '메모리 중심 AI 랙 시스템(MARS)'을 제안했다.
그동안 데이터센터의 기본 단위인 랙은 AI 칩을 중심으로 설계돼 왔고, 메모리는 보조 부품으로 취급됐다.
MARS는 CXL을 이용해 GPU에 묶여 있던 메모리를 떼어내고, 랙 전체가 함께 쓰는 메모리 풀로 바꾸는 구조다.
SK하이닉스는 앞서 256GB 용량의 CXL 메모리 모듈(CMM-DDR5)을 공개했고, 메모리 옆에서 직접 연산까지 처리하는 CXL 기반 제품 'CMM-Ax'도 선보였다.
12배 성장 전망… 남은 변수는 생태계와 엔비디아
한 시장조사업체는 CXL 메모리 확장 시장이 지난해 13억5000만 달러(약 1조8000억 원)에서 2035년 165억5000만 달러(약 22조2000억 원)로 12배 넘게 커질 것으로 내다봤다.
증권가에서는 CXL에 대한 기대가 올해부터 본격화하고, CXL을 지원하는 서버 플랫폼이 2028년쯤 주류로 자리 잡을 것이라는 전망이 나온다.
다만 넘어야 할 산도 있다.
CXL은 메모리만 준비된다고 쓸 수 있는 기술이 아니다.
이를 지원하는 CPU와 서버 플랫폼, 소프트웨어가 함께 갖춰져야 한다.
실제로 차세대 서버용 CPU 출시가 늦어지면서 최신 규격 CXL 메모리 모듈의 본격 양산이 미뤄졌다는 보도도 나왔다.
AI 반도체 시장을 쥐고 있는 엔비디아의 행보도 변수다.
엔비디아는 자체 연결 기술인 'NV링크'로 수십~수백 개의 GPU를 하나의 컴퓨터처럼 묶는 생태계를 구축해 왔다.
개방형 표준인 CXL이 확산되면 이런 폐쇄형 생태계의 영향력이 약해질 수 있어, 엔비디아가 CXL에 미온적이라는 해석도 있다.
반면 메모리 업계는 NV링크가 대역폭에서는 앞서지만 대용량 메모리 풀링에는 CXL이 적합하다며, 두 기술이 서로 보완하는 관계가 될 것이라고 본다.
AI 경쟁은 '누가 더 빨리 계산하느냐'에서 '누가 더 많이, 더 싸게 기억하느냐'로 넓어지고 있다.
HBM, 서버 D램, CXL 메모리, 기업용 SSD를 계층적으로 엮는 메모리 구조가 차세대 AI 데이터센터의 경쟁력을 가를 것이다.
