"특이점(singularity)은 메모리반도체에 달려 있다."

지난 1일 방한한 샘 올트먼 오픈AI 최고경영자(CEO)가 한 말이다. 인공지능(AI)이 인간을 뛰어넘는 순간을 뜻하는 '특이점'이 언제 올지는 삼성전자, SK하이닉스가 개발·생산을 주도하는 메모리반도체에 달려있다는 의미다. 올트먼은 이 말에 대해 글로벌 AI 산업의 중심지인 미국 실리콘밸리 사람들도 '똑같이 생각하고 있다'고 말했다. 올트먼은 왜 이런 발언을 했을까.

내년 메모리 시장 300조원 돌파 '슈퍼 호황'

생성형 AI의 대중화로 데이터를 학습하는 컴퓨팅 처리량이 기하급수적으로 증가하고 있다. 컴퓨팅 능력을 나타내는 글로벌 데이터센터 시장 규모는 2025년 3867억달러(약 544조원)에서 2034년 1조86억 달러까지 성장할 것으로 전망된다. 미국 빅테크들이 전 세계에 AI 데이터센터를 짓고 투자 경쟁을 벌이고 있어서다. AI가 인간과 유사한 수준으로 다가가기 위해선 더 많은 연산과 이를 뒷받침하는 데이터센터가 필요하다.

이를 위해선 데이터센터 서버에서 데이터를 저장하고 이를 그래픽처리장치(GPU) 같은 프로세서에 보내주는 메모리반도체의 고성능화가 필수적이다. 메모리반도체가 한 번에 '대용량' 데이터를 '빠르게' GPU에 보내줘야 GPU가 연산 능력을 100% 발휘할 수 있다는 의미다. 2~3년 전부터 단위 시간에 보낼 수 있는 데이터 용량을 뜻하는 대역폭이 큰 '고대역폭메모리', 즉 HBM이 AI 시대 '슈퍼스타'로 떠오른 배경이기도 하다.

이런 영향으로 메모리반도체 시장도 계속 커질 것으로 전망된다. 최근 'AI발(發) 메모리반도체 슈퍼호황'이 왔다는 분석도 나온다. 시장조사업체 IDC에 따르면 글로벌 메모리반도체 시장은 내년 2204억달러(약 310조원)로 처음으로 2000억달러를 돌파할 것으로 예상된다. 2030년까지 메모리반도체 시장이 연평균 14%씩 성장한다는 조사 결과도 있다. (시장조사업체 Dataintelo)

여전히 '부족한' 메모리 성능

하지만 메모리반도체 기업이 풀어야 할 숙제도 적지 않다.

첫 번째는 '메모리 월(wall, 장벽)'이다. 엔비디아의 B200, AMD의 MI350 같은 AI 가속기(AI 학습·추론에 특화한 반도체 패키지)에선 GPU 같은 연산용 프로세서와 메모리반도체가 함께 일한다. 문제는 GPU 같은 프로세서의 성능 향상 속도를 메모리반도체가 못 따라가고 있다는 것. 지난 20년간 프로세서의 컴퓨팅 능력은 6만배 개선됐지만, 메모리반도체의 성능(대역폭)은 100배 개선되는 데 그쳤다는 분석도 있다. GPU는 100% 자신의 성능을 내고 싶은데 메모리가 충분히 데이터를 보내주지 않아 놀고 있단 것이다. 이는 '메모리 병목 현상'으로 불리며 AI 서비스 발전의 걸림돌로 지적되고 있다.

샘 올트먼뿐만 아니라 젠슨 황 엔비디아 CEO, 리사 수 AMD CEO 같은 AI 가속기 개발사 경영진이 최근 계속 메모리반도체의 중요성을 강조하고 삼성전자, SK하이닉스 같은 메모리 공급사를 독려하는 이유다. AI 가속기가 업그레이드될 때마다 엔비디아, AMD는 대역폭 초당 1.2기가바이트(GB), 용량 36GB의 HBM을 8개씩 탑재하고 있지만 '아직 부족하다'는 지적이 나온다.

두 번째는 전력 절감이다. AI 모델이 활용하는 파라미터(학습 과정에서 사용되는 변수) 수가 급증해 전력 소비량도 급증하고 있다. 예컨대 파라미터 1조8000억개의 챗GPT-4를 훈련하는 데는 148GWh의 전력이 필요하다. 4인 가구 기준 약 4만2000가구의 1년 전력 사용량에 해당하는 수치다. AI 데이터센터를 운영하는 빅테크가 '전력 먹는 하마'로 비판받는 이유다.

데이터센터 전력 소모량의 약 20% 정도는 HBM 같은 메모리반도체가 쓰고 있다는 분석이 있다. 빅테크 입장에선 삼성전자, SK하이닉스가 지금보다 '저전력' 칩을 개발해 공급해야 할 필요성이 큰 것이다.

"GPU만큼 메모리 성능 높여라" 숙제 던져

마지막으론 저장 용량 문제다. 최근 AI가 잘못된 답변을 사실처럼 얘기하는 '환각 현상'에 대한 우려가 커지고 있다. 빅테크는 환각 현상을 해결하고 AI 서비스에 대한 신뢰성을 높이기 위해 'RAG(검색 증강 생성)'을 도입했다. AI가 답을 만들기 전에 훈련한 데이터 외부의 신뢰할 수 있는 자료를 참조하도록 하는 프로세스다.

RAG를 위해선 원본 데이터보다 몇 배 큰 벡터 데이터베이스가 필요하다. 256테라바이트(TB)에 달하는 고용량 데이터저장장치인 솔리드스테이트드라이브(SSD·낸드플래시를 활용해 만드는 저장장치) 수요가 커지고 있는 이유다. 최근 엔비디아가 일본 키오시아와 손잡고 기존 서버용 SSD보다 3배 빠르고 지연을 획기적으로 줄인 신개념 SSD를 개발 중인 이유다.

올트먼은 삼성·SK와 대규모 메모리반도체 공급의향서를 체결하며 '메모리 슈퍼 호황' 전망에 힘을 실었다. "전 세계에 한국 없이는 AI를 발전시킬 수 없다", "AI에 세계 최고의 한국 제조업 기반은 필수적" 등의 발언을 통해 찬사도 보냈다.

하지만 마냥 좋아하기엔 이르다는 게 반도체업계의 평가다. 샘 올트먼은 기회와 함께 한국 메모리 기업에 어려운 숙제를 던져준 것이다.

전 세계적으로 삼성전자, SK하이닉스 등 한국 메모리반도체 기업에 대한 관심이 커지고 있습니다. '규격대로 찍어내 저가에 파는 구식 제품'으로 치부됐던 D램 등 메모리반도체가 고부가가치·맞춤형 제품으로 변하고 있기 때문입니다. 메모리반도체가 AI 산업의 중심이 된다는 '메모리 센트릭'이란 말도 새로운 얘기가 아닙니다. 'AI발 슈퍼 호황'을 맞게 된 한국 메모리반도체 업계의 현황을 점검하고 발전 방향과 과제를 짚는 기사를 연재합니다.

황정수 기자 hjs@hankyung.com