AI가 등장하고 다양한 산업에서 사용하기 시작하면서, 더 좋은 AI를 선보이기 위한 기업들의 경쟁이 심화되고 있습니다. 그리고 기업들이 좋은 성능의 AI를 구현하기 위한 방법들 중 가장 떠오르는 것은 ‘AI 반도체’인데요. 이미 엔비디아는 GPU로 AI 반도체 시장을 점령했고, 이 외에도 AMD, 구글, 오픈AI 등 글로벌 IT 기업들 모두 AI 반도체 시장에 뛰어들고 있습니다. 그래서 오늘은 누구나 한 번쯤은 들어봤을 AI 반도체가 무엇인지, 그리고 AI 반도체와 관련해 자주 등장하는 용어가 어떤 역할을 하는 기술인지에 대해 이야기해보려고 합니다.

AI 반도체란?

AI 반도체는 AI에 특화된 반도체로, 워낙 연산량이 많아 높은 성능의 컴퓨터가 필요한 AI에 최적화 된 반도체입니다. AI의 성능이 고도화되면서 연산량이 폭발적으로 증가했고, 때문에 하나의 AI를 개발하기 위해서는 엄청난 시간과 네트워크를 소모해야 합니다. 그리고 이 문제를 해결하기 위해서는 더 높은 성능의 컴퓨터가 필요하고, 빠르게 처리하는 고성능 컴퓨터를 사용하면 시간과 비용을 절약하면서 개발의 효율까지 높일 수 있습니다. 그 결과 반도체 프로세서를 설계하는 사람들은 AI에 특화된 반도체를 고민하기 시작했습니다.

여기서 등장한 것이 엔비디아의 GPU입니다. GPU는 CPU와 다르게 병렬식 처리가 가능하기 때문에 많은 연산량이 필요한 AI 개발에 적합하다고 판단한 것인데요. 특히 엔비디아의 GPU는 성능도 좋고, 또 AI를 개발하기 편리한 툴을 갖추고 있었기 때문에 AI 엔지니어들은 엔비디아의 GPU를 사용하기 시작했습니다. 그러나 더욱 고도화된 성능의 AI가 등장하면서 AI에 특화된 반도체의 필요성이 증가했고 NPU, PIM 등과 같은 처리 방식을 갖춘 AI 반도체가 떠오르게 되었습니다.

HBM∙NPU∙PIM

AI 반도체 산업의 성장으로 눈에 띄는 키워드들이 있죠. 바로 ‘HBM’, ‘NPU’, 그리고 ‘PIM’인데요. 이들은 보다 효율적인 AI 연산 처리를 위해 등장한 기술로, 비록 GPU가 AI 반도체의 역할을 하고 있긴 하지만 더 높은 효율을 추구하기 시작하면서 AI에 최적화된 반도체를 개발했습니다. 그리고 등장한 솔루션들이 ‘HBM’, ‘NPU’, 그리고 ‘PIM’입니다.

1. HBM(High Bandwidth Memory)

HBM은 고대역폭 메모리로, 동일한 시간이 주어졌을 때 더 많은 데이터를 읽고 쓸 수 있습니다. GPU는 데이터를 처리하는 프로세서와 메모리가 분리되어 있는데요, 방대한 양의 데이터를 처리해야 하는 AI 반도체로 사용할 경우 프로세서의 성능이 좋아도 메모리가 읽고 처리하는 속도가 느리다는 문제점이 있었습니다. 때문에 메모리를 빠르게 읽고 쓸 수 있는 HBM을 개발했고, 한 번에 많은 데이터를 읽고 쓸 수 있어 문제를 해결할 수 있습니다.

2. NPU(Neural Processing Unit)

NPU는 AI 연산에 특화된 아키텍처를 적용한 새로운 프로세서입니다. GPU는 저장 공간이 작은 편이어서 데이터를 계산하고 계산 중간 과정을 다시 메모리에 기록하고, 다시 계산하고 또 메모리에 기록하는 과정을 거쳐야 합니다. 때문에 시간이 굉장히 오래 걸리게 되죠. 그래서 구조 자체를 AI 연산에 적합한 방식으로 변경한 것을 ‘NPU’라고 합니다.

3. PIM(Processor-In-Memory)

PIM은 메모리에서 프로세싱을 진행하고자 개발되었습니다. CPU와 GPU는 메모리에서 데이터를 읽고, 프로세서에서 처리하고 다시 메로리로 돌아오는 과정을 거치게 되는데요. 이렇게 될 경우 메모리와 프로세서가 물리적으로 떨어져 있기 때문에 데이터 처리에 시간이 많이 소요됩니다. 그래서 ‘데이터가 있는 곳에서 데이터를 처리하자!’라는 목적으로 등장한 것이 PIM입니다.

AI 반도체, 이제는 ‘자체 개발’이 대세.

앞서 소개한 것처럼 많은 기술들이 등장하고 있는 가운데, AI 반도체 산업의 또다른 트렌드는 ‘자체 개발’이라는 것입니다. 오픈AI는 AI 반도체를 제작하기 위해 ‘경’ 단위의 금액을 투자할 것이라며 굳은 의지를 밝혔고, 이 외에도 AMD, 메타 등 수많은 빅테크 기업들이 자체적으로 AI에 최적화된 반도체를 개발하고 있습니다. 이들이 자체적으로 반도체를 개발하는 이유는 AI 반도체의 수요가 높을 뿐더러, 엔비디아의 의존도를 낮추기 위함으로 생각됩니다.

하지만 AI 반도체 시장에서 엔비디아의 위상은 꾸준할 것으로 보는 시각이 더 많습니다. 이유는 시장 선점에 성공했기 때문이죠. 좋은 성능과 ‘CUDA’를 비롯해 이미 수많은 AI 엔지니어들이 사용하면서 정보를 공유하는 단계에 도달했기 때문에 쉽게 변하지 않을 것으로 예상되는데요. 사실 엔비디아의 AI 반도체 시장 점유율이 낮아지기 위해서는 엔비디아를 견제할 수 있는 새로운 AI 반도체의 등장이 보다 중요하기 때문에 앞으로 어떤 새로운 기술이 등장할 것인지에 대해 주목해 보는 것도 좋겠습니다.

AI 반도체 관련해, 더 많은 설명을 듣고 싶다면 아래 영상을 참고해주세요! ↓