AI를 강화하는 스토리지 솔루션

Kioxia는 수년간 AI 분야에서 연구 개발을 수행해 왔습니다.

Kioxia는 대형 언어 모델(LLM)을 검색과 결합하는 시스템을 구축하고 평가하는 메커니즘에 대한 연구를 저술했습니다.

2022년 말에 등장하여 세계적인 관심을 끌었던 대형 언어 모델(LLM)은 학습 및 추론 분야에서 세계를 변화시키는 기술을 개발하는 “빅 테크” 기업에 의해 주요 운동을 촉발했으며, 이는 생성적 AI의 새벽을 이끌었습니다. LLM이 제공하는 서비스는 광범위한 비즈니스 모델, 산업 및 사회에 통합될 것으로 예상됩니다.

추론의 정확성, 관련성 및 적시성을 높이기 위해, 추론의 효과를 극대화하기 위해 설계된 Retrieval-Augmented Generation(RAG)이라는 새로운 접근법이 등장했습니다.

모든 생성 AI 시스템의 필수 요소는 데이터입니다. SSD는 비휘발성, 대용량 및 고속의 특성을 가진 데이터를 저장하는 더욱 중요한 방법이 되고 있습니다. SSD는 생성적 AI의 여러 단계에 따라 진화하고 있으며, 그 결과 SSD에 대한 수요가 빠르게 증가하고 있습니다. 2024년부터 2030년까지 SSD 용량 시장은 약 40~50배로 크게 성장할 것으로 예상됩니다.

Kioxia는 2030년까지 중장기 전망이 다음과 같은 네 가지 트렌드에 의해 생성적 AI 시장의 성장이 주도될 것이라고 믿습니다.

1. 학습 개발
2. 추론 개발
3. 강화된 추론을 위한 RAG 개발
4. 생성적 AI 서비스 개발

SSD는 이러한 모든 트렌드에서 중추적인 역할을 할 것으로 예상됩니다.

생성형 AI 시스템에서는 트레이닝과 추론 모두에 고가의 GPU가 사용되며, 휘발성 DRAM만 사용하여 생성형 AI 프로세스에 필요한 대량의 데이터를 처리하는 것은 어렵습니다. 따라서, 데이터 처리는 비휘발성 저장 장치로부터 훈련 데이터를 공급하는 것, 추론 중에 RAG에 대한 데이터를 참조하는 것, 생성된 데이터를 저장하는 것과 같은 작업에 필수적이 된다.

이제 스토리지 장치의 중요한 요구 사항은 GPU 활용도를 극대화하고 가장 값비싼 GPU를 최대한 활용하는 것은 물론 전력 및 공간 효율성을 극대화하는 것입니다. HDD는 대용량 스토리지를 고려할 때 생각나지만 미디어 회전 지연 및 읽기/쓰기 헤드의 이동과 같은 기계적 특성에 의해 제한됩니다. 그 결과 SSD보다 100배 이상 높을 수 있는 읽기/쓰기 지연 시간이 발생하며, 이는 전반적인 전력 효율성에 영향을 미칩니다. SSD는 AI 스토리지 서비스를 지원하여 고성능 GPU의 처리 효율성을 극대화하고 향후 점점 더 큰 용량에 대한 수요를 충족할 것입니다.

LLM은 운영 효율성과 생산성을 개선하기 위해 이미 많은 회사에서 사용되고 있습니다.

그러나 LLM이 보유한 지식은 교육 중에 사용되는 데이터 세트로 제한되며, 이는 오래된 것일 수 있습니다. 구형 LLM은 LLM이 이용할 수 없는 최신, 회사 독점 또는 기밀 정보를 요구하는 질문이나 지침에 대해 정확한 결과를 생성하지 못할 수 있습니다. 때때로 추적을 벗어나는 이러한 부정확한 결과를 환각이라고 합니다.

RAG는 LLM 외부에서 벡터 데이터베이스의 형태로 보다 정확한 지식과 데이터를 통합하여 환각 문제를 해결합니다. RAG는 벡터 데이터베이스라고 하는 벡터 유사성을 기반으로 하는 데이터 검색 기능이 있는 데이터베이스 소프트웨어를 사용합니다. 많은 기업들이 RAG에 관심이 있는데, 그 이유는 비공개 정보를 활용하여 LLM 기능을 향상시켜 AI 모델의 정확성을 개선할 수 있기 때문입니다.

RAG에서, 쿼리 벡터에 가장 가까운 벡터(및 저장된 지식 데이터 중 대응하는 데이터)를 위치시키는 것은 수백 내지 수천 개의 차원 범위일 수 있는 고차원 벡터 간의 유사성을 계산하는 것을 포함한다. 최신 AI 서버에도 집중적인 작업입니다. 이러한 문제를 해결하기 위해, 대략적인 해결책을 찾기 위해, 비교 벡터를 소수의 벡터로 좁히기 위해 인덱스와 함께 대략적인 가장 가까운 이웃(ANN) 검색이 사용될 수 있다.

ANN 검색에는 주로 스토리지 기반인 Microsoft가 개발한 DRAM 기반 계층적 탐색 가능 스몰 월드(HNSW) 및 DiskANN을 비롯한 다양한 방법이 있습니다. 현재 DRAM에 벡터와 인덱스를 저장하는 HNSW가 널리 사용되고 있다. 이 방법에서, 벡터가 활용할 수 있는 지식의 부피인 벡터의 수는 서버의 DRAM의 양에 의해 제한되며, 따라서 대량의 지식에 기초하여 구축된 점점 더 효과적인 RAG 시스템을 구축하는 능력을 제한한다.

Kioxia는 SSD를 활용하는 새로운 ANN 저장 방법으로 KIOXIA AiSAQ™ 소프트웨어를 개발했습니다. 특히 빠르게 성장하는 생성 AI 시장에서 SSD를 더욱 활용하기 위해 Kioxia는 이 중요한 스토리지 기술에 대한 연구 개발을 계속 발전시킬 것입니다.

이름에서 알 수 있듯이 KIOXIA AiSAQ™(제품 수량화 기능이 있는 올인스토리지 ANNS) 소프트웨어는 데이터 특성(PQ 데이터) 및 모든 ANN 요소를 정량화하는 정보를 SSD 스토리지로 전송하여 RAG 단계에서 벡터 검색 처리를 위해 가장 가까운 근접 이웃 검색 알고리즘을 최적화합니다. 이 제품은 시장에 더 높은 품질의 생성적 AI 애플리케이션을 가능하게 하는 오픈 소스로 출시되었습니다.

AI 워크플로우에서 색인화된 데이터는 일반적으로 DRAM에 저장되어 벡터 검색의 효율성을 향상시킵니다. KIOXIA AiSAQ™ 기술은 SSD에 색인 데이터를 배치합니다.

보다 정확한 AI 쿼리를 위해 RAG 벡터 데이터베이스가 성장하고 확장될 것입니다. DRAM 기반 접근법의 경우, 더 큰 데이터베이스는 더 많은 DRAM이 필요합니다(아래 그림의 왼쪽에 있는 그림). 성능 관점에서 SSD 기반 검색은 쿼리 정확도 및 초당 쿼리 측면에서 DRAM 기반 검색을 능가합니다(아래 그림의 오른쪽에 있는 그림).

이 혁신적인 RAG 기술은 성능 저하 없이 ANNS를 개선하기 위해 비용이 많이 드는 DRAM이 아닌 저렴한 SSD를 사용하기 때문에 유망합니다.