KIOXIA AiSAQ™ 기술은 오픈 소스 소프트웨어로 출시된 세대 AI 시스템의 DRAM 요구 사항을 줄이도록 설계되었습니다.

도쿄 – 메모리 솔루션의 세계적 선도업체인 Kioxia Corporation은 오늘 AiSAQ(Product Quantization) 기술이 적용된 새로운 올인스토리지 ANNS의 오픈 소스 출시를 발표했습니다^(1). SSD에 최적화된 새로운 근사치 주변 검색(ANNS) 알고리즘인 KIOXIA AiSAQ™ 소프트웨어는 DRAM에 색인 데이터를 배치하지 않고 대신 SSD에서 직접 검색하여 RAG(검색 증강 생성)를 위한 확장 가능한 성능을 제공합니다.

차세대 AI 시스템에는 상당한 컴퓨팅, 메모리 및 스토리지 리소스가 필요합니다. 다양한 산업에서 혁신적인 혁신을 주도할 수 있는 잠재력이 있지만, 배포에는 종종 높은 비용이 수반됩니다. RAG는 회사 또는 애플리케이션에 특정된 데이터로 대형 언어 모델(LLM)을 개선하는 AI의 중요한 단계입니다.

RAG의 중앙 구성요소는 특정 데이터를 축적하여 데이터베이스의 기능 벡터로 변환하는 벡터 데이터베이스입니다. RAG는 또한 ANNS 알고리즘을 이용하며, 이는 축적된 벡터와 표적 벡터 간의 유사성에 기초하여 모델을 개선하는 벡터를 식별한다. RAG가 효과적이려면 쿼리와 가장 관련된 정보를 신속하게 검색해야 합니다. 전통적으로 ANNS 알고리즘은 DRAM에 배포되어 이러한 검색에 필요한 고속 성능을 달성합니다.

KIOXIA AiSAQ 기술은 메모리 사용량과 빠른 인덱스 스위칭 기능이 거의 없는 10억 규모의 데이터 세트를 위한 확장 가능하고 효율적인 ANNS 솔루션을 제공합니다.

• 제한된 DRAM 리소스에 의존하지 않고 대규모 데이터베이스를 작동시켜 RAG 시스템의 성능을 향상시킵니다.
• 인덱스 데이터를 DRAM에 로드할 필요가 없으므로 벡터 데이터베이스를 즉시 실행할 수 있습니다. 이는 효율적인 RAG 서비스 제공을 위해 동일한 서버에서 사용자별 또는 애플리케이션별 데이터베이스 간의 원활한 전환을 지원합니다.
• 여러 서버에서 공유하기 위해 분산 스토리지에 인덱스를 저장하여 클라우드 시스템에 최적화됩니다. 이 접근 방식은 특정 사용자 또는 애플리케이션에 대한 벡터 데이터베이스 검색 성능을 동적으로 조정하고 물리적 서버 간에 검색 인스턴스의 신속한 마이그레이션을 용이하게 합니다.

Kioxia는 혁신적인 KIOXIA AiSAQ 기술을 오픈소스 소프트웨어로 커뮤니티에 기여함으로써 AI 발전에 대한 노력을 입증하고 있습니다.