KIOXIA Mencapai Pangkalan Data Carian Vektor Berdimensi Tinggi 4.8 Bilion pada Satu Pelayan, dengan Pecutan Masa Pembinaan Indeks 7.8x melalui GPU

Memanfaatkan Perpustakaan NVIDIA cuVS dengan Teknologi KIOXIA AiSAQ untuk Mengindeks Vektor 1024 Dimensi dengan Penggunaan DRAM yang Minimum

TOKYO, 18 Mac (Bernama-BUSINESS WIRE) -- Kioxia Corporation hari ini mengumumkan kejayaan demonstrasi pencapaian carian vektor berdimensi tinggi berskala 4.8 bilion vektor pada satu pelayan menggunakan teknologi KIOXIA AiSAQ™ open-source approximate nearest neighbor search (ANNS). Selain itu, Kioxia menunjukkan pengurangan ketara dalam masa pembinaan indeks dengan memanfaatkan pecutan GPU melalui NVIDIA cuVS. Kedua-dua pencapaian ini menandakan kemajuan penting bagi penyelesaian carian retrieval augmented generation (RAG), dengan pembangunan berterusan untuk menyokong skala lebih besar melebihi 4.8 bilion vektor.

Masa pembinaan indeks pada pangkalan data vektor berskala besar merupakan cabaran utama dalam industri. Dalam kerjasama dengan NVIDIA, Kioxia menunjukkan peningkatan sehingga 20x bagi masa pembinaan indeks KIOXIA AiSAQ untuk vektor berdimensi tinggi 1024, dan sehingga 7.8x bagi masa pembinaan secara menyeluruh (end-to-end). Peningkatan 20x ini bermakna pengurangan dari 28.4 hari menggunakan CPU kepada 1.4 hari menggunakan empat NVIDIA Hopper GPU, dan pengurangan dari 31 hari kepada 4 hari dalam ujian hujung ke hujung.¹

Aplikasi AI kini boleh bergantung pada jumlah besar maklumat vektorisasi sehingga berbilion vektor yang disimpan pada SSD, kerana penggunaan DRAM sahaja menjadi tidak praktikal pada skala berbilion. Kioxia menyediakan arsitektur storan berskala tinggi dengan teknologi KIOXIA AiSAQ, membolehkan carian berskala bilion dan melebihi keperluan latensi aplikasi RAG menggunakan satu pelayan kueri dalam persekitaran Milvus vectorDB, dipacu oleh pecutan GPU untuk pembinaan indeks yang menjadikan pengendalian skala besar praktikal.

“Pangkalan data vektor menyediakan tunjang bagi aplikasi yang perlu memahami niat, konteks, dan persamaan merentasi dataset tidak berstruktur yang besar secara masa nyata,” kata Jason Hardy, Naib Presiden Teknologi Storan, NVIDIA. “Dengan memanfaatkan indeks berpecutan GPU menggunakan perpustakaan NVIDIA cuVS, Kioxia menyokong pangkalan data vektor berdimensi tinggi yang mampu berskala dan membina indeks dengan kecekapan yang belum pernah dicapai sebelum ini.”

Diumumkan buat kali pertama tahun lepas, teknologi perisian sumber terbuka KIOXIA AiSAQ menangani cabaran skala RAG dengan membolehkan carian vektor terus dari SSD, dengan penggunaan DRAM yang minimum. Teknologi ini menawarkan skala tinggi, sesuai untuk persekitaran pelbagai penyewa (multi-tenant) dan pengendalian indeks monolitik berskala besar. Ia menggunakan algoritma Global Index inovatif yang menggabungkan hybrid clustering dan carian graf untuk menyediakan carian vektor yang efisien pada skala ekstrem. Dengan pilihan penalaan yang fleksibel untuk menyeimbangkan prestasi dan skala vektor berskala tinggi, perisian KIOXIA AiSAQ memudahkan pengendalian skala besar dan pengembangannya.

“Membesarkan pangkalan data vektor kepada bilion vektor memerlukan pemikiran semula terhadap memori dan pengkomputeran,” kata Masashi Yokotsuka, Pengarah Eksekutif, Naib Presiden, Bahagian SSD, Kioxia Corporation. “Dengan menggabungkan carian vektor berasaskan SSD KIOXIA AiSAQ dengan pecutan GPU NVIDIA untuk pembinaan indeks, kami menyediakan pembinaan indeks praktikal pada pengendalian berskala besar. Sebagai perintis industri, kami akan terus memacu had AI menggunakan memori flash.”

Kioxia kekal komited untuk memajukan penyelesaian AI berasaskan storan yang menyokong pemprosesan data pintar pada skala besar dan terus mengembangkan KIOXIA AiSAQ ke arah pengendalian berskala trilion vektor. 

Pautan untuk memuat turun perisian sumber terbuka KIOXIA AiSAQ: https://github.com/kioxia-jp/aisaq-diskann.  
 

Maklumat tentang Kioxia 

Kioxia ialah peneraju global dalam penyelesaian memori, yang berdedikasi dalam pembangunan, pengeluaran dan penjualan memori flash serta pemacu keadaan pepejal (SSD). Pada April 2017, pendahulunya, Toshiba Memory, telah dipisahkan daripada Toshiba Corporation, syarikat yang mencipta memori flash NAND pada tahun 1987. Kioxia komited untuk memperkasa dunia melalui “memori” dengan menawarkan produk, perkhidmatan dan sistem yang memberikan pilihan kepada pelanggan serta nilai berasaskan memori untuk masyarakat. Teknologi memori flash 3D inovatif Kioxia, BiCS FLASH™, sedang membentuk masa depan penyimpanan data dalam aplikasi berketumpatan tinggi termasuk telefon pintar canggih, PC, sistem automotif, pusat data dan sistem AI generatif.

Maklumat dalam dokumen ini, termasuk harga dan spesifikasi produk, kandungan perkhidmatan serta maklumat perhubungan, adalah tepat pada tarikh pengumuman dibuat, namun tertakluk kepada perubahan tanpa notis terlebih dahulu.

Teks bahasa sumber asal pengumuman ini adalah versi rasmi yang sahih. Terjemahan yang disediakan hanya sebagai penyesuaian sahaja, dan hendaklah di silang-rujuk dengan teks bahasa sumber, yang satu-satunya versi teks dengan kesan undang-undang. 

Contacts

Pertanyaan Media:
Kioxia Corporation
Bahagian Pengurusan Promosi
Satoshi Shindo
Tel: +81-3-6478-2404
 
Sumber: Kioxia Corporation 

--BERNAMA