Pada event GTC Conference 2024, Nvidia memperkenalkan produk barunya Nvidia NIM. NIM adalah platform software terbaru dari Nvidia yang dirancang khusus untuk memudahkan proses penerapan model AI dalam lingkungan produksi.
Nvidia NIM Bertujuan Mempermudah Pembuatan Model AI
Sebenarnya, NIM bukanlah produk yang sepenuhnya baru. Produk baru Nvidia ini memanfaatkan kerja software Nvidia yang sudah ada. Software tersebut bekerja menyimpulkan dan mengoptimalkan model-model dan membuatnya mudah diakses. Model-model tersebut dikombinasikan dengan inferencing engine yang telah dioptimalisasi, kemudian dikemas dalam sebuah container sehingga dapat diakses secara mikro.
Menurut pihak Nvidia, biasanya developer akan butuh waktu berminggu-minggu atau bahkan berbulan-bulan untuk mengirimkan container serupa. Itupun kalau perusahaan tersebut telah memiliki basic AI secara internal. Dengan NIM, Nvidia jelas bertujuan untuk menciptakan ekosistem yang lebih memudahkan. Dengan adanya container yang siap untuk langsung dipakai untuk kerja AI, dengan hardware milik mereka sebagai foundational layer-nya, dan dengan microservice terkurasi sebagai software dasarnya, perusahaan yang ingin memajukan roadmap AI-nya akan terbantu.
Related Post
Saat ini NIM dapat bekerja untuk model-model dari NVIDIA, A121, Adept, Cohere, Getty Images, dan Shutterstock. Selain itu, berlaku juga untuk open model dari Google, Hugging Face, Meta, Microsoft, Mistral AI, dan Stability AI. Sejauh ini Nvidia juga sudah bekerja sama dengan Amazon, Google, dan Microsoft dalam menyediakan microservice NIM ini untuk SageMaker, Kubernetes Engine, dan Azure AI. Mereka juga akan diintegrasikan ke dalam framework seperti Deepset, LangChain dan LlamaIndex.
Sedangkan, untuk inference engine-nya Nvidia akan menggunakan Triton Inference Server, TensorRT dan TensorRT-LLM. Beberapa microservice dari Nvidia yang tersedia melalui NIM juga akan mencakup Riva untuk menyesuaikan model speech dan terjemahan, cuOpt untuk optimalisasi routing, serta model Earth-2 untuk simulasi cuaca dan iklim.
Akan Terus Diupgrade Dari Waktu ke Waktu
Nvidia juga berencana untuk menambah kemampuan model ini dari waktu ke waktu. Misalnya, membuat operator Nvidia RAG LLM tersedia sebagai NIM. Yang artinya, mereka menjanjikan pembuatan chatbot generative AI yang dapat menarik data custom secara lebih mudah.
Bagaimanapun, GTC adalah sebuah event konferensi developer. Di acara tersebut Nvidia tentunya juga mengumumkan customer dan partner mereka yang telah menggunakan Nvidia NIM. Di antaranya adalah Box, Cloudera, Cohesity, Datastax, Dropbox, dan NetApp.
