Setting up GPT-in-a-Box on Nutanix Kubernetes Engine | Tech Bytes | Nutanix University
GPT-in-a-Box helps you deploy AI-ready infrastructure quickly. In this video, Laura Jordana, Nutanix Technical Marketing Engineer, will walk you through setting up GPT-in-a-Box on Nutanix Kubernetes Engine and connecting a sample chatbot application to it.
0:00 Intro
0:21 Review Kubernetes and NFS configuration with NKE and NUS
0:49 Review jump host configuration
1:29 Mount NFS share and download Kubeconfig
2:33 Configure GPU Operator
3:07 Download GPT-in-a-Box K8s package
3:37 Install KServe and required Python packages
4:15 Generate Model Archive File
5:07 Deploy Inference Server
6:00 Test Inference Endpoint
7:20 Setup chatbot application
7:45 Run chatbot application
8:24 Conclusion
Resources:
Github repo: https://github.com/nutanix/nai-llm-k8s
Documentation: https://opendocs.nutanix.com/gpt-in-a...
#techbytes #gptinabox #nke #nutanixuniversity #ai #chatbot
Смотрите видео Setting up GPT-in-a-Box on Nutanix Kubernetes Engine | Tech Bytes | Nutanix University онлайн без регистрации, длительностью часов минут секунд в хорошем качестве. Это видео добавил пользователь Nutanix University 21 Март 2024, не забудьте поделиться им ссылкой с друзьями и знакомыми, на нашем сайте его посмотрели 1,031 раз и оно понравилось 11 людям.