An Introduction to Quantization & MLX
Hello all! A few months ago, Apple released their own Python-based ML framework with idea that users can make use of the extremely fast Apple Silicon hardware in a Mac for machine learning purposes. It turns out that MLX is also really good for LLMs, but depending on what kind of Mac you have, you may need to use a quantized LLM. In this upcoming #livecoding stream, we will demonstrate how we can use quantization to run an LLM on an average MacBook. See you this Friday (3/15) at 11:30am CT! #llm #genai #mlx
Смотрите видео An Introduction to Quantization & MLX онлайн без регистрации, длительностью часов минут секунд в хорошем качестве. Это видео добавил пользователь David Hundley 01 Январь 1970, не забудьте поделиться им ссылкой с друзьями и знакомыми, на нашем сайте его посмотрели 1,489 раз и оно понравилось 51 людям.