Топ советов по выбору видеокарты для машинного обучения и инференса нейросетей(LLM)?
Обсуждение основных параметров видеокарт в задачах тренировки и инференса нейросетей. Практические советы по выбору видеокарт и других параметров компьютера. Аренда GPU серверов. В этом выпуске мне поможет Руслан, который расскажет о тренировке нейросетей, а я объясню, какие параметры важны для инференса LLM. Упоминание нейросетей: llama 3 8b/70b, gemma 2... Сравнение видеокарт nvidia: a100, h100, 3090, rtx 3090 ti, 4090. Для тестов использовались сервера immerse.cloud. Хочу уточнить, что в тестах видеокарты подключены по pcie x16 и использовались pcie nvme диски.
GPU сервера immerse cloud:
https://immers.cloud/signup/r/2024052...
Ссылка на канал Руслана:
/ @ruslandev
LLama 3 70b api:
https://rus-gpt.com/
Таймкоды:
0:00 flops, скорость видеочипа
2:15 тесты и аренда видеокарт
4:40 объем видеопамяти
7:44 пропускная способность памяти. bandwidth
9:20 PCIE, nvlink, nvswitch
11:20 процессор. CPU
14:10 поддержка fp8 fp4
16:48 диск
Реклама. ООО «ДТЛ». ИНН 9717073792. erid: LjN8K3hH6
Смотрите видео Топ советов по выбору видеокарты для машинного обучения и инференса нейросетей(LLM)? онлайн без регистрации, длительностью часов минут секунд в хорошем качестве. Это видео добавил пользователь Виталий Кулиев 20 Июль 2024, не забудьте поделиться им ссылкой с друзьями и знакомыми, на нашем сайте его посмотрели 1,92 раз и оно понравилось 11 людям.