Ну при текущих ценах 500к это весьма маловато я думаю для реализации ИИ для конторы. Мне эта дерзкая идея клюнула в голову прошлым летом, до взвинчивания цен на память. И с учетом того что основные компоненты я привез из Китая вылилось почти в 1 млн., сейчас есть идея апгрейда, но на нее нужно тыщ 700 и пока я себя не уговорил на это, ну и китайский новый год еще не закончился, половину конечно я отобью продав оставшееся железо после подернизации. Но всеравно очень дорого.
Ну это сложный вопрос, с одной стороны я наворачиваю как энтузиаст, а с другой стороны для оптимизации некоторых процессов свой организации если у меня все получится.
Зато быстро отвечает. Одна проблема что очень часто неправильно. Хотя на простые запросы может и истину сказануть. Но на простые вопросы неплохо отвечают модели которые можно запустить даже без GPU, ну медленней конечно.
Если да, то мне кажется запуск инференса на win платформе вообще малоперспективная задача, но это не утверждение, а только мое предположение.
Во вторых 16Гб видеопамяти возможно недостаточно для этой модели.
Нужно смотреть на то, какие ресурсы у ПК задействованы во время работы модели, в Linux это довольно просто, а в windows незнаю.
Скорее всего проблема в том что ваша видеокарта единственная в системе и часть ее видеопамяти уже занята системой для отображения на мониторе того что вы делаете.
В моей системе сейчас 2 видеокарты RTX4090 модернизированные китайцами до 48Gb видеопамяти в каждой и еще видеокарта процессора I9 которая выводит изображение на экран. Но я не пользуюсь экраном этого компьютера, так как подключаюсь к нему с рабочего ноутбука через сеть.
Вот так примерно выглядит мой состав видеоадаптеров
Всмысле 3 часа?
Ну при текущих ценах 500к это весьма маловато я думаю для реализации ИИ для конторы. Мне эта дерзкая идея клюнула в голову прошлым летом, до взвинчивания цен на память. И с учетом того что основные компоненты я привез из Китая вылилось почти в 1 млн., сейчас есть идея апгрейда, но на нее нужно тыщ 700 и пока я себя не уговорил на это, ну и китайский новый год еще не закончился, половину конечно я отобью продав оставшееся железо после подернизации. Но всеравно очень дорого.
Ну неплохо, скачаю, может для чего и пригодится.
Я не проверял, но если вы проверяли, то может поделитесь результатами, если вам не сложно конечно.
Я никогда не делаю один прогон что бы что то утверждать.
Спасибо, попробую.
А железо планирую апгрейдить.
Ну это сложный вопрос, с одной стороны я наворачиваю как энтузиаст, а с другой стороны для оптимизации некоторых процессов свой организации если у меня все получится.
Установи ubunutu 24.04, все возможно станет быстрей
Ну я так и понял что ты запускаешь в винде, там все плохо.
Вот как у меня на линуксе работает с контекстом 130к и модель 120b
Если при инференсе на CPU то неудивительно
А как из этой таблицы понять ответ?
А толку от этой таблицы?
Где четкий ответ?
типа такого
А почему Грок не смог сказать проще?
И из этой кучи текста пока все равно не видно четкого ответа.
Извините, у вас много кавычек в ответе на комментарий, соберитесь и задайте свой вопрос грамотней.
Присылай фото своего паспорта в любом ракурсе, прогоню его через свою нейронку, вдруг она распознает.
краткая характеристика моего сервера:
Процессор Core I9 14900KF
RAM: DDR5 192 Gb.
GPU 2 x RTX4090D 48Gb (96 Гб. VRAM GDDR6X), производительность по меркам huggingface 166 TFLOPS
Эта Алиса тупая пока, как пробка.
Зато быстро отвечает. Одна проблема что очень часто неправильно. Хотя на простые запросы может и истину сказануть. Но на простые вопросы неплохо отвечают модели которые можно запустить даже без GPU, ну медленней конечно.
А решение то где?
Вы запускаете на windows?
Если да, то мне кажется запуск инференса на win платформе вообще малоперспективная задача, но это не утверждение, а только мое предположение.
Во вторых 16Гб видеопамяти возможно недостаточно для этой модели.
Нужно смотреть на то, какие ресурсы у ПК задействованы во время работы модели, в Linux это довольно просто, а в windows незнаю.
Скорее всего проблема в том что ваша видеокарта единственная в системе и часть ее видеопамяти уже занята системой для отображения на мониторе того что вы делаете.
В моей системе сейчас 2 видеокарты RTX4090 модернизированные китайцами до 48Gb видеопамяти в каждой и еще видеокарта процессора I9 которая выводит изображение на экран. Но я не пользуюсь экраном этого компьютера, так как подключаюсь к нему с рабочего ноутбука через сеть.
Вот так примерно выглядит мой состав видеоадаптеров
Например тексты с картинок taobao