Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 6
Silero модели не пробовали? У них и STT и TTS есть, ну и русский один из целевых языков.
Попробуйте Nvidia NeMo
очень круто, буквально вчера возился с GigaAM пытался перенести onnx инференс с python на rust чтобы с safetensors не возиться, а сейчас статью увидел и видимо вообще не придется возиться) В дальнейшем будет запуск gigaam в gguf?
Да, как раз релизнули реализацию на Rust + Candle, так что с ONNX можно не мучаться :) Сейчас пока всё работает на safetensors (f16/f32), это родной формат для стека. Насчет GGUF — мысль интересная ради квантования (чтобы модель меньше весила и быстрее крутилась на CPU), возможно, в будущем добавим поддержку, если будет запрос на запуск на совсем слабом железе. Но пока фокус на стабильной работе текущей версии. Да и для такой маленькой модели как GigaAM это не очень актуально.
Поймали баг в candle пришлось сделать форк https://github.com/askidmobile/candle, после всех тестов добавлю в основную репу RustASR. Проблема в том что Rust ловит panic при определенных событиях, чтобы не костылить было принято решение сделать форк и провести тестирование. 2 дня полет нормальный.
Вы проделали впечатляющую работу, это очень круто!
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как я написал ASR-движок на Rust: от разочарования в одной модели до мульти-модельной архитектуры