Comments 9
Задачи любой сложности? В математике хорошо бы поаккуратней (поточнее) формулировать. Наверное имелось ввиду Может решить некоторые сложные задачи. Или правда любой? Открытые математические проблемы
Интересно было бы почитать про детали разработки таких моделей. Извините, что задушнил в первом комментарии, но от хайповых заголовков про ИИ уже глаз дергается :(
Если ее тренировали на всех доступных человечеству решениях, то думаю можно и так заявлять. Т.е. задачу любой сложности, которую можно решить, он типа должен осилить.
В конце новости написано: она может достаточно успешно решать школьные задачки. На этом всё.
Ну не знаю, математика наука точная, а тут LLM... Все-же для математики лучше какая-то связка LLM+символьные вычисления. То есть LLM используется для неточного эвристического поиска путей решения, но сами решения генерируются точной символьной моделью. Все это со множеством взаимных обратных связей между языковой и символьной частями. Вот такая связка действительно могла бы показать интересные результаты в плане решения нерешенных задач и тому подобного.
Результат 47.8% в College math, то есть пока что эта модель даже для помощи ленивым и/или тупым студентам в решении стандартных задач из учебника не подходит. Тогда вопрос к автору публикации, каким образом заголовок заметки соотносится с её содержанием?
Как я примерно понял, весь основной алгоритм заключается в переводе текста с помощью LLM в символьные выражения: текст в LaTeX -> перевод с LaTeX в SymPy выражения (библиотека python для символьных и аналитических вычислений, как система компьютерной алгебры) -> вычисления SymPy -> вывод текста и объяснение результатов с помощью LLM. В код сильно не всматривался, просто прикинул, может ошибаюсь, но на основе моих тестов модель очень плохо справляется с геометрическими задачами (просто задание по планиметрии как из ЕГЭ 2 части), на русском естественно спрашивать бессмысленно, пока нормально понимает только английский. В целом результат закономерен, сведение слов в уравнения/неравенства и их решение, так что с геометрией будут проблемы пока (хотя для геометрических задач есть модель от Google - Alpha Geometry, не проверял, но, тесты показывали отличные результаты). Так что "LLM для решения математических задач любой сложности" - пока слишком сильное заявление.
Qwen2-Math — Alibaba Cloud выпустила серию LLM для решения математических задач любой сложности