Новые ИИ-модели от Alibaba обошли GPT-4o в математике

Alibaba запустила группу больших языковых моделей (LLM) с упором на математику под названием Qwen2-Math, которые «превосходят GPT-4o и Claude 3.5» в этой области. Today we release a new model series for math-specific language models, Qwen2-Math, which is based on Qwen2. The flagship model, Qwen2-Math-72B-Instruct, outperforms proprietary models, including GPT-4o and Claude 3.5, in math related downstream tasks!Feel free to check our blog… pic.twitter.com/9P4BiBweFY— Qwen (@Alibaba_Qwen) August 8, 2024 «За последний год мы приложили немало усилий для изучения и расширения возможностей рассуждений больших языковых моделей, уделяя особое внимание их способности решать арифметические и математические задачи», — отметила команда Qwen, входящая в состав подразделения облачных вычислений Alibaba. Модели Qwen2-Math выпущены на базе представленных в июне LLM Qwen2. Утверждается, что флагманская Qwen2-Math-72B-Instruct превзошла американских конкурентов в математике, в том числе GPT-4o от OpenAI, Claude 3.5 Sonnet от Anthropic, Gemini 1.5 Pro от Google и Llama-3.1-405B от Meta Platforms.  Сравнение Qwen2-Math с другими ИИ-моделями. Данные: Qwen. В начале августа ИИ-подразделение Google DeepMind выпустило экспериментальную версию своей ведущей ИИ-модели Gemini 1.5 Pro, которая привлекла внимание общественности из-за высоких результатов в ходе тестов.  «Мы надеемся, что Qwen2-Math сможет внести свой вклад в научное сообщество, решая сложные математические задачи, которые требуют многоэтапных логических рассуждений», — отметили разработчики.  Согласно предоставленной информации, новые ИИ-модели Alibaba протестированы на математических задачах на английском и китайском языках. Они включали: GSM8K — это набор данных из ~8000 задач для учащихся начальной и средней школы; OlympiadBench — задачи высокого уровня, требуют абстрактного мышления, логики и математических знаний; GaoKao — национальный вступительный экзамен в вузы Китая, считается одним из самых сложных в мире. Сравнение Qwen2-Math с другими ИИ-моделями в разных тестах. Данные: Qwen. По словам команды, новые ИИ-модели имеют некоторые ограничения из-за поддержки только английского языка. В ближайшее время планируется выпуск двуязычных LLM, а позже — многоязычных.  Напомним, в августе стало известно о работе Alibaba над генератором изображений Tora. Ранее техгигант анонсировал выпуск чат-бота с искусственным интеллектом Tongyi Qianwen.