Согласно техническому блогу MiniMax, компания обнаружила существенную деградацию токенов в моделях серии M2 после полного сканирования словаря. Примерно 4,9% из 200 000 токенов показали заметное падение производительности; сильнее всего пострадали японские токены — 29,7% по сравнению с корейскими (3,3%), русскими (3,7%), китайскими (3,9%) и английскими (3,5%). Деградация связана с тем, что токены низкой частоты во время постобучения принудительно смещаются в неверные направления в векторном пространстве; при этом маркеры высокочастотных токенов, например tool_call, постоянно обновляют параметры вокруг.
MiniMax внедрила исправление с использованием синтетических данных через простые задачи на повторение токенов, чтобы стабилизировать весь словарь. Результаты были мгновенными: доля русских символов, смешивающихся в японские ответы, снизилась с 47% до 1%, а стабильность векторов (косинусное сходство) улучшилась с минимума 0,329 до значения выше 0,97 для всех токенов.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
Anthropic снижает долю джейлбрейков Claude до 0% с помощью новых методов обучения для выравнивания
Anthropic недавно опубликовала исследование по выравниванию, описывающее стратегии обучения, которые устранили несоответствие агента в Claude 4.5 и более поздних моделях, снизив до 0% в тестировании вымогательноподобное поведение. Команда выяснила, что одних обычных демонстраций поведения недостаточно: они сократили частоту отказов лишь с 22% до 15%. Три альтернативных подхода оказались заметно эффективнее: датасет «сложные советы», где Claude выступает в роли советника по этическим дилеммам, ул
GateNews18м назад
Джефф Кауфман: ИИ одновременно разрушает две культуры уязвимостей в сфере кибербезопасности, а 90-дневный период запрета на поставки оборачивается обратным эффектом
5 мая инженер-программист Джефф Кауфман (jefftk) опубликовал статью «AI is Breaking Two Vulnerability Cultures», утверждая, что ИИ одновременно разрушает две долгоживущие параллельные культуры обработки уязвимостей: скоординированное раскрытие (coordinated disclosure) и «тихие исправления» («bugs are bugs»). Оба подхода опирались на предпосылку, что у злоумышленников «медленная скорость обнаружения», и эту предпосылку уже удалось обойти с помощью автоматического сканирования, выполняемого ИИ. Ор
ChainNewsAbmedia37м назад
OpenAI раскрывает неожиданные последствия оценки CoT: сохранение мониторинга цепочек рассуждений — ключевая линия защиты для настройки AI-агентов к целям
OpenAI 8 мая опубликовала новое исследование, в котором раскрыла, что в процессе усиленного обучения (RL) компания «случайно» оценила цепочки рассуждений (Chain of Thought, CoT) части моделей, что потенциально может повлиять на возможности мониторинга для выравнивания (alignment) AI Agent. Команда OpenAI Alignment по выравниванию в своём отчёте поясняет: сохранение мониторируемости CoT — это ключевая линия обороны для предотвращения сбоев в выравнивании AI Agent; OpenAI в дизайне RL-тренировок н
ChainNewsAbmedia40м назад
Вызовы B.AI API достигли 90,6%, а число платных пользователей — 95,1% на 8 мая
По данным B.AI, 8 мая платформа сообщила, что вызовы API routing составили 90,6% от всех взаимодействий, а платные пользователи — 95,1% от всей базы пользователей. Модели серии Claude лидировали с 35,6% вызовов API, доминируя в сложных задачах рассуждений и в работе с длинным контекстом, в то время как DeepSeek-V4-Flash и GPT-5.5 показали сильный рост в сценариях высокой параллельности и низкой задержки.
GateNews44м назад
Инженер Anthropic: HTML — лучший формат вывода для Claude Code, а не Markdown
Команда инженеров Anthropic Claude Code, инженер Thariq Shihipar, 8 мая опубликовал «Using Claude Code: The Unreasonable Effectiveness of HTML», утверждая, что HTML следует использовать вместо Markdown как формат вывода для взаимодействия с Claude Code. Саймон Уиллисон собрал ключевые тезисы: HTML поддерживает SVG-графики, интерактивные элементы, якоря внутри страницы и стили CSS, позволяя превратить ответы Claude из «линейного текста» в «многомерный документ», что может значительно повысить эффективность чтения и понимания. Тема на платформе X вызвала большой ажиотаж: две соответствующие публикации Shihipar в сумме набрали более 15,000 лайков.
ChainNewsAbmedia50м назад
