Bing Chat значительно повысил эффективность и уменьшил задержки на 25% для некоторых запросов. сказал Михаил Парахин, генеральный директор Bing Твиттер«Вчера мы выпустили полностью переработанный бэкэнд для внутреннего монолога, который сокращает время до первого токена примерно на 25% и, что более важно, делает задержку более стабильной и уменьшает пики».

Он поделился этой диаграммой, показывающей сокращение:

— добавил Майкл Шехтер из Bing. Твиттер«Изменения такого рода часто не выделяют блог, но они представляют собой большую работу и значительное улучшение общего опыта».

Наконец-то кажется Бинг Опубликовано об этом улучшении в своем блоге в пятницу, где говорится: «Мы внесли улучшения в производительность, которые уменьшили всплески задержки для определенных ответов в чате».

обсуждение на форуме ниже Твиттер.