Вы слышали об Effingo от Google? Google на самом деле говорил об этом в своем блоге Google Cloud в мае 2023 г.Теперь Гэри Иллис из Google заявил, что эта технология используется Google Search и другими подразделениями Google для невероятно быстрой передачи данных между центрами обработки данных Google.

Гэри сказал, что Effingo «передает данные с общей скоростью 14 терабайт в секунду». Он сказал: «Effingo передает чуть более 1 эксабайта данных в день в Google, данные, такие как некоторые из наших сигналов ранжирования, наши веб- и медиа-индексы, возможно, необработанные байты фотографий людей».

Это составляет «около 14 терабайт в секунду», написал он на LinkedIn.

Я предполагаю, что передаваемые данные, относящиеся к поиску Google, представляют собой индексы и другие поисковые данные, которые Google перемещает из своих центров обработки данных поиска Google.

Гэри рассказал о случае, когда он использовал это в Google, он написал:

Один из моих проектов около десяти лет назад требовал репликации большого объема данных, вероятно, порядка нескольких десятков терабайт, в 3 региона/центра обработки данных. Я знал, как мучительно использовать традиционные методы копирования данных, и что для завершения репликации потребуется целая вечность, поэтому, естественно, я много откладывал. Мой технический руководитель спросил меня, что случилось, и я объяснил свой страх. Он спросил, слышал ли я об Effingo. Я не слышал, но 5 минут спустя я уже набирал команду, которая возьмет мои данные из центра обработки данных A и скопирует их в B и C. Я ожидал, что репликация займет несколько часов; она заняла около 3 минут. Я был влюблен.

Вот Google бумага об этом было объявлено на прошлой неделе.

Это просто безумно быстро…

И это имя — Эффинго — потрясающее. По поводу имени Гэри добавил в комментариях: «Забавная деталь предыстории: у нас раньше был тренинг, в котором был модуль о том, как называть вещи так, чтобы нам не было стыдно, если они окажутся на первой странице NYT/WSJ».

Обсуждение на форуме LinkedIn.