News Яндекс опубликовал исходный код своей платформы для работы с большими данными - YTsaurus

ytsaurus_banner.png

Яндекс опубликовал на GitHub исходный код своей платформы YTsaurus для обработки больших данных. Платформа, которая развёрнута на десятках тысяч серверов внутри компании и обрабатывает экзабайты данных, теперь доступна для использования и доработки под свои нужды всем желающим. Опубликованный исходный код распространяется под лицензией Apache 2.0.

Платформа YTsaurus применяется для широкого круга задач, от аналитики до обучения сложных моделей. Например, модель "Поиска" создаёт с помощью YTsaurus поисковый индекс, а беспилотные автомобили применяют платформу для обработки данных о поездках и улучшения своих алгоритмов. YTsaurus управляет суперкомпьютерами «Яндекса», распределяя нагрузку так, чтобы их вычислительные мощности использовались наиболее эффективно.

"Яндекс ведет разработку YTsaurus — или YT, как мы называем ее внутри — с 2010 г. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры «Яндекса». Над платформой работают десятки разработчиков, и ее возможности постоянно расширяются", - рассказал руководитель отдела технологий распределённых вычислений Максим Бабенко.
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!