Сети — это невидимый фундамент любых цифровых сервисов, от домашнего Wi-Fi до крупных вычислительных кластеров. Мы редко замечаем их работу, но именно они определяют скорость и надежность всего, чем мы пользуемся онлайн. Сегодня сети переживают довольно быстрый этап развития, и понять, что за этим стоит, важно всем, кто работает с технологиями.
В материале Александр Азимов из Yandex Infrastructure, который руководит развитием архитектуры сети «Яндекса», рассказывает, что же такое сети, какие они бывают, а также как ИИ помогает все больше автоматизировать рутинные задачи сетевых инженеров.
Сети: контекст и понимание термина
Сети — это основа любой цифровой инфраструктуры, от стриминга фильмов до работы больших компаний, от банковских операций до обучения современных моделей искусственного интеллекта. Важно понимать, что сети — это не абстрактные магистрали, а вполне материальные миллионы километров оптических кабелей и специализированное оборудование, которое соединяет пользователей и сервисы в дата-центрах. Самый простой способ понять разнообразие сетей — посмотреть на мир глазами неспециалиста:
- Домашние и офисные сети — это привычные нам Wi-Fi и Ethernet. Они работают на скоростях от десятков мегабит до нескольких гигабит в секунду и решают понятные бытовые задачи.
- Сети мобильных операторов связи — это инфраструктура мобильных операторов и провайдеров, обеспечивающих доступ к интернету миллионам пользователей.
- Спутниковые сети вроде Starlink — пример того, как беспроводная технология может давать интернет там, где раньше это было невозможно.
- Опорные и магистральные сети — огромная система оптических линий, соединяющих города, страны и континенты. По сути, именно это и есть «скелет» интернета.
- Корпоративные и облачные сети обеспечивают связанность серверов, сервисов и приложений внутри компаний и публичных облаков.
Каждый тип сети отличается своей скоростью, географией, надежностью, пропускной способностью, а главное — задачами, которые он решает.
Эволюция сетей в эпоху ИИ и высоких нагрузок
Эволюция сетей, особенно в контексте дата-центров, значительно ускорилась с развитием искусственного интеллекта. Хотя прямое применение ИИ для настройки сетевого оборудования пока находится на стадии экспериментов, его воздействие на требования к инфраструктуре трудно переоценить.
Так, в эпоху ИИ многократно возросли требования к скорости построения инфраструктуры. ИИ также радикально изменил требования к сети: один стандартный GPU-сервер требует для подключения 8 интерфейсов по 400 гигабит, в следующем году эта цифра увеличится до 800 гигабит на каждый интерфейс, что отражает стремительное технологическое развитие, сравнимое с законом Мура.
Закон Мура — эмпирическое наблюдение, согласно которому количество транзисторов на кристалле удваивается примерно каждые два года. В контексте сетей это сравнение используют как метафору для стремительного роста скоростей и пропускной способности, которые тоже увеличиваются почти экспоненциально, подстраиваясь под рост вычислительных нагрузок.
Механизмы управления этим гигантским объемом трафика, генерируемым при обучении больших языковых моделей, также быстро эволюционируют. От централизованных решений на основе InfiniBand, которое отлично работает на небольших кластерах, индустрия двинулась к децентрализованным фабрикам (DSF) и к более классическим решениям на базе RoCEv2, но с возможностями, которые раньше были недоступны. Например, локальным динамическим управлением трафиком в зависимости от нагрузки (DLB) и работой с out-of-order доставкой пакетов на сетевых карточках.
И прогресс здесь не останавливается, а ускоряется. В ближайшие годы нас ждет новый стандарт Ethernet для супер-быстрого взаимодействия серверов, по крайней мере, внутри стойки.
Как компании управляют своей сетью сегодня
Сегодня компании сталкиваются с ростом сложности управления и мониторинга сетей, поэтому в практиках построения инфраструктуры можно выделить три основных сценария:
- Первый — собственные сети доступа и корпоративная инфраструктура управляются вручную, что работает на ограниченных масштабах, но требует значительных усилий по поддержке.
- Второй сценарий — делегирование управления. В этом случае часть функций передается облачным провайдерам: публичные облака предоставляют готовые сервисы, а вопросы связности, отказоустойчивости и сетевой архитектуры скрыты за интерфейсом услуги. Такой подход позволяет восполнить дефицит экспертизы и гибко использовать внешние ресурсы.
- Третий сценарий — автоматизация, когда компания применяет программно определяемые решения и инструменты оркестрации для уменьшения ручного труда и повышения предсказуемости работы сети. Современные подходы к построению сетей также включают использование Software-Defined Networking (SDN), представляющего собой различные контроллеры для оркестрации, например, в корпоративных сетях (SD-WAN) или для управления внешним и трафиком между дата-центрами.
Автоматизация процессов — еще один важный подход, направленный на снижение трудозатрат и ускорение реакции на инциденты, что особенно критично для крупных инфраструктур.
Как меняется роль сетевого инженера в эпоху ИИ
Роль сетевого инженера сегодня претерпевает сильные изменения, особенно в крупных ИТ-компаниях, где она вышла за рамки традиционного управления сетевым оборудованием. Если раньше сетевой инженер в основном понимал принципы работы сети и умел настраивать оборудование через консоль, то теперь ожидается, что специалист по сетям в том числе будет уметь писать код. Это обусловлено необходимостью автоматизации процессов, без которой работа с крупной инфраструктурой во многих сценариях стала невозможной.
Хотя прямое применение ИИ в работе с консолью оборудования пока минимально и находится на экспериментальном этапе, оно существенно влияет на процесс написания кода для систем автоматизации. ИИ позволяет им работать в режиме «co-pilot» и даже самостоятельно устранять проблемы в сложном инструментарии, оставляя программистам лишь функции ревью сгенерированных ИИ-решений.
Хотя и ревью теперь могут делать роботы. Кроме того, ИИ становится весьма полезным при работе с обширной документацией по сетевым стандартам и протоколам, выступая в роли интерактивной агрегированной базы знаний.
Однако эти изменения скорее эволюция, чем революция. Ведь они главным образом повышают эффективность, сокращая ручной труд и ускоряя процессы развития систем автоматизации. И это, в свою очередь, — часть более широкой трансформации подходов к программированию в мире.
Ускорение, гибридность и «интернет, который растет изнутри»
Будущее сетей тесно связано с развитием искусственного интеллекта и автоматизации. Сегодня гибкость настройки сети ограничена возможностями чипов и закрытых операционных систем, которые предоставляет производители оборудования. Здесь ситуация может также измениться, ведь использование специализированных моделей может значительно сократить издержки при работе с open source продуктами, где зачастую не очень хорошая документация и ограниченная поддержка. Эти возможности будут влиять и на работу с оборудованием.
Использование открытых операционных систем, таких как SONiC, имеет потенциал значительного снижения капитальных затрат, что важно в мире, где строить надо много и строить надо быстро.
Радикальное влияние ИИ на инфраструктуру, особенно на внутреннюю связность дата-центров, будет усиливаться. Ведь инфраструктура GPU постоянно требует новых, более высоких скоростей и технологических решений. Этот растущий спрос на технологии в итоге сделает их более доступными и дешевыми в других областях.
Подводя итог, можно сказать, что современные сети стали ключевой частью сложной и гибкой инфраструктуры, без которой невозможно представить работу ни одного цифрового сервиса. Их развитие ускоряется под влиянием новых вычислительных нагрузок и растущей роли автоматизации.
Хотя большая часть этой работы остается незаметной, именно она обеспечивает стабильность и скорость привычных нам цифровых сервисов. И чем сильнее растет спрос на высокопроизводительные вычислительные и сетевые системы, тем важнее становится понимать, как устроена эта связность, а также кто и что поддерживает ее в рабочем состоянии.