Облачные компании активно скупают дорогие графические чипы и другое оборудование для расширения вычислительной инфраструктуры. Это серьезно влияет на глобальный рынок полупроводников и провоцирует дефицит на рынке. Однако эффективность использования всей этой вычислительной инфраструктуры вызывает вопросы. Специалисты Cast AI представили новый отчет по итогам анализа эффективности вычислительных кластеров AWS, Azure и GCP. Согласно их данным средняя загрузка графических процессоров на уровне 5%. Загрузка CPU на уровне 8%, а год назад это было 10%. Использование памяти упало с 23% до 20%.
Это связано с нестабильными нагрузками и отсутствием оптимизаций для распределения нагрузки. Хотя в отдельных кластерах эффективность использования графических чипов H200 достигала 49%, некоторые кластеры с H100 показали использование около 30% от своего потенциала. Разница в основном связана с программными инструментами для оптимизации и масштабирования нагрузок с совместным использованием ресурсов. Стоит отметить, что Cast AI занимается развитием именно таких инструментов, поэтому данную статистику стоит рассматривать, как исследование заинтересованной стороны.
Но само исследование поднимает важный вопрос относительно избыточного резервирования ресурсов. Компании платят за инфраструктуру, которая не используется на 100%. По данным Cast AI, избыточное выделение ресурсов CPU за последние два года выросло с 40% до 69%, а избыточное выделение памяти в настоящее время составляет 79%. Это весьма актуально на фоне значительных закупок DRAM для вычислительных центров и дефицита памяти, который привел к рекордным ценам в потребительском сегменте.
Источник:
TechRadar