Хмарні компанії активно скуповують дорогі графічні чипи та інше обладнання для розширення обчислювальної інфраструктури. Це серйозно впливає на глобальний ринок напівпровідників і провокує дефіцит. Однак ефективність використання всієї цієї обчислювальної інфраструктури викликає питання. Фахівці Cast AI представили новий звіт з підсумками аналізу ефективності обчислювальних кластерів AWS, Azure і GCP. Згідно з їхніми даними середнє завантаження графічних процесорів на рівні 5%. Завантаження CPU на рівні 8%, а рік тому це було 10%. Використання пам’яті впало з 23% до 20%.
Це пов’язано з нестабільними навантаженнями та відсутністю оптимізацій для їх розподілу. Хоча в окремих кластерах ефективність використання чипів H200 досягала 49%, деякі кластери з H100 показали використання близько 30% від свого потенціалу. Різниця в основному пов’язана з програмними інструментами для оптимізації та масштабування навантажень зі спільним використанням ресурсів. Варто зазначити, що Cast AI займається розвитком саме таких інструментів, тому цю статистику варто розглядати як дослідження зацікавленої сторони.
Але саме дослідження порушує важливе питання стосовно надлишкового резервування ресурсів. Компанії платять за інфраструктуру, яка не використовується на 100%. За даними Cast AI, надлишкове виділення ресурсів CPU за останні два роки зросло з 40% до 69%, а надлишкове виділення пам’яті наразі становить 79%. Це вельми актуально на тлі значних закупівель DRAM для обчислювальних центрів і дефіциту пам’яті, який призвів до рекордних цін у споживчому сегменті.
Джерело:
TechRadar