В прошлый раз мы рассмотрели этапы борьбы за господство в «дисковой» подсистеме твердотельных накопителей и традиционных жестких дисков. Там же мы коротко осветили нюансы ресурса твердотельных накопителей. Сегодня мы попытаемся рассмотреть вопрос практической надежности дисков жестких. Казалось бы, несколько запоздало, но не будем забывать, что ближайшие не менее чем 10–20 (а скорее всего и гораздо больше — об этом мы еще поговорим) лет этот вид продуктов будет гарантированно доступен на рынке в массовом сегменте по причине наличия немаленьких ниш, где скоростные достижения твердотельных накопителей избыточны, а хранимые данные относительно холодны. Да и перспективные объемы жестких дисков в ближайшее время твердотельным накопителям по адекватным ценам не догнать.
Теоретизировать на этот счет можно, конечно, долго. Можно вспоминать явно неудачные решения производителей, например, с чересчур частой парковкой головок или особо громкие изделия, но основной критерий в вопросе констатирования, как мне кажется, должен быть статистически-прикладным, особенно на фоне того, что в отличие от ситуации с SSD, найти утвержденные современные стандарты выносливости для классических винтов вряд ли получится.
Вопросы классификации
Напомним, что внешне и физически современные актуальные жесткие диски бывают по форм-фактору в основном 2,5″ и 3,5″. Исполнение бывает как внутренним, так и внешним.
Внутри мобильных внешнеподключаемых накопителей лежат обычные 2,5-дюймовые жесткие диски, которые в большинстве случаев можно достать и подключить к ноутбуку или десктопу напрямую, если те обладают нужными интерфейсами. И наоборот — можно положить в такой карман подходящие по толщине имеющиеся диски, сделав их мобильными и внешнеподключаемыми.
В случае с 2,5 дюймами встречается толщина 12,5, 9,5, 7 и даже 5 мм. Электрически они будут совместимы, но физические размеры, как понимаем, будут отличаться. Выглядит вот так:
Контактные группы одинаковы, но толщина разная. 2,5-дюймовые варианты жестких дисков чаще используются в портативной технике. Чем тоньше ноутбук, тем более внимательно надо смотреть, какой толщины накопитель предусмотрел туда изготовитель. Тонкие диски в места для толстых поставить не проблема — они часто продаются с утолщителями в виде пластиковой рамки, чтобы не болтались в посадочных местах для более толстых коллег. В отсутствии рамки проложить их можно чем угодно — хоть картоном по углам. А вот более толстые затолкать в места для худых не выйдет — будьте внимательны!
Были и 1,8- и 1,3- и даже 1-дюймовые Microdrive в формате Сompact flash II — вообще левшовые практически изделия. Но это уже история, т.к. в ультракомпактном сегменте всех разогнал привычный флэш.
Типы интерфейсов
Интерфейсы сегодня в быту бывают SATA и все еще IDE, в профессиональном использовании есть и SAS. В вопросы параллельности и последовательности, а также понятия шин в рамках этого материала погружаться не будем.
IDE, он же АТА, они же аббревиатуры от Integrated Drive Electronics и Advanced Technology Attachment, растет корнями из 90-х и уже уходит в прошлое. Новых массовых материнских плат с ним не делают уже лет 10 наверно, но в наличном парке его еще полно. Пропускает 133 мегабайт в секунду и выглядит разъемом конкретно вот так на накопителе. Крайнее слева — питание, справа — данные. И соответственно на материнской плате. Подключается плоским шлейфом обычно серого или черного цвета. Вот таким.
Рассмотрели мы это чисто для исторической справки.
Мейнстримом же сегодня является SATA. Типично для 2,5- и 3,5-дюймовых решений выглядит вот так:
Справа контактная группа питания, слева — данных. Вид: накопители вверх дном. Между собой совместимо. Подключается как на картинке.
Ревизии и пропускные способности мы рассмотрели в прошлый раз и здесь останавливаться не будем. Отметим только, что есть разновидности типа eSATA для внешних устройств и slimline SATA для компактных внутренних. И да — SATA заточен под горячую замену, т.е. на ходу без перезагрузки. Разве что в диспетчере устройств может понадобиться нажать кнопку «обновить» в случае Windows.
Существуют переходники для питания и возможностей подключить IDE в SATA и наоборот, но мы не об этом.
SAS это Serial Attached SCSI и используется в основном в профессиональной сфере, обратно совместим с SATA и имеет пропускную способность 12–24 Гбит в секунду. Выглядит похоже на SATA, но разъемом отличается. Обороты большие — до 15000, коррекция ошибок, multipath — как «в лучших домах Парижу и ЛондОну», но дорого и в быту не воткнуть. А еще греется так, что на некоторые модели радиаторы килограммовые нужны.
Но вернемся к вопросу.
Проблемы технологий
Сегодняшние массовые жесткие диски находятся на излете традиционных технологических возможностей. Плотность данных на одну рабочую пластину можно увеличить только принципиально новыми технологиями, а толщину самого «блина» уменьшать для дальнейшего увеличения их числа в сборке все сложнее. Кроме того, поднимать обороты шпинделя к многотысячным высотам в теории конечно можно, но за этим должны будут успеть остальные участники забега и при этом не упираться в воздух, который в ряде линеек уже меняется на гелий. Увеличивать количество блоков головок, вспоминая прошлое, тоже неслабая инженерная задача, учитывая все изложенное. Да и пост-SCSI в виде SAS в SOHO приземлять никто не спешит, правда это дорого и по факту почти устарело морально. Но не в этом направлении, похоже, пойдет индустрия.
Если коротко, то совокупность проблем развития жестких дисков изложена в тройке взаимоисключающих параграфов, которая вполне научно называется трилеммой. Суть примерно такова — для увеличения плотности записи нужно уменьшать записываемые области на носителе и соответственно размеры головок вкупе с материалами, из которых все изготавливается, но при этом ухудшаются как магнитные свойства таких миниатюрных областей, так и возможности маленькой головки, в том числе по их стабильному разборчивому чтению. Чтобы решить последнее надо увеличивать первое, а общая задача изначально требует как раз обратного. Т.е. кольцевая.
Но НИОКР не стояли на месте и их результаты сконцентрировались вокруг вполне конкретных и реализуемых предложений для достижения поставленной задачи увеличения объемов жестких дисков. Часть из них еще в разработке, а что уже и рынку показывали. Основной тренд — полировка магнитных технологий подходами локального нагрева в процессе записи и создание инфраструктуры для системы в целом, с учетом новых вводных. Но среди оставшихся производителей традиционных «винтов» единства в видении перспектив нет. Т.е. направление в целом одно, а вот пути достижения вроде бы похожих целей — технически отличаются.
Термомагнитная схватка трех ёкодзун
В ближайшем будущем мы, вероятнее всего, увидим для решения трилеммы магнитной записи соединения следующих подходов. Тон будут задавать, несомненно, термомагнитные концепции. Основных сегодня известно две. Это HAMR — Heat-Assisted Magnetic Recording — запись с, в прямом смысле, подогревом! А мы помним, что по чисто физическим причинам в случае наличия подогрева намагничивать для записи бита можно меньшую площадь и делать это с меньшими энергозатратами, т.е. одновременно с достижением нужной плотности и головке легче работать и ее саму проще делать в части подбора материалов и электромагнитных характеристик. Продвигается Seagate. Тематическое видео производителя не песня, но посмотреть можно.
Второй подход называется MAMR — Microwave Assisted Magnetic Recording — тоже про нагрев, но иным способом, спинтронным, прости Господи, осциллятором на базе ну очень маленького аналога того, что массам понятно как микроволновая печка. Поддерживается WD и Toshiba. Видео куда более информативное и его можно глянуть по ссылке.
Оба подхода, как видим, по сути, про нагрев, но разными способами и второй способ совместим с гелием, а первый — не очень, т.к. сильно греть гелиевую герметичную среду лазером или подобным, это как варить сгущенку в закрытой банке. Может, конечно, какие-то принципиально новые лазерные технологии подвезут в перспективе, но пока это так.
Масленица
Следующим системным элементом эволюции HDD будут «блины потоньше». Здесь, конечно, все и так предельно тонко, но уменьшая толщину отдельного блина в типичный корпус их можно поместить больше. Даже +1 блин — это существенное увеличение общей емкости, а на фоне еще и увеличения плотности — так вообще хорошо. Один из главных черенков этого рынка Showa Denko K.K. из Японии предлагает пластины, способные нести около 2 терабайт на штуку в случае 3,5-дюймового типоразмера накопителя. Восемь блинов в сборке — реальность вчерашнего дня, в лабораториях прототипы на 12! Немцы гарантируют.
Почему прозрачные? Так блины бывают на основе алюминия и стекла.
Стекло пожестче и не менее главный черенок, но уже, в том числе, медицинского рынка — Hoya из той же Японии — уже пиарит предложения стеклянных вариантов толщиной аж до 0,38 мм! Обе иллюстрации выше — их творчество. Причем тут они? Они с оптикой хорошо работают, а под жестко-стеклянные блины для винчестеров целый дополнительный завод в Лаосе к Вьетнамскому и Таиландскому построят. Гарантирует уже Xinhua. К слову — почти весь рынок «стекла» для 2,5″ жестких дисков — за Hoya.
HELIUM
Гелий (но не вакуум, хотя и такие смельчаки есть! — в паспортах на жесткие диски максимальные высоты работы указывают именно по этой причине) станет мейнстримом, хотя и существует с 2012 года. Он менее плотный, чем воздух или азот, и в его среде сборке на высоких оборотах крутиться легче. Ну и головкам проще быстрее перемещаться. О гелии и вакууме мы еще поговорим.
Горячие головы
Головки, как проистекает из вышеизложенного и будет подтверждено ниже, будут инновационнее, меньше и их, возможно, станет больше, как у Conner Peripherals «Chinook».
Современное видение многоголовочности от Seagate выглядит примерно так (даже анимация есть):
Если картинка от Seagate основана на реальных планах и прошивки таких дисков смогут распределять данные на сборки пластин, которые работают с физически независимыми блоками головок, то фактически мы получим спарку дисков в одном корпусе с RAID 0 подобной логикой работы. В итоге скорости могут возрасти пропорционально количеству блоков головок, т.е., в данном случае, вдвое: что линейные, что 4К-блоками. Правда скорости работы с 4К на уровне 1–2 мегабайт никого не спасут, зато линейные будут вполне себе ничего для технологии и достаточные для своих ниш.
Уголок футуролога
Отдельные футурологи, правда, предсказывают возможность имплементировать в жесткие диски технологии магнитного туннелирования на базе содержащих наномагнитные вкрапления углеродных нанотрубок. Почитать можно по ссылке. Выглядит как-то вот так:
Ничего непонятно, но очень интересно (с). Особенно непонятно как это внедрять на практике.
А кто-то пишет про накопители на голографических технологиях и даже технологиях ДНК! Но это пока все в отдаленной перспективе даже у научников, не говоря уже о реальных образцах.
RPM
С оборотами вопрос открыт т.к. эта часть механики жесткого диска обуславливает требования к остальному тандему и способностям интерфейсов. 15 000 об/мин освоены, но насколько можно взять бОльшую высоту со стабильными результатами — пока непонятно. Тут важно понимать, что малейший дисбаланс сборки на 15000+ оборотах кончит мотор очень быстро. С другой стороны, в силу физики, скорость потока данных на внутренних и внешних частях блина при одинаковых оборотах шпинделя будет хорошо так разной. Еще неплохо бы понимать — а выдержит ли тонкий стеклянный блин или сборка из восьми таких пластин на высоких оборотах вибрацию вообще без разрушения? И это мы еще не коснулись привода головок, которому тоже неплохо бы не отставать. В общем, тут комплексная задача, как сказано, для всего тандема и обороты в ней стоят на последнем месте.
Страничка изобретательства и рационализации
Тандема… хорошее слово. Об этом даже патент от 2004 года есть. Туда бы еще диагональных блоков независимых головок, блины намазать нанотрубками, гелий, черепицу, совместимый калорифер и будет полный стимпанк. Правда с надежностью что будет — подумать страшно.
Черепица = SMR
Тут самое время вспомнить про черепичную запись — технология давно в тираже, но там есть нюансы, которые не позволяют внедрять это дома. В англоязычных источниках эта дискотека известна как SMR (Shingled Magnetic Recording). Суть примерно следующая — на пластину стандартного типового физического размера записать поплотнее как можно больше дорожек. Причем тут черепица? А дорожки предлагается чтобы они частично перекрывались. Естественно, чтобы писать тонкие, как sin в армейском анекдоте про комара, дорожки надо иметь соответствующую по размеру головку, а перед этим еще технологии ее таковой сделать с нужными магнитными характеристиками. Но вот совсем микроскопические головки индивидуально делать тяжело, зато записать сразу несколько дорожек — можно. Условно соотношение обычной традиционной дорожки на пластине жесткого диска и дорожки в случае технологии черепичной записи можно визуализировать так (здесь и далее используем инфографику, любезно опубликованную, Microsemi):
Синим — пишущая головка и традиционная дорожка, зеленым — ширина ридера инновационных дорожек. Почему нарисована одна дорожка — смотрим ниже т.к. это же одновременно и ключевой косяк затеи.
Вот так условно выглядит записанное. Именно условно, т.к. на практике там начинается почти черная магия для рядового потребителя, и мы тешимся самоуспокоением, что, типа, знаем как оно устроено. Привет вам, мистер Кларк.
В общем, головка вспахивает, т.е. намагничивает сразу несколько дорожек. И вроде все достаточно понятно, но все равно имеется проблема. В силу физических особенностей технологии эту прелесть удобно использовать только для последовательной записи т.к…. перезаписать дорожки выборочно и поштучно, внезапно, нельзя. Точнее можно, но для случайной записи там будет серьезное усложнение процедуры, с которым разберемся внимательней. Т.е. в принципе можно, но ходом — нельзя.
Итак, записанное в несколько дорожек головка SMR диска и сотрет аналогично — т.е. коллективно, т.к. записывающая головка — она же стирающая. Такой себе комбайн с широким столом.
Выглядит вот так и по версии когда-то еще Hitachi — ниже.
Т.е. чтобы записать оранжевый фрагмент надо физически перезаписать дорожки в ширину пишущей головки в обязательном порядке. Чтобы выполнить задачу надо считать фрагмент, где-то на уровне какого-нибудь DRAM буфера разложить его на нужное и ненужное. Присовокупить к нужному новый участок данных. Собрать до кучи и отослать через головку на место для кучной записи. Будет хорошо, если новый фрагмент в целом виде меньше стираемого. Если нет, то дописывать придется фрагментарно (что вызовет проблемы, о которых ниже) или в идеале в место после физического конца данных на таком диске. Чисто в теории контроллер может поискать, где там есть свободные места, но в реальности это вызовет системный паралич. Конечно, МСМК по комбинаторике сейчас не понимают в чем проблема. Но ее с математической точки зрения и не будет — логически это все несложно. А вот провернуть затею на конкретном электро-механическом уровне займет физическое время и расчетные ресурсы плюс возможные издержки на коррекцию ошибок. Т.е. на случайной записи «вертерство» будет еще похлеще обычного HDD. Seagate произвел тестирование накопителя Archive 8TB на SATA3 на Debian. Результат случайной записи выглядит примерно так:
Леденящий душу пик провала до лютых 3! (именно три, 1+1+1 шт.) IOPS мы видим после исчерпания буферов на нагрузке случайной записи с глубиной очереди 1, правда, более чем через минуту, что несколько снижает уровень драматизма, но и верхние пики объективно не фонтан.
Если же просто стирать случайные данные (считали, убрали ненужное, записали назад нужный остаток), то получаются проплешины, которые для нормальной записи в будущем надо обрабатывать и уплотнять процессом, похожим на дефрагментацию и фоново. Это очень похоже на TRIM в SSD — и там и тут надо подготовить поле для прямой записи в возможную ширину без дополнительных телодвижений в процессе, но в силу механической природы жёсткого диска быстро это сделать не получится, да и общая нагрузка сильно возрастет — такой себе аналог усиления записи. В идеале вообще все уплотнить так, чтобы писать новое в физический конец имеющегося, но это связано с физической же обработкой больших массивов данных со всеми вытекающими. Состояние диска, когда новая запись идет в чистое пространство вообще или в чистое подготовленное после уплотнения и сбора мусора пространство, иногда называют FOB — fresh out of box или новый из коробки — и это, по сути, идеальные условия для такого рода записи. Просматривается некоторая аналогия с SSD.
Картина требовала обработки напильником и именно поэтому таким дискам добавили для транзитно-буферных целей обычные области, работающие по принципу одной дорожки на всю ширину головки. Т.е. обычная технология традиционных накопителей. По логической сути это аналог SLC-кэширования в твердотельных накопителях TLC и QLC, только в нашем варианте там может храниться еще и служебная информация о том, что и где удалено и прочее. Для еще более действенного решения вопроса и DRAM-буферизацию подвезли. Добавили математики в прошивку и стало более-менее — т.е. пока буфер превышает типичное среднее задание, тормозов системой особо не ощущается, диск не «боттлнечит». Именно это и видно на иллюстрации вверху. В том случае накопитель мог иметь аж 256 мегабайт буфера, но конкретная протестированная модификация, к сожалению, указана не была. Общая характеристика «железки» по ссылке и думается, что производитель тестировал все же максимальную конфигурацию.
Естественно есть и иные ухищрения для решения описанных проблем, логический зонинг, ленточная организация и тому подобное, вплоть до модифицированных прошивок под конкретные задачи! Но в силу основной их проблемы — физической первопричины, такие подходы лишь сглаживают углы.
Все указанное недвусмысленно намекает, что, несмотря на взрослые объемы хранения SMR-накопителей, они, ввиду технологии, являются нишевыми для конкретных типов нагрузок, но в этих нишах они выступают как раз целевым образом. Например — линейная многопоточная запись-чтение без или с минимумом случайных операций. Хорошим вариантом будет дата-центр, ориентированный на чтение не сильно горячих данных. К слову, если на массиве таких дисков будет размещена база какой-нибудь социальной сети, то догадайтесь с 3 раз, будет ли кто-то реально удалять из массива случайные, скажем, фотографии, если пользователь нажмет «удалить» в профиле? Или такие фото просто перестанут отображаться пользователям, но физически останутся в массиве доступными администрации на фоне перспектив падения производительности от связанных с этим дискодвижений? Проще подвезти полуторку дополнительных дисков, чем тормозить массив случайными операциями с последующим уплотнением данных. Выражаясь более приземленно — такой дата-центр будет почти что центром однократной записи. Отчасти именно поэтому из интернета ничего нельзя удалить полностью — в ряде случаев это фактически неудобно делать, а с учетом текущих цен на растущие в объемах накопители и отсутствие наводнений с пожарами на заводах по производству HDD — вообще экономически нецелесообразно. Другим хорошим нишевым сегментом будет потоковое архивирование, например, камер наблюдения, аудиовизуальных эфиров, архивирование критических данных, которые не надо перезаписывать часто и случайно.
Минутка конспирологии
Если пофантазировать, то удобно на такой массив записать месячишко разговоров всех пользователей условного оператора мобильной связи, далее в транзитной области с помощью технологий, которые уже давно не только не секретны, а еще и обкатаны by google on youtube, например, перевести это все в txt для удобного поиска или анализа по ключевым словам и аккуратненько сложить в свободную часть массива. Исходники можно смело тереть целиком, обеспечивая FOB-запись следующего месяца. А можно и не тереть! Тогда родина будет не только слышать, знать, но и очень хорошо помнить! Доклад окончен, тов. полковник, т.е. это все, конечно же, художественный вымысел и любые совпадения с реально существующими технологиями случайны.
И зачем парнокопытным меховые музыкальные инструменты?
В итоге накопители с черепичной записью надо использовать «с поправкой на силу ветра и температуру ствола». Этим занимаются по ситуации вполне железные костыли типа HBA, которые отвечают за конкретную I/O-логику работы с таким накопителями, исполняя спецнаборы команд. В RAID такие накопители тоже можно и нужно собирать, правда, понимая специфику, но это не тема настоящего материала — главное, что вы теперь знаете немного больше вообще. Желающие могут копнуть глубже по запросу DM (самостоятельные по логике работы накопители), HA (поддержка хостом) и НМ (управляемые хостом) SMR, но столкнуться с этим SOHO-пользователю придется сильно вряд ли.
TDMR как предтеча термомагнитного будущего
Отдельно надо упомянуть, что существует и даже начала продаваться технология TDMR — Two Dimensional Magnetic Recording в форме 14 ТБ изделий от Seagate. Здесь пытаются решать трилемму в лоб — уменьшая ширину дорожек и размеры записывающей головки. Недостижимый идеал — 1 бит на магнитное зерно. Выглядит как-то так и пояснений в Cети, что удивительно, не так уж и много.
Правда с чтением выходит фигня, которую, в свою очередь, решают головкой с несколькими читающими элементами — улучшается надежность чтения с соседних дорожек и в целом сигнал получается разборчивее. Пишущая головка продолжает быть одна. В общем итоге внедрения технологии немного растет плотность записи — процентов на 10. Но важно не это. Многоголовочное чтение пластины за проход несколькими ридерами очевидно станет мейнстримом по причине необходимости для нормального извлечения плотно записанных данных. Хороший задел, но растет сложность взаимного расположения элементов, точность их исполнения и позиционирования в работе, требуется стабильность показателей во времени.
В любом случае, именно этот этап был критически нужен перед внедрением вышеописанных тепловых инноваций, т.к. своим следствием последние будут иметь именно проблемы мелкого чтения, которые и решены превентивно в TDMR. По крайней мере, начали решаться на практике.
Очень интересно о TDMR по достаточно старой, но одной из наиболее полных по теории вопроса ссылке.
Но, возможно, скорости перспективных жестких дисков будут вопросом вторичным — об этом мы еще поговорим. Первичным будет объем и… сохранение надежности.
Моторесурс HDD и пласты залегания информации о нем
Пределы механической надежности жестких дисков можно попытаться практически изучить уже сегодня, предположив, что качество изготовления компонентов как минимум в перспективе не снизится, а новые технологии не повторят судьбу 3D и прочих рыночных фейлов. Однако спрашивать об этом производителей это как выяснять вкус меда у пчел и тонкости борьбы с коррупцией у госслужащих. Поэтому мы пойдем другой дорогой и попробуем провести что-то вроде OSINT — Open Source Intelligence, т.е. разведку проблемы по открытым источникам.
Из более-менее солидных внешне публикаций по данному вопросу можно выделить три с кусочком. Это обобщённые отчеты из Carnegie Mellon University и Google. Также навстречу нашей идее, по удачному стечению обстоятельств, движется политика публичности сетевого оператора хранения данных Backblaze.com. Компания по состоянию на 2019 год располагает почти 125 тысячами жестких дисков с пробегом почти 105 млн. диско-часов и любезно публикует статистику по надежности. Важно и то, что Backblaze.com использует в своих системах, по сути, потребительские накопители (они ощутимо дешевле), которым не положено работать круглосуточно и круглонедельно — тем интереснее статистика для изучения.
Некогда компания задалась вопросом о том, а как вообще подходить к вопросу понятия надежности жестких дисков. К 2013 году была опубликована более-менее предметная статистика по этому поводу. Если коротко, то компания отчиталась, что за 4-летний пробег основного парка из тогда еще 25 000 накопителей из строя вышло 22% дисков. 78% при этом успешно продолжали крутиться. Хорошо это или плохо? Ответ на этот вопрос займет некоторое время.
146%?
Начнем с того, что по мнению Backblaze.com 100% показатель отказов это далеко не самый плохой из возможных показателей. Считают они вот как: если сферический поставщик жестких дисков в вакууме поставит вам сотню абсолютно надежных в течение полугода накопителей, а затем они хором разово и одновременно крякнут, а вам надо чтобы они работали, то придется в течение года заменить каждый дважды. Т.е. заменить надо будет 200 дисков в год и тогда ежегодный показатель отказов составит 200%. А если каждый такой условный диск проработает всего час, то по году показатель отказов составит 876000%. «Однако!» — как говаривал К. Воробьянинов, помахав рукой преподавателям статистики.
Шторм и штиль в ванне
Инженеры по надежности в своей работе используют ванноподобную кривую для иллюстрации ожидаемых уровней отказов. Считается, что отказы проистекают из трех основных факторов:
- производственных дефектов, в результате которых имеет место явление, которое известно как «детские болезни» — в этом случае количество дефектов снижается;
- случайных неисправностей — величина более-менее постоянная;
- износа — количество отказов растет по понятным (кому?) причинам.
Собранные на графике «уровень отказов/время» эти факторы образуют три участка, формирующие нечто, напоминающее ванну. Отсюда и название.
В свою очередь Backblaze.com подтверждает эту теорию цифрами, сообщая, что на 4-х летнем отрезке времени первые полтора года годовой показатель отказов колеблется в районе 5%, потом снижается на некоторое время и потом, в районе 3-летней отметки, достаточно серьезно начинает расти. Вывод — 3 года является некоей условной точкой, когда начинает сказываться износ. С износом не все однозначно, но пока мы этого не касаемся.
Рассмотрим график от Backblaze.com.
Бытовуха
Мы помним, что хлопцы крутят бытовые диски круглосуточно и попытаемся перевести все это в более понятные временные отрезки. Учитывая, что большинство офисно-домашних ПК работают в среднем часов по 8 в сутки, то практический срок начала существенного влияния износа на надежность для них можно условно отодвинуть к 9 годам. Почему условно? Потому как при домашне-офисной работе диски включаются-выключаются, имеют внешние воздействия в виде непостоянной температуры и т.п. Но показатель в 26000 часов работы, как некоего порога условной надежности — вполне статистически достоверный ориентир. Важно так же понять, что в данном случае к 4-му году рабочими в режиме 24/7 подошли почти 80% потребительских дисков, которые изначально в таком режиме производителем использовать и не предполагалось — для дата-центров предлагаются несколько иные решения по несколько иным же ценам. Именно поэтому мы и имеем возможность изучить статистику смелых, взявших на себя риски вложиться в бизнес на непредназначенных для этого изначально «железках».
Крякнут все?
В какой-то момент времени ожидаемо откажут все 100% накопителей, но когда это произойдет — ответить сложно и прямой статистики найти не получится, т.к. никто в сфере хранения данных в здравом уме и трезвой памяти не будет рисковать клиентскими данными ради ачивок, хотя там все и избыточно, и даже «тихим ошибкам» проскочить не суждено (Тихие — в смысле, что данные в теории могут быть записаны с ошибкой, но вскроется это только со временем. В дата-центрах это почти нереально по причине постоянных сверок контрольных сумм и коррекции ошибок, а вот в SOHO полно накопителей, которые числятся нормальными, а по факту могут быть очень не очень. Самый смак, когда на такие пишут бэкапы, которые заведомо не поднимутся, но вылезет боком это только в самый важный момент, что только добавит угара факту обнаружения).
Интересно также, что показать статистику по полным ресурсным испытаниям вплоть до полного выхода серии накопителей из строя компания не может и по объективным причинам — накопители устаревают морально быстрее. Так уже в 2015 году однотерабайтных жестких дисков в основном парке Backblaze.com не осталось, начался отказ и от 2-терабйтников. При этом для последних от тогда еще HGST оглашен кумулятивный показатель отказов в 1,55% в среднем на пятилетнем пробеге!
С 3-терабайтниками картина похожая, но к концу 2015-го из эксплуатации были выведены диски Seagate и приведенная статистика сильно намекает, что в модели ST3000DM001 были некоторые нюансы дизайна, материалов или сборки, т.к. кумулятивный показатель отказа по модели составил 28,3% за 2 года при максимальном количестве в парке в 4074 единицы. Увидеть бы разбор ситуации производителем. При этом HGST на большем количестве имел показатель отказов в 0,8%.
К концу 2015 года три четверти парка компании составили уже накопители на 4 TБ. Т.е. обновление парка шло достаточно быстро, пока предлагаемые рынку объемы накопителей росли.
В мире животных
Отвлекаясь немного в сторону, чтобы проиллюстрировать незримую связь бездушной техники с живой природой, отметим, что после аварии на ЧАЭС, которую героически ликвидировало население той страны под локальным руководством УС-605, где за отдельные оперативно-инженерные решения отмечены почти невиданные ранее случаи награждения одновременно внеочередными званиями и орденами (военные оценят значимость такого факта: чтобы одновременно и орден и звание) в Чернобыльской зоне де-факто сформировался природный заповедник. Изначально считалось, что живая природа, в частности фауна, на территории зоны отчуждения понесла невосполнимые утраты, но по наблюдениям через 10–15 лет оказалось, что в зоне, ввиду ее обособленности, фауна как раз наоборот — разрослась вплоть до наличия краснокнижных животных. В дальнейшем исследования показали, что хоть животные и живут в радиационно загрязнённой среде, тем не менее чувствуют себя вполне неплохо — размножаются и расширяют ареалы. Внешне складывалось впечатление, что радиация никак на них не влияет, но анализы показывали обратное. В то же время растиражированные образы ужасных чудовищ по лесам не бегали и сталкеров не кусали. Разгадка оказалась достаточно Дарвиновской — за свой естественный жизненный цикл дикие животные не успевали столкнуться с отдаленными последствиями воздействия радиации (хищная правда в том, что редкое животное в дикой природе доживает до старости и умирает по естественным причинам ввиду влияния фактора пищевых цепочек), а физически неполноценные не проходят естественный отбор в детстве. Поэтому стороннему наблюдателю кажется, что все хорошо, но на самом деле это не совсем так. Та же картина в нашем дата-центре – ввиду роста предлагаемых объемов накопителей поколения достаточно интенсивно меняются даже до наступления факторов заключительного сегмента ванноподобной кривой. Кстати, сама ванноподобная кривая, как видно из нашего отвлечения, неплохо ложится и на дикую природу с некоторым оговорками. Но вернемся к проблеме.
Мыши плакали, кололись, но продолжали есть кактус?
Поломки тоже были вполне реальной причиной вывода накопителей из эксплуатации. Антилидером рейтинга поломок оказалась опять же Seagate, но и самих дисков от них в абсолютных цифрах больше.
Мыши плакали, кололись, но продолжали есть кактус? Взаимоисключающие параграфы детектед? И да и нет. В Backblaze.com сообщают, что, несмотря на указанную статистику, уже в сегменте 4 ТБ накопителей уровень отказов оказался очень неплохим в среднем по больнице и выглядел так:
Продукты Seagate оказались предпочтительней по двум причинам:
- Они были дешевле. И на этом, в общем-то, можно ставить точку. Цена — главный критерий рынка. Но мы продолжим.
- Статистически достоверно было установлено, что SMART-показатели хорошо предсказывали выход устройств Seagate из строя. В общем-то, второе, возможно, даже важнее первого, т.к. предсказуемость поломок является большим плюсом в вопросе надежности в целом.
Напомним, что S.M.A.R.T. это относительно стандартизированная внутренняя система самодиагностики накопителей. Относительно, т.к. разные диски фиксируют неодинаковый набор типовых показателей в рамках этой самодиагностики, а отдельные пункты так вообще являются ноу-хау производителя, но основной их перечень более-менее стабилен и понятен. Читается разным ПО, например CrystalDiskInfo. Понимая суть этих показателей можно примерно оценить состояние накопителя. Это касается как HDD, так и SDD с учетом специфики устройства обоих.
Типичный возврат показателей S.M.A.R.T. самодиагностики программой по ссылке выглядит так, для тех, кто не в курсе.
Тут стоит заметить, что именно подразумевается под поломкой жесткого диска. Backblaze.com классифицирует эти события так:
- Накопитель не раскручивается либо не подключается к ОС.
- Накопитель не синхронизируется с RAID или отваливается от него.
- SMART намекает на проблемы.
О последнем детальнее. Показателей много, но важными назначили пять:
- SMART 5 — Reallocated_Sector_Count.
- SMART 187 — Reported_Uncorrectable_Errors.
- SMART 188 — Command_Timeout.
- SMART 197 — Current_Pending_Sector_Count.
- SMART 198 — Offline_Uncorrectable.
Например, как только 187 показатель — неисправимые ошибки — сдвигается с 0, компания планирует накопитель к замене. Так же сообщается, что пока данный показатель равен 0 накопители выходят из строя крайне редко. Статистика на иллюстрации, про 280% отказов описано выше.
Т.е. прогнозируемость отказа — чуть ли не ключевое преимущество в сфере работы с данными, что, в общем-то и понятно. Мы же с вами помним, что нечто аналогичное можно проследить и в среде твердотельных накопителей, правда там отказы происходят немного внезапнее и безвозвратнее. Ну и пока дороже в финансовом плане, чем в случае жестких дисков.
Небольшое отступление для внимательных
В вышеприведенном типичном SMART-отчете вроде не видно никаких указанных мною 187,188,197,198. На самом деле видно, но в графе ID эти идентификаторы представлены в hex т.е. шестнадцатеричной системе исчисления, где помимо цифр 0, 1, 2, 3, 4, 5, 6, 7, 8, 9 используются еще и латинские буквы A, B, C, D, E, F. Т.е. для перевода цифр надо помнить, что в hex A это 10, B это 11; C это 12; D это 13; E это 14 и F это 15 в десятичном понимании, именуемом dec. Можно не париться, а поискать hex2dec конвертер или наоборот и из горы онлайн-ссылок выбрать любую. Так мы узнаем, что наш 187 показатель это шестнадцатеричное BB.
В моем типичном примере этот показатель уже отличен от 0 и равен 1, что говорит о том, что диск, в общем-то, уже не колокольчик и надо подумывать о замене всего-то на 9000 часах. Но это ноутбук и соответствующая эксплуатация — так что такое можно увидеть и на 1 часе после падения со стола. С другой стороны, в таком виде он открутит еще тысяч 20 часов и не закашляет. Не увидь я эти данные, а многие могут их не увидеть вообще никогда, то и не забивал бы себе голову. Это и есть одна из форм той самой тихой ошибки, о которой выше. Их может быть много, но с ними можно и не столкнуться. Доверять критические данные без резервного хранения таким дискам, конечно, не стоит, но по факту это делают миллионы людей ежедневно, так что иногда мониторить SMART все же имеет смысл.
He2 (т.к. просто Неlium был выше)
Но двинемся по статистике дальше. 4 ТБ накопители в целом оказались существенно надежнее 3 ТБ предшественников даже в рамках одного производителя. Так «трешки» от Seagate в первый год показывали 9,3% годовых отказов, а четверки — всего 2,6%.
Однако объемы растут и скоро и этот парк уйдет в прошлое целиком, т.к. на марше у нас 8-ки, 10-ки и даже 12-ки! Однако здесь не все так однозначно. Дело в том, что в этом сегменте уже идет внедрение новых технологий в массовое производство. Мы помним, что воздух, состоящий в основном из азота и в потоке которого парят головки над блинами жестких дисков, сильно плотный для современных решений и физически является препятствием росту объемов и скоростей. Поэтому в новых моделях используют менее плотных гелий, т.к. газовая среда в гермоблоке необходима — в вакууме механика жесткого диска по традиционной модели работать не будет, головки в прямом смысле слова нуждаются в газовой среде. Такие себе экранопланы.
Вокруг гелия идут дискуссии. Некоторые считают, что обеспечить абсолютную герметичность внутри и исключить утечку гелия в массовых изделиях не удастся, что неминуемо приведет к отказам т.к. внутренняя механика таких накопителей заточена под менее плотную, чем воздух, среду. Теоретически это заявление, в общем-то, обосновано, но все будет зависеть от конкретных производственных возможностей по реальной герметизации массовых товарных накопителей, т.е. заявку эту можно подтвердить или опровергнуть только временем, а пока у нас есть статистика для изучения.
И эта статистика говорит, что текущие 8-терабайтники на воздухе не особо и отличаются показателем отказов от вариантов на гелии. Более того 8/10/12-терабайтники на гелии в целом показывают неплохую массовую статистику. Серия из 16800 штук на 12 ТБ от Seagate на более чем полутора миллионах диско-часов имеет годовой показатель отказа чуть более 1%. Да и вообще большие диски получились пока статистически очень неплохими.
Средняя температура по больнице
Самое время посмотреть общую статистику от Backblaze.com. Это конечно не рынок в целом, но почти 107 000 накопителей, круглосуточно работающих под нагрузкой, дают основания делать хотя бы приблизительные и статистически вроде бы относительно натягиваемые на бытового или SOHO-пользователя выводы.
По актуальным моделям картина выглядит так:
Как видим для 45 млн. диско-дней годовой показатель отказов для 4-терабайтного Seagate составил менее 3%, т.е. при выборке из почти 35000 накопителей, которые постоянно нагружены работой, в год из строя выйдет менее 3 единиц. Примечательно, что средний пробег по этим цифрам составил примерно 3,5 года.
Промежуточные итоги
Важными выводами, которые делают из своей статистики Backblaze.com являются следующие:
- Для современных жестких дисков потребительского класса, нагруженных круглосуточно, порог роста числа отказов по износу приходится на 4 года.
- Выход из строя таких дисков — явление неплохо прогнозируемое по SMART.
- 1+2 для случая массива RAID дают хорошие гарантии того, что данные, хранящиеся таким образом на потребительских накопителях, делают это вполне надёжно при адекватном мониторинге ситуации.
Главным следствием из изложенного, вероятно, является тот факт, что в реальном SOHO с похожими нагрузками накопители встретятся нечасто, но там будут иные нюансы. Конечно, кто-то может сделать аналог домашнего дата-центра из старого сервера HP и подкинуть туда архив p2p-файлообмена, но даже в таком случае достичь нагрузок, аналогичных тем, что испытывают носители в Backblaze.com, можно будет далеко не всегда и уж точно не постоянно. В связи с этим срок полезной работы жесткого диска в домашне-офисных условиях вероятнее всего окажется больше, нежели описанные 4 года, особенно учитывая, что это только порог увеличения отказов по износу, а не момент, когда все диски выйдут из строя. Т.е. в реальности году к 5–6, если экстраполировать, где-то половина стартовавших одновременно накопителей будет жива. Но проводить эксперимент по долголетию с клиентскими данными на борту, как мы помним, никто не будет, и по показаниям SMART отклонившиеся от генеральной линии партии накопители будут заменены новыми, но к тому времени уже аппаратно иными участниками соревнований.
Some Like It Hot
К аналогичным выводам пришли ученые из Carnegie Mellon University. В частности, они отмечают, что в периоде после 5 лет эксплуатации необходимость замены носителей в крупных инсталляциях возрастает.
А вот ребята из Google установили, что влияние факторов температуры и нагрузки на выход дисков из строя несколько преувеличены и статистически заметны только для возрастных накопителей — т.е. после 5 лет, что несколько неожиданно и для них самих, т.к. ожидалось обратное.
Данные в части температурного режима выглядят так — максимальные проблемы у горячих дисков на 3 году работы. А мы пока заметим, что пик пришелся на более, чем 45 градусов.
Они же сообщают, что особой разницы в случае анализа потребительских и корпоративно-профессиональных накопителей не наблюдают. Последнее, в общем-то, ожидаемо на фоне вышеизложенного. Тем не менее, для 5-летних дисков показатель выхода из строя для выборки с большой нагрузкой и маленькой отличается вдвое — около 4 и 2 %, что в абсолютном выражении не катастрофично. Для новых дисков эти показатели соответственно находятся на уровнях 10 и 4 % с некоторым разбросом, т.е. можно предположить, что под нагрузкой лучше и раньше проявляются производственно-инженерные дефекты и проблемы комплектующих.
По вопросам отсутствия корреляции показателей температуры и отказов Backblaze.com в целом солидарны с предыдущим докладчиком, опираясь на статистику по 34 000 накопителям. Наличие такой связи проявляется лишь на отдельных конкретных моделях, например, Seagate ST31500541AS. Для него диаграмма выглядит так:
Для большинства же моделей жестких дисков такой связи не прослеживается. Детальнее цифры можно посмотреть по ссылке.
Например, по выборке Hitachi HDS722020ALA330 картина следующая и она, вероятно, обусловлена даже не столько конструктивными моментам, а конкретными условиями производства самой модели. Правда стоит отметить, что в случае с дата-центром особо нагреваться дискам никто не дает. Температурный режим и вентиляция там несравнимо получше, чем в типовом напольном мидлтауере с горой пыли внутри. Запомним этот момент, он нам еще пригодится.
И чё, и чё?
В целом три исследования практически промышленной эксплуатации жестких дисков показывают, что при постоянной нагрузке срок полезного их использования составляет примерно до 5 лет или 43800 часов. Не каждый диск в SOHO доживет до столь почтенного пробега. С другой стороны, эта статистика совершенно не значит, что не будет экземпляров, которые бы не прожили значительно дольше, например, тысяч 100. Но таковыми будут явно не все и в домашних условиях по первому чиху накопитель мало кто, в отличие от дата-центра, меняет. Поэтому отдельные «винты» даже с бэдами будут уверенно крутиться до победного, т.е. полного конца. В ряде случаев пользователи даже не будут подозревать о фактическом состоянии накопителя. Про «тихие ошибки» написано выше.
При этом важно, что производственные дефекты проявятся, скорее всего, на ранних сроках, покрываемых гарантией, после чего кондиционный диск открутит положенное.
Занимательно, но гарантия на некоторые твердотельные накопители, например, от Intel, тоже составляет 5 лет, Crucial также предлагает 5 летнюю гарантию и WD тоже. В случае с твердотельными накопителями понятие гарантии еще оперирует циклами перезаписи, но в общем случае условный пользователь имеет все шансы за 5 лет их не выработать.
В случае же обычных жестких дисков количество циклов записи-стирания условно считается неограниченным и механика деградирует заведомо раньше магнетизма (правда детально причины почему-то никто не поясняет, но пользователем достаточно этой расплывчатой формулировки — они, типа, поняли), т.е. внимание на это обращать смысла никакого нет, а вот на SMART — есть.
Что касается жестких дисков, то ожидать увеличения срока их полезного использования можно было бы, но не стоит.
Можно было бы потому, что совершенствуются технологии изготовления компонентов, разрабатываются новые материалы и технологические процессы их обработки, сборки изделий. Задавшись целью произвести надежный во времени жесткий диск реализовать такую цель технической проблемы сегодня не составляет, особенно если не гнаться за скоростями.
А не стоит, поскольку это никому среди производителей особо-то и не нужно. Ввиду взрывного роста генерации объемов данных человечеством (причем в основном бизнесом в части big data) актуальным выглядит вопрос скорее расширения объемов хранения, в т.ч. на единицу площади, а надежность можно перекрыть избыточностью и заменой накопителей в массивах — это быстрее, дешевле и проще, нежели создавать абсолютно надежный накопитель, который устареет морально быстрее, чем физически. Действительно, какой практический и массовый толк от работающего древнего накопителя на 2 ГБ сегодня? Еще и производители главного «железа» задают SOHO тон ежегодными сменами платформ, где новыми системными накопителями будут твердотельные, а бэкапы сольются в корпоративные облака, где проблемы технологий хранения клиентов на местах вообще не интересуют (по крайней мере, пока не прилетят черные лебеди в виде пары падений крупных облачных операторов)? Привет сюжету именно фильма, а не книги «Бойцовский клуб» — там есть релевантное.
Локальные же холодные данные можно хранить и на собственном жестком диске(ах) — они стоят сегодня беспрецедентно недорого и в случае RAID все вполне надежно, да и устареет по объему все скорее всего быстрее, чем износится, особенно в случае креативно-архивного использования.
В общем, производители 3–5 летнюю (WD Black для НЖМД) гарантию берут не с потолка и танцуют вокруг именно этой цифры, хотя на практике большинство накопителей в домашних и околопрофессиональных условиях ее перешагнет. Почему положение дел именно такое — пояснено выше: на подходе новые технологии и повышать выносливость старых никто не будет, а вот что покажут инновации — увидим уже совсем скоро.
В любом случае списывать со счетов даже текущие технологически диски еще рано и об этом наш следующий материал.
Но, one more thing, как говорят любители фруктов
Внимательный читатель уже задается вопросом — где же технические первопричины описанного, Билли? Не втирают ли нам какую-то дичь? Так много слов о ресурсе, износе и прочем, а по факту никакого технического матана! Что же изнашивается? Как это происходит?
Их есть (с), но придется несколько расширить рамки публикации. Данные опять же из открытых источников — у нас же OSINT! И в этот раз мы смотрим на точку зрения одного из трех оставшихся китов, на которых стоит рынок HDD — WD.
Коротко вспомним, что такое жесткий диск — это устройство хранения данных, основанное на магнетизме. В литой и фрезерованный корпус (шасси) помещается сборка рабочих твердых магнитных дисков, которые крутит электромотор. Над и между пластинами бегают пишущие и читающие головки на длинных коромыслах, чтобы охватить весь радиус блина. Рабочее пространство закрывается крышкой — там «чистое» в плане пыли пространство. Есть еще плата управления, шлейфы и разъем интерфейса снаружи. На плате будет электроника в виде контроллера, DRAM-буфера и т.п.
На картинке негерметичный пример. Для герметичного в случае, например, гелия принципиальнее отличия конструкции только в газообмене ну и тонкости элементов.
Итак — самый жир
WD нам сообщает, что около 70% всех проблем жестких дисков — это проблемы зазора головок и блинов. При его нарушении происходит контакт с неблагоприятными последствиями.
Сегодняшние зазоры — менее 2 нанометров! И секретный инсайд из WD постулирует, что, экстраполируя это на реальным мир, мы получим полет на самолете через все США на высоте 1 м с неравномерностью территории +/– 4 см. Не впилиться бы в секвойю, но их в нашем макроаналоге не предусмотрено. Именно поэтому жесткие диски боятся ударов.
Ботающие на английском увидели слово lubricant. Оказывается (и я гарантирую, что многие не знали), на блине жесткого диска есть монослой смазки для снижения адгезии и трения между головками и диском. Поднятие лубриканта слайдером — явление целиком нормальное в своих масштабах, но «глубоко» копать категорически нельзя, ибо будут в прямом смысле запилы рабочей поверхности.
Дело в том, что физические характеристики мономолекулярных пленок зависят от фактического количества материала и последствия копки могут быть отложенными.
Помните про магию и самоуспокоение — теперь по ходу материала вы начинаете знать еще немного больше.
Но мы продолжим. На головках и блинах используется покрытие из алмазоподобного углерода (химики намекают, что алмаз и есть углерод, но алмаз — форма, обуславливающая эксплуатационные характеристики). Сегодняшние толщины покрытий — чуть ли не менее нанометров. В случае утончения начинается рост рисков запилов, износа и даже миграции (!) магнитного материала. Если копать дальше, то мы уйдем в трибологию, что, в общем-то, очевидно. О трибологических аспектах в контексте головок и блинов жестких дисков почитать можно по ссылке.
В общем, тема поддержания достаточного просвета пары пластина-головки является чуть ли не главной в вопросах надежности современных жестких дисков. Множество факторов, на нее влияющих приведено на иллюстрации ниже:
HDI расшифровывается как HEAD-DISK INTERACTION.
Правда красиво? Все это иллюстрирует тезис о том, что новые поколения жестких дисков, ввиду усложнения, будут подвержены новым, возможно неизвестным сегодня, рискам. Инженерам действительно непросто — рынок требует бОльших объемов дата-центров. И объемы по вменяемым ценам сегодня могут дать только старые (старые ли уже?) добрые (точно не злые) жесткие (об этом в первой части) диски (внешне, правда, прямоугольные). Важно понимать, что вопросы надежности являются объектом процесса моделирования на стадии разработки и модели эти эволюционируют вместе с индустрией — иного выхода нет, иначе рынок покажет производителю филейную часть. Поэтому же в ванноподобной кривой из начала материала всегда будет первый сегмент, ответственный за т.н. «детские болезни».
О ванной за пределами IT
Первый сегмент формируется косяками в вопросах качества, материалов, ошибками инжиниринга (привет некоторым моторам группы VAG и BMW, например), а также проблемами самого производства как процесса.
Немного окинем взором мировые мемы по теме. Вначале 2000-х потребители продукции АвтоВАЗа столкнулись с проблемой вибрации руля на скорости 110 км/ч. Проблема не решалась — лучшие балансировочные станки выводили колеса в идеальный баланс, но в руль все равно било. В итоге население экспериментально установило, что если, внимание, отбалансировать колесо прямо на ступице, то проблема исчезала. Называлось это финишной балансировокой и стоило дорого, при смене колеса делать приходилось заново. Письма производителю ожидаемо не дали никакого результата, и народ вошел в исследовательскую фазу. А ларчик открывался просто — на конвейер закупили колесные диски, где диаметр центрального отверстия на 1,5 мм был больше посадочного места на ступице. На шиномонтажах колесо прикручивали со смещением, что и вызывало биение в руль идеально отбалансированного колеса. По этой же причине балансировка на ступице проблему решала, но прошли месяцы и чуть ли не годы, пока производитель прокрастинировал, а народ ломал головы. Проблему, кстати, решили сами пользователи, а не завод. Мучения c ранним двухдисковым сцеплением от VAG и радости владельцев 5-литровых V8 от BMW, употребляющих масло ведрами, вначале 2000-х — тема отдельная. Так что не только Аpple умеет накосячить с антенной, кнопками, экранами и держать покерфейс, а тут — какие-то копеечные диски.
По этим же причинам у кривой есть замыкающая часть (хотел написать — последняя, но вдруг нас читают парашютисты, КВСы, штурманы дальнего хождения и иже с ними) и, как мы слегка подсмотрели, там есть чему изнашиваться кроме мотора. Поэтому наступление периода критического роста вероятностей выхода носителя из строя называется так не случайно — в этом периоде важные накопители лучше таки менять на исправные.
Матан производителей, в отличие от приведенных выше данных, говорит о том, что время — самый плохой доктор для жестких дисков. Картинка чуть ли не из второго закона термодинамики — энтропия, т.е. процент отказов возрастает.
А вот следующим фактором вылета «винтов» производители считают… температуру.
BSOD WTFаками и его разрешение
Самое время читателям предъявить мне:
Да как так-то ? (с) Вверху же совсем обратное!
Амбивалентность ситуации разрешить было непросто, но я смог.
Графики надо читать и анализировать!
Смотрим внимательно слайды. Раз.
И два.
Если коротко, то вышеподписавшиеся охватывали вниманием иные температурные диапазоны, где влияние температуры особо-то и не проявляется. Дата-центры — не сауны с блекджеком и там с кондиционированием все в порядке.
Зато вывод WD сотоварищи постулирует о том, что вероятность отказов возрастает вдове на каждые 15 градусов Цельсия роста температуры. Заметим — это не исключает мнение предыдущих ораторов. Градусов с 50-ти начинается серьезный рост перспективы вылета накопителя. Именно перспективы, а не самих вылетов. Но почему?
В соединении с изложенным возникает и требует изучения уже вопрос влияния рабочих нагрузок на ресурс жестких дисков и это привело производителей к пониманию того, что количество переданных терабайт является параметром, напрямую связанным с надежностью. Сюрприз! Жесткие диски уже тоже имеют по этой части рамки — почти как твердотельные, почти. Пока почти.
Удивленная публика видит новый показатель живучести НЖМД — Mean Petabytes to Failure (MPbF) и производные.
Mean Petabytes to Failure (MPbF) и производные
WD предлагает график, который получился в результате тестового забега 1200 накопителей в течении 1000 часов при сильной рабочей нагрузке с коррекцией по температуре. В итоге статистически значимые данные подтверждают, что с ростом нагрузки процент отказов растет при прочих равных. И наоборот. Причем растет кратно. Из рисунка явно видно, что в абсолютном выражении эти показатели не пугают, но, тем не менее, они существуют в реальности и ее определяют для владельцев этих накопителей.
Возвращаясь к головкам, пластинам, смазке и трибологии производители осознали, что надо дорабатывать напильником и срочно. Нанометры уменьшаются и вот уже нагрев реально вызывает расширения, способные привести к нехорошим физическим последствиям. Родились идеи типа динамической высоты головок. Много матана по ссылке, а мы посмотрим наглядную агитацию про Dynamic Fly Height (DFH).
Показатели перспектив отказов изображены на иллюстрации: тут и миграция, и износ, и рост вероятности отказов в разы.
Критичным считается время близкого нахождения головок к блинам (дальше — копка и запилы!), что находится в прямейшей связи с переданными объемами информации, т.е. суммой запись+чтение.
И это только «дорожный» просвет, а еще мы помним про температуру, как причину, и переданные терабайты, как ориентир. В общем, парадигма надежности жестких дисков в последнее время меняется, и НТП этому прямо способствует. Соответственно разрабатываются новые модели определения надежности, измеряемые точки опоры этих моделей и инструментальные возможности это квантифицировать. WD, в частности, обращает внимание на деградацию головок по магнитным и электрическим измерениям, расстояния между рабочими (в т.ч. магнитными) элементами и уровень ошибок. Без нагрузки головки могут быть «поднятыми» над пластинами или запаркованными в специальном месте за пределами магнитной поверхности блинов.
Да, жестким дискам тоже отведут срок эксплуатации
Выливается все это в один важный момент — некоторое время назад (почти 10 лет, но мало кто заметил) производители жестких дисков как минимум начали оценивать теоретические рамки нагрузки для своих продуктов и сегодня имеют вполне сформированное видение по этому вопросу.
Так Seagate, например, ведет в своих дисках статистику показателя Workload Rate Limit (WRL). Это что-то вроде расчета годового пробега в терабайтах. Seagate условно отводит механическому диску некорпоративного класса 180 терабайт в год или примерно 340 мегабайт на минуту работы шпинделя в режиме чтения или записи (нагрузка в этих режимах суммируется для расчета). Компания при этом замечает, что на гарантийные обязательства этот показатель в общем случае не влияет, а рассчитывается для того, чтобы зафиксировать порог нагрузки, при котором вероятность поломок накопителя возрастает. Бытовому пользователю столкнуться с такими нагрузками вряд ли придется. Диску корпоративного сегмента по логике Seagate при этом полагается 550 терабайт на год нахождения включенным. WD ориентируется на 55 ТБ в год для настольно-мобильного сегмента, 180 — облачного, 550 — корпоративного и «топчику» для дата-центров отводит 800 терабайт в год. Как бы эти 800 освоить еще. Toshiba такие показатели именует Annual Workload Rating и, например, «Выживальщику» S300 на 4 ТБ отводит 110 терабайт годовых. Детальнее по ссылке, сноска №5. Там тоже прямо указано, что с гарантией это связи не имеет, но она у всех-то limited.
Вполне вероятно, что с прогрессом в сфере технологий, которые используются в жестких дисках, эти цифры трансформируются в нечто более близкое к количеству перезаписей ячеек твердотельных накопителей и вместо информационного триггера станут гарантийным лимитом, при выходе за который производитель откажется нести гарантию. Но все это потом, а пока считается, что целенаправленно уложить накопитель потребители за 3–5 лет не должны и многие продолжают думать, что жесткие диски остаются быть «вечными». На самом деле идею нужно разбавить еще и тем, что маркетинговый отдел любого производителя под крышку бы и механизм самоликвидации запихнул для роста продаж, а главное — возможности планирования их регулярности. Но можно оскандалиться.
Время смелых
Но можно и запихнуть! Здесь следует отметить достижение по протиранию до дыр Optane и странную позицию протирателей по этому поводу. Известные адепты протирания установили, что выходу из строя SSD предшествует начало использования запасных блоков контроллером твердотельного накопителя, что, в общем-то, очевидно, перед тем, как крякнуть, с солью можно и нужно даже запасные блоки доесть. Нюанс «Оптана» был в том, что его SMART по вылету сообщал, что запасные колеса никто не ставил и они лежат в багажнике чистенькие и пупырчатые. В соединении с тем, что Optane чуть ли не единственный накопитель, который в итоге не отвалился с концами, а перешел в режим Read-Only с сохранением доступа, указанное тревожно намекает противосамолетным прожектором в ночи, что вывод его из эксплуатации произошел не по факту износа либо поломок разного рода, а запланированно в прошивке производителем. Но поскольку пробежал он явно больше, чем было заявлено Intel в спецификации, то и предъявлять вроде как нечего.
Настораживают лишь два момента:
- «Офигеть конфетки «Тузик»!», т.е. сам факт такого не просто запланированного рассчетно, а конкретно, похоже, изначально отведенного пользователю ресурса! Optane быть может и больше выбегал, но кто ж новый купит? — песня известная.
- Где были очки протирателей, когда они смотрели на результат? И почему они так упорно игнорируют очевидное и избегают комментариев по существу? Кто бы им бинокль вручил, хотя, как в Карлсоне, папа, т.е. Intel, мог строго настрого запретить есть варенье, а именно публиковать эти наблюдения, т.к. дорогую реально железку не для этого вручали. Ну Вы понели… (с)
Я практически уверен, что если бы нашелся Skynet, способный дизассемблировать прошивку «Оптана», то мы бы получили фактические вещдоки обозначенного, но, видимо, не сегодня.
А пока и безсвинцовой (или как троллили в комментариях — безплюмбумной) пайки местами хватает.
Аннушка уже разлила масло
Пока же читатели не так много, как следовало бы, уделяют внимания продвигаемому показателю DRWPD — Disk Read or Write Per Day — т.е. допустимой суточной нагрузке, а ведь именно она в последнее время становится все более ключевой в пресс-релизах и прямо проистекает из изложенного. Именно этим показателем пытаются гримировать ситуацию с ресурсом QLC, например, в Micron.
И делают это, подводя статистику, что, мол, этот показатель падает и это если не нормально, то хотя бы в ожидаемом числится. Окно Овертона в действии.
А вот тут мы вообще в разделе Wow! That’s Cool! (надо больше восклицательных знаков) узнаем, что, оказывается, есть тренд того, что ПО больше читает, чем пишет! Там еще заливают, что read-centic!!! софт, о котором вчера еще никто в такой формулировке не слышал (а браузерный кэш так вообще смотрит на таковой как на оленя), это то, чему твердотельные накопители страх как подходят. Особенно на QLC, на фоне того, что жесткие диски-то имеют показатель рекомендуемой нагрузки, который исполняется как в ходе чтения, так и в ходе записи. А QLC-то ведь на чтение не изнашивается!
Я не знаю, что они там в маркетинговом департаменте Micron употребляют (а если верить Пелевину, то что-то таки должны), но это очень напоминает заявление Intel о лидирующей в отрасли плотности битов на ячейку! Может вторые как-то покусали первых? В любом случае у нас очередной маркетинговый WIN! Оказывается, нам всем очень не хватало QLC. А ведь их могут читать дети!
8-bit MLC в 2019
Страшно подумать, что они наколдуют под OLC — да, восьмиячеечные решения Micron выкатит уже летом, а к зиме и накопители подвезут. Вот где маркетингу придется выворачиваться наизнанку, но, как видим, фундамент залит уже сегодня — читающее ПО и изнашиваемые жесткие диски — герои будущей драмы. Ах ну да, я забыл — это же будет 8-bit MLС, в 2,(6) раза больше битов чем у лучших образцов TLC! Обережно, покращано!
Very limited warranty
Но вернемся к DRWPD жестких дисков. Учитывая изложенное нельзя исключать, что выход такого показателя за пределы установленной нормы можно в будущем признать основанием для отказа в гарантии без затрат дорогущих человеко-часов сервисов на выяснение нюансов. Т.е. здесь можно сэкономить на издержках по сопровождению гарантии. Именно сопровождению, т.к. прямая замена или отказ — дешевле, проще, снижает риски сговора инженера по гарантии с клиентом (да, было много случаев, когда в последний месяц гарантии можно было треснуть жестким диском по столу и легально обменять его на новый, а если крупно повезет, то и на бОльшего объема, если старые делать и поставлять перестали).
Теория и отчеты — хорошо, а как с наглядной агитацией?
Поэтому поводу очень кстати камрад dlinyj с Habr.com задался вопросом, как быть среднестатистическому ИТ-шнику в случае, когда кровавая гэбня, предварительно перегрызя ввод питательства в квартиру, интеллигентно выносит дверной косяк с целью поковырять архивы анона. Архивы конечно же на НЖМД.
Методические рекомендации, используемые последними в первом приближении мало изменились со времен, когда любителей поквартирного платного просмотра «ничего» опера накрывали путем обесточивания малины. Как мы помним, из редчайшего видеомагнитофона кассету можно было достать без питания (а с учетом механизма подвода пленки к головкам число таковых вообще стремится к нулю, т.к. при обесточивании пленка на головках и оставалась растянутой), а UPS были в СССР даааааалеко не у всех. В итоге под звуки выламываемой двери и почти меметичного «лицом в пол, руки за голову» у организатора домашнего кинотеатра выхода было в основном два: а) принять неизбежное со всеми вытекающими по УК СССР (аббревиатура использована исключительно в исторической ретроспективе), б) попробовать соскочить и в отчаянной попытке выбросить вещдок в окно — авось потом не докажут откуда полет начался (с развитием советской криминологии с последним боролись путем протоколирования осмотра окон специально обученными лейтенантами и расставления в прямом смысле улавливающих сеток по траектории предполагаемого полета). Ирония судьбы — нередко аэродинамику проверяли у достаточно неплохих видеомагнитофонов небезызвестной и нами ранее упоминаемой Hitachi! Ниже классика 80-х для наглядности. Фото со Skylots.org, но еще тысячи их физически в строю.
Toshiba, впрочем, тоже встречалась. Вот она — связь времен в реальности (и это мы еще тематично не коснулись АрВида — до гигабайта цифры на час обычной видеокассеты VHS). Особой пикантности выбору придавал тот факт, что видеомагнитофон мог стоить примерно как квартира (хотя последние официально и не продавались) — нелегкий выбор, однако. Помните, в прошлом материале мы тоже приводили такое мерило для автомобильного медиа-центра Pioneer?
В общем, фабула посещения может быть любой, а результат — прогнозируемый. Поэтому человек и решил выяснить для себя как же лучше всего максимально продуктивно потратить доступные секунды до момента, пока посоны с протокольными лицами не испачкают ковер берцами, расчищая путь коллегам в штатском.
Мы, конечно же, твердотельно и нжмдшно стоим на позиции, что уголовный кодекс надо чтить, а законодательство соблюдать, поэтому опыт товарища изучим строго в академических целях. Так, одним из предложений, озвученных автором, было уничтожение потенциально компрометирующих данных на «винте» практически Торквемадовским методом, т.е. приглашением на огонек. Сжиганием, короче. Практическая часть лабы была запротоколирована и оказалась крайне эхотажной, т.к. сжигался НЖМД не просто на костре, а с подключенным питанием, т.е. с вращающимися дисками и со снятой крышкой. Торквемада совершил бы пару оборотов в гробу, поняв, насколько он недоработал в части жестокости, после изучения картинок ниже.
Итак, диск без крышки на оборотах начинают доводить до extra crispy (а вы знали, что уровни сложности в игре Blood совпадали с англоязычными названиями степеней приготовления еды термической обработкой?) газовой горелкой. Ни в коем случае, ни при каких обстоятельствах не повторяйте дома!
Еще раз обратим внимание — головки вне паркинга, блины крутятся, температура растет.
Через некоторое время термическое расширение делает свое дело, и головка начинает доставать до блина в строгом соответствии с теоретическими выкладками, озвученными выше.
Результат налицо – глубокий запил. Но это еще не все. Через 5 минут эксперимента встал и шпиндель.
Вероятнее всего по аналогичной причине — технологические допуски цилиндрических соединений (или как там правильно назвать ситуацию с электромотором) не подразумевали такого сближения рабочих элементов. На этом интересующий нас эффект достигнут, но для гурманов — ниже продолжение эксперимента.
А тут филармония решила продолжить концерт в три смычка.
Результат получился с ассоциациями.
Таким образом, теория нашла подтверждение ускоренными ресурсными испытаниями.
Мгновение современной криминологии для киберполицейских
В этот момент из аудитории должен прозвучать настойчивый вопрос о том, не ошибся ли докладчик, сообщая о методике подготовки к заходу в помещение с искомыми носителями — точно ли надо отключать свет? Отойдя от темы, заметим, опять же академически, что отключение питания должно, помимо факторов внезапности и психологического давления, исключить в общем случае возможность подозреваемого уничтожить данные электромеханическими методами — программно, дрелью (хоть есть и на батарейках, но не у каждого), магнитным полем, микроволновкой, в случае с оптическими носителями, наконец ! Внезапность и отключение света могут дезориентировать подозреваемого и позволят выиграть оперативникам время. Правда это несет некоторые дополнительные риски — если подозреваемый несколько продвинут и искомые данные по материалам дела могут находиться на подключённом накопителе, то не исключено использование разных форм шифрования. Отключив свет в такой диспозиции, восстановить данные с хорошо и грамотно зашифрованного накопителя будет практически нереально без сотрудничества подозреваемого со следствием. При этом у подозреваемого продолжат несколько секунд быть доступными такие оффлайн-инструменты как молоток и… выкидывание в окно в надежде, что разобьется. Так что конкретное тактическое решение будет принимать руководитель следственно-оперативной группы. И совет дать команду конкретно силовой ее части физически обездвижить подозреваемого, чтобы он даже в случае UPS не споткнулся «случайно» о шнуры питания, тем самым обесточив поднятое до прихода тонких специалистов, будет не лишним.
Важно также понимать, что все вышеописанное в этом и предыдущем материале недвусмысленно намекает, что надежность современного хранения требует регулярных бэкапов. Поэтому есть некоторая отличная от нуля вероятность, что у подозреваемого могут быть резервные копии, образы, облака и прочие дублирующие источники информации. Подготовленный следователь располагает соответствующими инструментами и может выявить их местоположение для дальнейшей передачи экспертам. И эти инструменты совсем не противогаз, не швабра, не перевёрнутая табуретка и даже не отдельная комфортабельная камера с туберкулезниками в СИЗО — все это противозаконно и в тоталитарном прошлом. Сегодня следователь оперирует общечеловеческими ценностями, совестью, процессуальным кодексом и гражданской ответственностью. Впрочем, если следователь подготовлен действительно хорошо, то он может даже убедить подозреваемого передать следствию ключи шифрования, если таковое имело место. Это быстрее, дешевле и эффективнее магнитно-силовой микроскопии в случае магнитных носителей и прочих профильных прикладных технологий для носителей иных типов. Ну и криптоаналитикам не придется потеть с паяльниками. Но мы отвлеклись.
Симпозиум постановил
Таким образом, как оказывается, жесткие диски, хоть и могут долговечнее сохранять информацию, тем не менее, имеют вполне физические нюансы эксплуатации, которые становятся все более существенными с усложнением технологий. Современный жесткий диск имеет хороший ресурс передачи данных, но и он, внезапно, как и у SSD, уже имеет ограничения технологического характера, которые можно посчитать. В результате нормальной нагрузки к 5 годам работы современный жесткий диск попадет в зону риска выхода из строя, хотя проработать дома или в офисе может гораздо дольше — и 50000 и даже 100000 часов. Последнее во многом таки зависит от нагрузки и температур в силу используемых в самих дисках решений. Не забываем про вибрации, скачки напряжения и непоказательность датацентровой статистики — там все по-другому. А пока жесткие диски являются безальтернативными по емкости и цене за гигабайт хранения. Поэтому на рынке они будут существовать очень долго, и уже практически завтра мы увидим предложения на 50–100 и даже 200 терабайт в изделии, правда все это будет потихоньку смещаться в ниши, где такое железо обеспечит решение более конкретных и узких задач. Это нормальное, нужное сегментирование рынка и все категории потребителей сосредоточатся именно на тех продуктах, которые будет лучше всего соответствовать именно их потребностям по приемлемой цене. Ведь никто же не пытается сравнивать МАЗ-537 с легковым седаном, хотя технически оба автомобили и на обоих можно сгонять за «пыгом». В случае SSD потребитель получил еще одну инновационную возможность обеспечить конкретные сегменты быстрым накопителем, т.е. гибкость в подходе к конфигурированию конкретных аппаратных решений стала еще выше.
Поэтому вот этот товарищ только издалека присматривается к ситуации, трезво осознавая, что время его роли в этой постановке наступит еще не скоро.
Не стоит так же забывать, что есть немало технологий, способных продлить жизнь жестким дискам. Некоторые из них еще не вышли за пределы лабораторий и неизвестны вне среды узких специалистов, а некоторые уже пытаются быть представленными общественности предприимчивыми стартаперами (слово-то какое к нам из маркетинга подвалило!). Так, например, ребята из L2Drive на серьезных щах заявляют о вакуумных 3D-технологиях в традиционных жестких диска. Т.е. прямым текстом предлагают откачать все газы из гермокамеры с блинами и головками.
Если у них взойдет, то и покрытия дисков с головками можно будет упразднить, и смазку защитную не добавлять, и проблемы газовой среды внутри накопителя решить, что крайне важно для термомагнитных перспектив, и… расстояния еще сильнее уменьшить. Правда мы помним, что это как раз один из главных взаимоисключающих параграфов надёжности сегодня на фоне еще и термодинамики. На это стартаперы отвечают тем, что в безгазовой среде они смогут легче активно управлять зазором блин-головка. С другой стороны, все прелести, если таки взойдет, можно будет внедрить и без award winning-уплотнения. Правда, в числе участников междусобойчика числятся аж два прямым текстом, как они себя сами позиционируют, серийных предпринимателя, что для нашего уха звучит несколько необычно и в такой формулировке даже как-то невольно вспоминается известная тема композитора Игоря Назарука (если вам больше 25, то вы ее, скорее всего, знаете). Еще двое — выходцы из WD и решительно непонятно почему там эту идею не взялись внедрять, особенно на фоне продвигаемой MAMR.
В любом случае этот пример говорит о том, что идеи еще будут и общий НТП будет этому, несомненно, способствовать.
Вторым главным следствием из прочитанного является тот факт, что слепо доверять публикациям из любых источников (и этой в первую очередь) без критического их осмысления (в комментариях) не стоит — они могут быть совершенно достоверны по сути, но нерелевантны в конкретных условиях. Ложное понимание описанной «магии» может вылиться в убытки как финансовые, так и имиджевые. Последние нередко дороже.
В этом ключе хотелось бы также напомнить, что на трилемму и достижения инженеров-физиков есть обратный компенсаторный механизм маркетологов, который как никогда тематичен.
А в случае с особо эффективным внедрением новых технологий инженерами и соответствующим падением цен на накопители традиционного типа может и какое наводнение произойти, пожар на худой конец. Это очень бодряще действует на графики цен оптовых поставок.
Глобально это выглядело вот так и сильно подправило линию тренда цены за гигабайт:
Однако при наличии всего-то трех производителей этого может и не понадобится, о чем нам крайне толсто намекают изготовители памяти закладкой учебника по конкуренции в разделе «Олигополия».
По этому поводу вот прямо на днях недвусмысленно в TrendFocus намекнули, что поставки традиционных НЖМД по итогам года несколько упали в потребительском секторе. Общую ситуацию сглаживает Enterprise, но на фоне закрытия WD аж трети своих заводов по обычным «винтам» (на самом деле одного из трех, но «трети» звучит драматичнее) цены могут и подрасти. О чем там кто и с кем мог договариваться пусть анализирует и моделируют антимонопольщики. А мы смотрим свежую статистику.
Дополнительно отметим, что 5-летняя гарантия на потребительские решения в сферах HDD и SDD намекает, что эти технологии еще неизбежно пересекутся.
Титры
Спасибо дочитавшим до конца более 76000 знаков с пробелами. Теперь вы знаете больше. И Вы, тов. полковник, тоже.
Свои отзывы и предложения прошу оставлять в комментариях. Возможно, я что-то не осветил в стремлении к лапидарности или кто-то с чем-то не согласен, и мы вместе повысим образовательный уровень наш и тех, кто эту статью найдет в поиске в будущем.
