ХРАНЕНИЕ И ЭФФЕКТИВНОЕ ИСПОЛЬЗОВАНИЕ БОЛЬШИХ И СВЕРХБОЛЬШИХ ОБЪЕМОВ ДАННЫХ 
(Построение иерархических систем хранения данных с реализацией второго уровня на роботизированных библиотеках CD-R/DVD-R дисков)
Павлов Вадим Феликсович, Ковригин Дмитрий Арленович
ЗАО “Эврика”, Санкт-Петербург, Московский пр. 118
info@eureca.ru

1. Постановка проблемы
Стремительно развивающиеся информационные технологии с каждым днем открывают новые возможности, позволяют упростить решение различных задач, но и порождают новые проблемы.
Одна из таких проблем - необходимость хранить множество электронных документов, число которых увеличивается с каждым днем. Объемы требуемого пространства измеряются уже в Терабайтах. 
Существуют два традиционных варианта решения это проблемы: 
•	наращивать дисковые массивы серверов;
•	хранить данные на внешних накопителях, исключив их из прямого доступа.
Первый путь, в силу дороговизны носителей, требует значительных инвестиций. Использование второго, менее дорогостоящего, снижает оперативность и чревато полной потерей информации из-за целого ряда случайных причин.
Есть и третий, компромиссный вариант решения проблемы - использование гибридных систем хранения информации, в которых одновременно используются быстрые накопители на жестких дисках для хранения  часто используемой и быстро изменяющейся информации и более медленные, но более дешевые (в расчете на единицу хранимой информации) устройства хранения - MO диски, роботизированные библиотеки CD-R/DVD-R дисков (Jukeboxes), магнитные ленты и роботизированные библиотеки магнитных лент - для хранения информации, которая изменяется редко и доступ к которой осуществляется редко.
В настоящее время можно выделить два типа гибридных систем хранения информации - это системы с гибридной файловой системой, где в файловую систему тем или иным путем явно интегрируются MO диски и роботизированные библиотеки. Одним из самых известных представителей таких систем является система SmartStor Jukeman фирмы Smart Storage inc.[1]. Недостатком систем данного типа можно считать непрозрачность внутренней структуры гибридной файловой системы для пользователя, т.е. то, что пользователь видит, на каком носителе находятся те или иные данные и должен явно учитывать в своей работе и в настройке приложений перенос информации с носителей одного типа на носители другого типа.
Другой тип гибридных систем хранения информации - иерархические системы хранения данных (Hierarchical Storage Management — HSM). При использовании иерархических систем хранения данных прозрачно для пользователя используется несколько уровней хранения данных. Первый уровень хранения обычно располагается на накопителях на жестких дисках, второй уровень - на МО дисках, третий уровень - на роботизированных библиотеках магнитных лент. Перемещение информации между уровнями хранения происходит прозрачно для пользователя и в автоматическом режиме, по некоторым правилам (давно не использующаяся информация переводится на более медленные устройства, запрошенная информация переносится на быстрые устройства). Известным представителем систем HSM является OpenView OmniStorage фирмы Hewlett Packard inc. [2]. Недостатком систем данного типа можно считать достаточно высокую стоимость, т.к. известные системы HSM не используют роботизированных библиотек CD-R/DVD-R дисков, а так же требуют периодического резервного копирования всей информации, что сложно и достаточно дорого из-за очень больших объемов информации, хранящихся на втором и третьем уровнях.

2. Предлагаемое решение
Данный доклад посвящен решению российской компании ЭВРИКА, реализованному в системе EURECA TeraSafe.
В системе EURECA TeraSafe используется модель HSM прозрачного для пользователя переноса информации  с первого уровня хранения на жестких дисках не второй уровень хранения, реализованного на роботизированных библиотеках однократно записываемых CD-R/DVD-R дисков, что является уникальным для существующих систем.
В стандартной конфигурации EURECA TeraSafe используется роботизированная библиотека Pioneer на 620 DVD с 6 читающими дисководами, что при использовании DVD-дисков емкостью 4.7 GB, позволяет хранить до 2.85 Tb данных. В одном устройстве могут быть объединены до 6 библиотек, что увеличивает суммарную емкость до 17.1 Tb.
Использование однократно записываемых носителей позволяют получить минимальную стоимость хранения единицы информации (стоимость хранения единицы информации на этих дисках в десятки раз ниже, чем на традиционных жестких дисках). Роботизированные библиотеки CD/DVD обеспечивают время доступа к информации не более 10 сек. и гарантируют сохранность информации в течение вей жизни однократно записываемого носителя, которая декларируется производителями обычно не менее 50 лет.
Важным преимуществом прелагаемого подхода является возможность полностью отказаться от резервного копирования благодаря высокой надежности хранения информации на CD-R/DVD-R дисках.
Более того, при переносе информации с жестких дисков на однократно записываемые CD-R/DVD-R есть возможность делать дублирующую копию CD-R/DVD-R диска, которая помещается в защищенное место (сейф). Поскольку информация на дисках роботизированной библиотеке не изменяется, то в любой момент лежащий в сейфе диск остается идентичным диску, установленному в роботизированной библиотеке, и в случае потенциального, маловероятного, но возможного, повреждения последнего может быть использован для восстановления информации путем простой физической замены.

Система EURECA TeraSafe обычно состоит из CD-R/DVD-R роботизированной библиотеки, используемой как устройство хранения данных второго уровня и сервера,  управляющего доступом к информации и поддерживающего на своем дисковом массиве хранилище информации первого уровня.

Общесистемное программное обеспечение TeraSafe server состоит из ОС MS Windows 2000 server, MS SQL server 2000, MS IIS 5.0.
Специальное программное обеспечение, разработанное компанией ЭВРИКА, состоит из серверных компонент TeraSafe server, обеспечивающих собственно обслуживание запросов пользователей, сервиса миграции данных, обеспечивающего управляемый правилами перенос информации из первичного хранилища во вторичное хранилище (на роботизированные библиотеки CD-R/DVD-R), утилит конфигурирования и управления и Web-интерфейса, позволяющего пользователям получать доступ к информации, хранящейся в TeraSafe server из любого Web-браузера.
Примененные программные решения позволяют:
•	представить всю информацию на жестких и CD-R/DVD-R дисках как единый ресурс;
•	построить иерархическую систему навигации независимо от физического положения файлов;
•	обеспечить доступ с любой платформы (IBM PC, Mac, UNIX) по протоколам http или ftp;
•	легко интегрировать комплекс в любое прикладное ПО.

Для обеспечения оперативного доступа к информации и оптимального использования пространства дискового массива TeraSafe server был выполнен ряд исследований по оптимизации схемы доступа к информации, хранения информации  и миграции информации между хранилищами первого и второго уровня, в результате которых принята следующая схема:

Поступающие данные записываются в первичное хранилище и, при запросе, извлекаются из первичного хранилища. Сервис миграции данных по заданному алгоритму и критериям переносит данные из первичного хранилища во вторичное хранилище. Поскольку перенос осуществляется на однократно записываемые носители CD-R/DVD-R, перенос данных производится только после достижения заданного процентного заполнения однократно записываемого носителя.
При первом запросе данных из вторичного хранилища робот библиотеки перемещает нужный диск в свободный дисковод библиотеки. Происходит считывание, передача информации пользователю и параллельная запись информации в кэш-область дискового пространства управляющего сервера. После завершения чтения данных (файла) дисковод освобождается и может быть использован для следующего запроса, а вся работа с файлом осуществляется из кэша. Однажды запрошенный файл остается в кэш-области сервера и время доступа к нему определяется долями секунды. При заполнении кэша выше заданного предела начинает работать механизм очистки кэша, выкидывающий из кэша данные, время от последнего обращения к которым максимально.

Для обеспечения доступа к информации, хранимой в TeraSafe server, со стороны пользователей сетей Интернет/Интранет разработан Web-интерфейс TeraSafe server.
Web-интерфейс позволяет осуществлять доступ к данным с любой платформы  (IBM PC, Mac, Sun) через обычный Web-браузер. Используя специальные механизмы поиска, Web-интерфейс позволяет видеть всю хранимую в TeraSafe информацию как базу данных, представляет хранимые файлы в вид иерархической структуры (виртуального каталога) неограниченной вложенности. Кроме того, каждый файл может иметь произвольный набор ключевых параметров, по которым осуществляется поиск и фильтрация.
 
3. Области применения
•	В музеях и библиотеках. 
•	В машиностроении или в других проектных или конструкторских организациях для хранения технической документации. В этом направлении осуществлена интеграция с рядом программных пакетов конструкторского документооборота.
•	В геоинформационных системах.
•	В издательской деятельности.
•	В архивах различного профиля.
•	В любых отраслях или организациях, где необходимо долговременное хранение редко меняющейся, либо вовсе не подлежащей изменению информации.
•	В банках и других учреждениях для хранения образов финансовых документов.
•	В энергетике, химической промышленности и других отраслях для хранения телеметрических параметров.
•	В радиовещании и телевидении. Для этих целей разработана специальная модель гибридного сервера Digicaster , которая может хранить от 1000 до 26000 часов видео MPEG-2 (4-8 Мбит/с) и обслуживать одновременно до 1000 потоков. В этих серверах возможно использование двусторонних DVD дисков, емкость самой младшей модели достигает 10,2 Tb. 

4. Выводы
Созданный уникальный программно-аппаратный комплекс EURECA TeraSafe позволяет надежно, долго и дешево хранить большие объемы данных любого формата, получать оперативный доступ к ним, эффективно вести поиск, создавая произвольные запросы.
При разработке комплекса был проведен ряд исследований, позволивший выбрать оптимальную схему доступа к информации, хранения информации  и миграции информации между хранилищами первого и второго уровня, выбрать схему организации Web-интерфейса.
Программно-аппаратный комплекс EURECA TeraSafe может найти применение в различных областях науки и народного хозяйства.

===============================================================================
Литература:
1. SmartStor Jukeman, Product Specifications. Smart Storage inc. http://www.smartstorage.com/productinfo/Jukeman/jukemanspec.html
2. HP OpenView OmniStorage, Product Information. Hewlett Packard inc. http://managementsoftware.hp.com/products/omnistorage/index.asp