Тема: Максимально возможный размер базы данных

Чем ограничивается максимальный размер базы данных? Ведь данных все прибавляется и прибавляется, есть какие-либо лимиты? И каковы требования к серверу, на котором база данных хранится?

Re: Максимально возможный размер базы данных

Varvara_ пишет:

Чем ограничивается максимальный размер базы данных? Ведь данных все прибавляется и прибавляется, есть какие-либо лимиты?

Требования к объемам оперативной и постоянной памяти у базы данных конечно есть, но как правило им очень далеко до физических пределов современных серверов баз данных. По крайней мере для тех задач, для которых в основном использется TDMS, современных СУБД и железа хватает с запасом.

Varvara_ пишет:

И каковы требования к серверу, на котором база данных хранится?

Учитывая, что это очень популярный вопрос (в последнее время мне его задают по несколько раз в неделю), я напишу небольшую статью, и в качестве ответа выложу сюда ссылку.

Re: Максимально возможный размер базы данных

McZag пишет:

Требования к объемам оперативной и постоянной памяти у базы данных конечно есть, но как правило им очень далеко до физических пределов современных серверов баз данных. По крайней мере для тех задач, для которых в основном использется TDMS, современных СУБД и железа хватает с запасом.


Все равно не ясно: предположим прошло 5 или 10 лет...а база данных растет со скоростью 2 гб в 3 месяца..и продолжает расти...получается что база может разрастить до бесконечных пределов... а объем памяти не резиновый...

Re: Максимально возможный размер базы данных

http://msdn.microsoft.com/ru-ru/library/cc645993.aspx
Для хранения гигантского объема информации можно использовать SQL Server 2008 R2 Enterprise Edition.

  • Максимальный объем используемой оперативной памяти - 2ТБ

  • Максимальный размер базы данных - 524ПТ

  • Отказоустойчивая кластеризация - Максимум узлов, поддерживаемый операционной системой

  • Максимальная вычислительная мощность, используемая одним экземпляром - Максимум процессоров и ядер, поддерживаемый операционной системой

Re: Максимально возможный размер базы данных

Varvara_ пишет:

Все равно не ясно: предположим прошло 5 или 10 лет...а база данных растет со скоростью 2 гб в 3 месяца..и продолжает расти...получается что база может разрастить до бесконечных пределов... а объем памяти не резиновый...

Первое и самое главное. Вы должны различать скорость роста базы данных без файловых данных и скорость роста файловых данных. В разных организациях на одну единицу информации приходится разный объем файловых данных. Например, если вы помещаете в систему в основном небольшие офисные документы: договоры, акты, служебные записки, сметы и т.п., то на один объект системы будет приходиться в среднем <100КБ файловых данных. Если основная масса документов - чертежи, сканированные материалы, данные изысканий и т.п., то средний объем будет существенно выше.

Второе. Если вы правильно строите хранилище данных вашего SQL Server, то файловые данные будут храниться в отдельной файловой группе и на отдельном физическом носителе. Объем хранимых файлов не будет оказывать практически никакого влияния на скорость работы базы данных.

Допустим скорость роста вашей базы данных с файлами, составляет 100ГБ в год (это примерно в 12 раз больше, чем в вашей оценке). Если отношение объемов хранения файлов и данных 50:1 (это типичное соотношение для баз данных на TDMS), то через 10 лет база данных без файлов будет "весить" 20ГБ, а файловые данные около 1ТБ.

Для работы СУБД принципиальными являются эти 20ГБ, а не 1ТБ файлов. Идеально, если 20ГБ помещаются в оперативную память сервера с некоторым запасом. Т.е. при таком росте объемов вам гарантировано хватит 32ГБ на сервере. А для хранения файлов достаточно зеркала 2 х 2 ТБ. Т.е. конфигурация сервера может быть примерно такой:
CPU - 1-2шт. 4-6 ядер частота от 2ГГц и выше
RAM - 32ГБ
Первый массив 2хSSD - 2 х 120ГБ. Здесь хранится система, СУБД, база данных и другой прикладной софт
Второй массив 2хHDD - 2 х 2ТБ. Файловое хранилище

Все это легко размещается в сервер 1U и стоит <100 тыс. рублей

Спасибо сказали: KudrjashovAI1

Re: Максимально возможный размер базы данных

McZag пишет:

Второе. Если вы правильно строите хранилище данных вашего SQL Server, то файловые данные будут храниться в отдельной файловой группе и на отдельном физическом носителе. Объем хранимых файлов не будет оказывать практически никакого влияния на скорость работы базы данных.

Если я правильно поняла: когда в свойствах базы у меня в строке  "Хранение файлов по умолчанию" указано "по умолчанию" - то это значит, что у меня и база данных и файловые данные "лежат" в одном месте? То есть для корректной работы системы с большим объемом файловых данных необходимо в настройках тдмс указывать дополнительные файловые сервера?

Re: Максимально возможный размер базы данных

Varvara_ пишет:

Если я правильно поняла: когда в свойствах базы у меня в строке  "Хранение файлов по умолчанию" указано "по умолчанию" - то это значит, что у меня и база данных и файловые данные "лежат" в одном месте? То есть для корректной работы системы с большим объемом файловых данных необходимо в настройках тдмс указывать дополнительные файловые сервера?

Нет, немного не так  :) По умолчанию файлы действительно хранятся на SQL Server. И хранятся в одной файловой группе с другими данными. Ваша задача, используя, не TDMS, а SQL Server Management Studio
1) Создать еще одну файловую группу
2) Создать файл в этой файловой группе, разместив его на отдельном физическом носителе.
3) Назначить местом хранения таблицы TFileAttr эту файловую группу.

Файловые серверы решают аналогичную задачу, но использование файловых серверов усложняет задачу синхронного резервного копирования и восстановления системы в случае аппаратного сбоя. Файловые серверы лучше всего использовать для:
1) Кэширования файлов
2) Хранения медиа данных большого объема
3) Старых или малоценных файлов, которые тем не менее пока необходимо хранить в системе.

Если не хранить на файловых серверах оперативных файлов, синхронное копирование не обязательно.

Re: Максимально возможный размер базы данных

McZag пишет:

Нет, немного не так  :) По умолчанию файлы действительно хранятся на SQL Server. И хранятся в одной файловой группе с другими данными. Ваша задача, используя, не TDMS, а SQL Server Management Studio
1) Создать еще одну файловую группу
2) Создать файл в этой файловой группе, разместив его на отдельном физическом носителе.
3) Назначить местом хранения таблицы TFileAttr эту файловую группу.

А насколько безболезненно пройдет процедура изменения места хранения файловых данных? Или вышеописанную процедуру необходимо было делать в "самом начале"...до появления в тдмс файлов...?

Re: Максимально возможный размер базы данных

Varvara_ пишет:

А насколько безболезненно пройдет процедура изменения места хранения файловых данных? Или вышеописанную процедуру необходимо было делать в "самом начале"...до появления в тдмс файлов...?

Безболезненно. И если речь о расслоении данных на SQL Server и при миграции данных с файлового сервера TDMS в базу данных и наоборот.

Re: Максимально возможный размер базы данных

Varvara_ пишет:

Чем ограничивается максимальный размер базы данных? Ведь данных все прибавляется и прибавляется, есть какие-либо лимиты? И каковы требования к серверу, на котором база данных хранится?

Статья с требованиями к серверу TDMS назвается Выборы 2012 и размещена по сайте www.tdms.ru

Спасибо сказали: KudrjashovAI1