Вопрос: Файловые системы следующего поколения: журнал использования дискового пространства? [закрыто]


Время от времени я сталкиваюсь с проблемами, когда серверные жесткие диски (Linux) быстро заполняются множеством небольших файлов. Когда это произойдет, я должен попытаться выяснить, сколько места занято и где находятся файлы, которые занимают пространство. Это может быть удивительно неприятной задачей, потому что:

  1. Просто делать простые вещи, такие как запуск ls в каталоге с большим количеством файлов, может занять много времени.
  2. df является быстрым, но неточным и неточным
  3. du является точной и может рассказать вам, где все ваше пространство идет, но требуется навсегда для запуска

Я хочу знать, быстро и точно, где все мое пространство идет на жесткий диск, где терабайты пространства могут занимать миллионы небольших файлов.

Кажется, что это невозможно с обычными файловыми системами (если нет, я бы хотел услышать об этом)

Мой вопрос заключается в том, есть ли какие-либо из новых файловых систем, доступных в Linux (btrfs, zfs, reiserfs и т. Д.), Какие-либо супер-умные функции, которые могут помочь с этой проблемой. Например, я могу представить какой-то журнал, который постоянно обновляется каждый раз, когда есть запись, - которая содержит запись объема пространства, занимаемого в каждой ветви файловой системы. Тогда, задавая мой вопрос, просто нужно было бы прочитать журнал.

Это всего лишь пример вид функции это может помочь, но я прошу каких-либо примеров какой-либо функции, которая могла бы помочь в ответе на вопрос: скажите мне, быстро и точно, где именно пространство на моем жестком диске,

Благодаря, Том


5
2017-09-02 14:55


Источник


reiserfs не нова. - Tom O'Connor


Ответы:


У меня есть опыт работы с ZFS в списке, который вы упомянули. С ZFS вы можете создавать иерархические тома, например, вы можете сделать;

  • бак / категория
  • бак / категория / продукт
  • бак / категория / продукт / а
  • бак / категория / продукт / б

и т.д

С помощью команды «zfs list» вы можете получить использованное, доступное и справочное пространство для каждого тома за считанные секунды. Но это, конечно, работает только тогда, когда вы можете позволить своему приложению разделить его на правильном пути.


2
2017-09-02 15:18



Интересно. Спасибо. Эта бы сделать несколько проще и является частичным решением. Мне все еще интересно, существует ли общее общее решение, а если нет - причины. Это кажется очевидной особенностью, и, если она не существует, я уверен, что должна быть веская причина, по которой это технически невозможно или действительно сложно или подразумевает неприемлемые компромиссы. - Tom Scrace
Я полагаю, что теоретически можно было бы написать приложение таким образом, чтобы всякий раз, когда он создавал новый каталог, он вместо этого создавал новую файловую систему в том же месте в иерархии. Я не знаю, будет ли такой подход практичным или разумным. - Tom Scrace


Я все еще использую ncdu с моими файловыми системами ZFS. Это еще более важно, так как оно известно в редких файлах и помогает понять сжатые файловые системы ZFS.

Видеть: Как я могу определить, что занимает столько места?


2
2017-09-02 16:36