Это перевод статьи “Do you know where your files are?”, опубликованной на сайте https://macvfx.blog/2021/01/25/do-you-know-where-your-files-are/.

Попытаемся решить проблему поиска рабочих файлов на большом количестве систем хранения.

В среде медиапроизводства мы работаем с хранилищами, отличающимися высокой скоростью и высокой производительностью. К ним относятся сетевые NAS, волоконно-оптические SAN или Thunderbolt DAS. Всегда существуют резервные RAID-массивы, оригинальные носители с исходным материалом, файловые серверы и даже сетевые хранилища.

Глоссарий:

SAN (Storage Area Network) – cеть хранения данных (обычно с использованием технологии Fibre Channel, а также Thunderbolt или iSCSI)

NAS (Network Attached Storage) – сервер для хранения данных на файловом уровне (популярные поставщики Synology и QNAP)

DAS (Direct Attached Storage) – система хранения данных с прямым подключением (аппаратный или программный RAID-массив, напрямую подключенный к оборудованию клиента или серверу)

LTO (Linear Tape Open) – стандарт записи на магнитную ленту для хранения резервных копий и архивов. Текущее 8 поколение вмещает 12ТБ на одну кассету.

Cloud – облачные сервера и хранилища других людей. Размещаются в дата-центрах (AWS, GCP, Azure и другие).

Разнообразие типов файлов поразительно: исходные кадры с камеры, проекты Final Cut Pro, приобретенные на стоке фото и видео материалы, дополнительные подсъемки из других проектов, звуковые эффекты, музыка и прочее. Как в этом разобраться и что-то найти? Файлы могут находиться в самых разных местах и быть разбросаны по разного  вида носителям и хранилищам. Вопрос заключается в том, как понять, где же эти файлы? 

В недавнем прошлом…

До начала пандемии 2020 года я слышал лишь одну жалобу на процесс поиска файлов в системе Apple Xsan: «Почему на моем Mac не работает Spotlight?». Поиск данных на томах хранения Xsan функционировал с переменным успехом. Когда Spotlight работал – все происходило быстро и оперативно. А когда не работал – не слишком. Для более удобного поиска мы стали пользоваться утилитой EasyFind от DEVONtechnologies. Она была бесплатной, легкой в использовании, но недостаточно быстрой в случае поиска видеофайлов. В ней также отсутствовала функция поиска по всем используемым хранилищам сразу. С наступлением нового года потребовалось найти новые решения.

Один из серьезных недочетов EasyFind заключался в невозможности простого уточнения содержания поиска для аудио- и видео файлов. Хотя утилита и была по всей видимости ориентирована на разработчиков и позволяла глобально включать или отключать в настройках поиск файлов определенного типа, она также не предоставляла возможности уточнять детали во время запроса. Это затрудняет поиск того, что вам нужно в тот момент, когда оно может вам понадобиться.

Наступил 2021 и за прошедший год кое-что изменилось: у вас, вероятно, появилось намного больше мест для поиска (SAN и NAS) и, что особенно важно, все стали работать удаленно. Стало намного сложнее просматривать свои файлы, не говоря уже о необходимости искать нужные данные сразу во всех имеющихся хранилищах. На помощь пришел FoxTrot Search.

Редакторам и другим творческим людям нужна такая программа, которая позволит производить поиск по всем возможным местам хранения данных и будет оперативно подсказывать им, где находятся определенные файлы. Это может быть съемочный кадр, съемка с дрона, звуковой эффект или старый логотип. Но где же именно хранится этот файл? В каких проектах он использовался? Как он назывался?

Для тех, кто любит распределять свои данные по логически организованным папкам, файловая система – лучший друг. Использование Finder в таком случае выступает в качестве основного способа поиска. Но теперь папок стало значительно больше, а в этих папках появилось множество разных типов файлов. Выбор параметров для индексации в этих папках очень полезен при поиске. Можно исключить конкретные подпапки или ненужные типы файлов в указанном хранилище. Не индексируйте сообщения электронной почты и мессенджеров или даже данные исходного кода, если вы знаете, что искать вам нужно среди видео- и аудио файлов. По возможности сужайте рамки поиска. Находите файлы быстрее.

Вам может показаться, что на этом этапе я предложу использовать корпоративную MAM (Media Asset Management) – систему управления медиа активами. Что ж, в прежние времена я бы так и поступил. Старый Final Cut Server от Apple превосходно взаимодействовал с классической Final Cut Pro (6 и 7 версий), но требовал соблюдения жестких правил от рабочих процессов и инжеста. Та же проблема относится и ко множеству других более дорогих корпоративных систем с индивидуальной настройкой. Они каталогизируют ассеты, но это стоит больших денег. Некоторые клиенты избегают этого решения из-за высокой стоимости, другие из-за ограничений для рабочего процесса. Позже я расскажу о паре более новых решений, но пока становится ясно одно – люди просто хотят находить файлы в собственных структурах папок в своих рабочих хранилищах. Разве они слишком многого просят?

Используя FoxTrot Search Pro человек легко может осуществить поиск сразу по нескольким индексам (каждый из них – уникальное хранилище или отдельная папка), которые уже были созданы и настроены администратором. Не нужно ждать индексации, ищите сразу же, мгновенно получая результат поиска в приложении. Без труда сужайте и уточняйте результаты поиска. Не хотите видеть сообщения электронной почты или изображения, лишь аудио файлы? Легко. Просто задайте только тот тип файлов, который вам нужен. Это работает.

Одна из рекомендаций для моих клиентов с большими хранилищами (SAN и NAS) – иметь наряду с резервными копиями еще инфраструктурное хранилище. Либо RAID-массив Thunderbolt, к примеру, Accusys Gamma Carry, либо настольный QNAP или стоечный Synology NAS. Использование Synology – это отличная идея по многим причинам, к которым, к примеру, относятся удобная веб-авторизация или возможность поиска файлов. Но если быть честным, встроенная система поиска работает через раз. Распространенной проблемой поиска на Synology является повреждение поискового индекса. Кажется, что иногда это происходит в определенных местах хранилища, но так или иначе это все время где-то случается. Восстановление лишь ненадолго устраняет проблему, если вообще помогает. В этом состояла основная причина перехода на FoxTrot Search. Мне нужно решение, которое будет работать каждый раз. На всех системах хранения, будь то SAN или NAS.

По правде говоря, мне приходилось восстанавливать пару индексов и в FoxTrot Search, но это каждый раз срабатывало. Восстановление же поисковых индексов Synology, кажется, никогда не решало проблему. С FoxTrot Search система предупреждала меня, что нужно проиндексировать много (МНОГО!) элементов, и это потребует времени, и именно поэтому я делал это в течение вечера и автоматически восстанавливал индексы в нерабочие часы или на выходных. FoxTrot Search также предупреждала меня о проблемных файлах, индексирование которых займет слишком много времени, что может автоматически поместить их в список исключений.

Когда Spotlight перестает работать, поисковой индекс Synology снова поврежден или вам попросту нужен отличный инструмент поиска внутри активных мест хранения данных – я рекомендую FoxTrot Search. Она выполняет поиск по всем хранилищам и по возможности обеспечивает доступ к файлам. И она работает быстро, действительно быстро. Я уже об этом говорил?

Несколько слов о настройке и различных приложениях FoxTrot Search. Существует персональная версия для осуществления поиска в пределах ваших локальной рабочей станции и хранилища. Основное отличие от профессиональной версии состоит в наличии у последней нескольких индексов. Также существуют версии лицензий на сервер или на отдельное рабочее место. Сначала я тестировал версию Pro с несколькими индексами, а затем настроил сервер таким образом, чтобы поделиться этими сгенерированными индексами с монтажерами. В конечном итоге я получил больше индексов после тестирования. С большим количеством мест хранения я изначально старался сократить количество индексов, но в случае с многими тысячами или порой миллионами файлов лучше было создать индекс для каждого отдельного места хранения (и в некоторых ситуациях для каждой конкретной папки). Это также помогает при сужении поиска, монтажер может легко уточнить определенные местоположения (а также указать конкретный тип файла, язык или расширение).

После того, как мы протестировали FoxTrot в локальной сети, нам необходимо было настроить его работу с VPN. Версия FoxTrot Search для сервера позволяет настроить фиксированный порт, который можно открыть в брандмауэре. В ходе первоначального тестирования я смог подключиться к серверу, но не к каждому индексу в разных местах хранения. Досадно, ведь я был так близок… И здесь я отмечу одно критическое замечание в адрес FoxTrot Search – это касается ее документации, которой на самом деле нет. Существуют пользовательский форум и замечания к версиям программы, но в ходе первоначальной настройки сервера я так до конца и не понял, что именно от меня требовалось. Эта проблема может быть решена добавлением качественной документации. Я разобрался в своих сложностях отправив нескольких электронных писем разработчикам, которые объяснили мне, что каждый индекс требует своего собственного порта, и в связи с этим мне нужно открыть больше портов в брандмауэре. Хорошо, приму это к сведению. Чтобы убедиться, доступны или недоступны были порты в ходе моего тестирования, я использовал ‘nc’ в командной строке для сканирования открытых портов.

Таким образом, FoxTrot Search – это отличное решение для осуществления поиска по всем активным хранилищам, а также очень полезный инструмент для предварительного просмотра видео- и аудио файлов, которые могут быть использованы вами, кроме того, она может помочь в поиске многого другого. Если вы храните рабочие документы, электронные таблицы, PDF- и текстовые файлы, программа выполнит поиск и среди всех этих файлов, так что ваш сохраненный поисковый запрос поможет вам найти то, что вы ищете.

LTO (tape archives)

На схеме с картой мест хранения в самом начале статьи я отметил множество различных мест хранения, включая LTO и облако. Завершенные проекты всегда попадают в архивы LTO (на магнитную ленту). Как в этом случае осуществлять поиск через FoxTrot Search? Я использую Archiware P5 – систему, имеющую веб-сервер, с помощью которого легко осуществлять поиск и восстанавливать любые файлы с помощью веб-авторизации, но, чтобы сделать жизнь немного легче, почему бы не индексировать содержимое архива с помощью FoxTrot Search? Конечно же, это возможно. Существует команда CLI (Command Line Interface – Интерфейс командной строки) в P5, позволяющая экспортировать содержимое каждого заархивированного файла, в разделенный табуляцией текстовый файл в формате TSV для дальнейшего поиска по нему. Я потратил на это много времени, так как работал над отдельным инструментом для анализа этих файлов (иногда с миллионами позиций внутри них), что позволило мне проследить исторические закономерности и предсказать будущие тенденции. Подробнее об этом конкретном инструменте я расскажу позже.

Облако

Для многих облачные хранилища являются чем-то новым. Прокси для редакторов в рекомендуемых мной рабочих процессах хранятся на таком облачном диске как Postlab, FoxTrot Search может осуществлять поиск и здесь. Есть так много мест, где могут храниться оригиналы и резервные копии. FoxTrot Search должен проиндексировать все их для вас.

В одном из будущих постов этого блога я расскажу о новых системах управления медиа активами (MAM) и о том, что изменилось за эти годы, ну а пока, если вам нужен инструмент поиска на всех системах хранения – обратите внимание на FoxTrot Search.