Большое кол-во файлов в папке

Здесь обсуждаются любые продукты компании СофтЛаб-НСК для телевизионного вещания (Форвард Т, Форвард ТС, Форвард Голкипер, Форвард Рефери, Форвард Офис, Форвард Инжест)

Модераторы: ElenVR, Людмила, PR

Ответить
fromtat
Сообщения: 45
Зарегистрирован: 05 фев 2014 19:27

Большое кол-во файлов в папке

Сообщение fromtat »

Добрый День!

Есть небольшая проблемка с папкой в On Aire, которая содержит ~4-5 тысяч файлов. При переключении на неё, периодически возможно подвисание самого On Aira и остановка воспроизведения файлов в эфире. Сервер слабенький Intel Core 2 Duo 3GHz, с 2 ГБ ОЗУ.
Плата FD 300>
Проблема возникает, когда начинается переподготовка, если один раз файлы просчитались (подготовились), то всё работает нормально.
Может есть какие нибудь рекомендации по похожим проблемам)?
vd
Сообщения: 2311
Зарегистрирован: 05 мар 2003 19:21

Сообщение vd »

Файлы разложить по разным папкам принципиально не хотите? А то ведь можно и 20 тысяч файлов в одну папку положить, и 50 - и любой компьютер это не потянет.
Сервер слабенький Intel Core 2 Duo 3GHz, с 2 ГБ ОЗУ.
Здесь важна скорость жесткого диска, а не процессора. Радикально поможет объединение нескольких дисков в массив Raid0 (Stripe) или использование SSD - но последнее для видеофайлов выйдет очень дорого, т.к. объемы огромные.
fromtat
Сообщения: 45
Зарегистрирован: 05 фев 2014 19:27

Сообщение fromtat »

Не принципиально, просто так построена система вещания определенного контента. Диски уже в RAIDе. SSD да не реально дорого для такого объема. Файлы находятся в сети, странно просто если дело в жестких дисках, то почему с другой машины доступ к файлам гораздо быстрее (без подвисаний). А когда заходишь в папку именно с машины на которой установлен On Air, происходит подвисание сек на 5-10. А если через саму On Air то возможно и минут на 5-10...иногда вообще не отвисает.
vd
Сообщения: 2311
Зарегистрирован: 05 мар 2003 19:21

Сообщение vd »

Диски уже в RAIDе.
Смотря сколько дисков. Можно всего 2 диска в Raid0 объединить, а можно 4 и больше. Чем больше, тем быстрее.
Файлы находятся в сети
У сети тоже скорость доступа не безгранична. Можно поставить какие угодно быстрые жесткие диски, но медленная сеть не даст выжать из них полную скорость.
почему с другой машины доступ к файлам гораздо быстрее
Доступ с другой машины тоже из OnAir? Или просто из Проводника?

Вообще, я до сих пор не понял схему взаимодействия компьютеров. Файлы выдаются в эфир с сетевого диска? При этом тормозит какой из компьютеров - на котором лежат файлы? Или на котором находится OnAir? При этом что за компьютер, который не тормозит - какой-то третий?

OnAir не просто перечисляет файлы в папке, а считывает формат каждого из них, получает свойства (длительность, размер кадра, формат видео и звука и т.д.), что, в зависимости от формата, может потребовать гораздо больше позиционирований по диску с перемещением его головки, чем если папка просто открывается Проводником. И одно дело, если файлы в формате AVI, а другое - если MPEG, Windows Media, QuickTime и т.д. - в таком случае еще и гораздо больше модулей декодеров открывается, что повышает нагрузку еще и на системный диск, и на процессор.

Можете попробовать в моменты подвисания посмотреть в Диспетчере задач или программе TaskInfo (www.iarsn.com), что именно загружено - процессор, диск или, возможно, потребление памяти растет (а то и всё сразу вместе). Возможно, это поможет понять, кто "виноват".
А когда заходишь в папку именно с машины на которой установлен On Air, происходит подвисание сек на 5-10.
Возможо, это у вас с настройками сети какие-то проблемы, и OnAir может быть вовсе ни при чем. С этим должен ваш системный администратор разбираться.

Еще имеет смысл диски дефрагментировать, если это не делалось, или делалось давно. Также для ускорения работы с диском настоятельно рекомендуется отключить индексирование данных на всех логических дисках - имейте ввиду, что по умолчанию сразу после форматирования диска индексирование включено.

Могут быть и другие причины затормаживания машины, но это, повторюсь, предмет отдельного разбирательства, которое с OnAir может быть не связано вообще.
Ответить