Xpoint
   [напомнить пароль]

Перенести файлы с сервера на сервер

Метки: [без меток]
[удл]
2007-05-22 14:02:33 [обр] dAb[досье]

Перенести файлы с сервера на сервер.
К обоим серверам есть доступ только SSH, ftp и http

На сервере 1, в папке /home/images лежит 50000 картинок общим размером 3 гигабайта
нужно перенести их на сервер 2 в папку /home/images, где тоже лежит примерно 30000 файлов, причем эти 30000 есть на сервере 1.
то есть в принципе нужно скачать всего 20000 файлов.

Просто тупо скопировать соединившись через ftp - не получается ни с той ни с другой стороны - фтп соединение зависает при чтении каталога.
запаковать в архмв тоже не получится - на сервере осталось свободно порядка 500мб. и архив не создается, так как он больше чем этот размер
Скопировать прийдя со своим носителем не получится - нет физического доступа к серверу 1.

спустя 19 минут [обр] Алексей Севрюков(3/1292)[досье]

dAb[досье]

фтп соединение зависает при чтении каталога

Зависает или получает данные по такому огромному количеству файлов? Как определили что соеденение именно повисло?

спустя 25 минут [обр] dAb[досье]
так что на протяжении 5-6и часов ничего не происходит :( и потом SSh соединение рвется просто
спустя 45 минут [обр] Сергей Пантелеев(0/15)[досье]
Очень плохая идея держать в папке столько файлов. Тормозить будут любые операции с ними. Эт я на собственном опыте говорю, я так один раз из-за ошибки в коде сервер положил :)
Вам нужна информация о файлах, которые нужно скопировать, те самые 20к. Если списка файлов нет, нужно его получить (два результата команды ls и несложный скрипт). А потом - по частям в tar и копировать на другой сервер. По-моему так.
спустя 20 минут [обр] Rumata(0/3)[досье]
http://happygiraffe.net/copy-net
по моему мнению этот ресурс содержит достаточную информацию по синхронизации и переносу данных между серверами
спустя 2 часа 12 минут [обр] Dennis F. Latypoff aka funky_dennis(4/84)[досье]
для tar'а места нету...
спустя 2 часа 9 минут [обр] dAb[досье]
Сергей Пантелеев[досье]
А как из списка файлов сделать тар?
спустя 12 часов [обр] Дмитрий Кучкин(43/236)[досье]

list.txt — список файлов
создать tar -cf arch.tar -T list.txt
развернуть tar -xf arch.tar

или на лету сжимать gzip'ом
создать tar -czf arch.tgz -T list.txt
развернуть tar -xzf arch.tgz

если добавить опцию -v (-cvf, -xvf, -cvzf, -xvzf), то имена обрабатываемых файлов будут выводиться на экран.

man tar

спустя 40 минут [обр] Сергей Пантелеев(0/15)[досье]

Что-то сразу не вспомнилось... В принципе можно попробовать еще rsync, он через ssh работать умеет. Но, честно говоря, не знаю, как эта штука будет работать с такой директорией.

Dennis F. Latypoff aka funky_dennis[досье]Для tar места нету, если туда совать все. А если список разбить на части - хватит.

спустя 48 минут [обр] Rumata(0/3)[досье]

Dennis F. Latypoff aka funky_dennis[досье]
что вам мешает сделать tar на лету?

я переношу большое количество мелких файлов такой конструкцией (размер архива примерно около 1Гб)

tar -cf - path_to_archive | gzip - | ssh login@domain "cat - > archive.tar.gz"

аналогично можно сделать и со списком

спустя 3 часа 14 минут [обр] Dennis F. Latypoff aka funky_dennis(4/84)[досье]
Rumata[досье]Сергей Пантелеев[досье] - да, согласен
спустя 49 минут [обр] Сергей Пантелеев(0/15)[досье]
Красиво, спасибо.
спустя 5 дней [обр] dAb[досье]
здорово
Powered by POEM™ Engine Copyright © 2002-2005