rsync incremental backup

mv backup.3 backup.tmp
mv backup.2 backup.3
mv backup.1 backup.2
mv backup.0 backup.1
mv backup.tmp backup.0
cp -al backup.1/. backup.0   #make hard links
rsync -a --delete source_directory/ backup.0/   #rsync always unlinks before overwriting

rsync tips

-n --stats Ничего не изменяет и выводит статистику
--ignore-existing --ignore-non-existing --delete только удалить файлы на приемнике, которых нет на источнике

Копирование нескольких путей:
rsync -av host:file1 :file2 host:file{3,4} /dest/
старый синтаксис
rsync -av host:'dir1/file1 dir2/file2' /dest

файлы помещаются в /dest без сохранения начальных путей, при использовании -R пути сохраняются

Производительность glusterfs

rsync на gluster разделе работает очень медленно.
Если подмонтировать через NFS работает быстрее. Но вплоть до версии 3.3 есть баг, при монтировании на сервере, процесс glusterfsd через некоторое время зависает.

Надо обеспечить выполнение rsync на сервере, что бы сетевые задержки не тормозили процесс сканирования файлов.

Native gluster client на дефолтных настройках начинает грузить диски.

В данном случае помогают такие настройки:

performance.write-behind-window-size: 65535
performance.read-ahead: off
performance.cache-size: 1073741824

multithreaded parallel rsync

find -type d | xargs -I '{}' -P 10 -n1 rsync -a --no-r remote:path/'{}'/ '{}'/

rsync args:
--no-r No recursive

xargs args:
-P 10 Run up to 10 processes at a time.
-n 1 Use 1 argument per command line.

User tags

LVM APU docker-compose git tun freedos ps arch sg initrd language lstat chromium ddos drupal usb dns ardour docker netfilter asoundrc conntrack find proxy sysfs opreport puppet iowait chroot mount shorewall scsi gdb mdadm dhcp dpkg noop boot arping storage CentOS dhclient Swift java rpm route lxc OpenStack MegaRAID newgrp MODx iptables PXE search AMD ipmi mkfs lts bug glxinfo sysresccd qcow2 gre raid radeon RT squeeze wordpress lenny oprofile source sftp limit_conn equalizer routing tar NFS youtube tzdata profiling tftp gpg rtsp flash cache alsa tin in-addr.arpa Areca tool shellshock CPAN cfq Adaptec gtk rkhunter Salt lubuntu perl jackd SuperMicro dovecot xen mariadb video ubuntu idmapd SpamAssassin xfs 3Ware graylog2 tiger mysql .htaccess etch vim virt-install ipmitool raid5 HDFS PTR vrrpd wget grub cpu soa sysctl iops taskset su fido7 vlan OpenSSL deb LSI parallel bash perlbrew nvidia exim4 glusterfs iSCSI nfs4 xhost fio rtl8723be htop alien sysrq exim corosync cluster ansible pvmove dstat security erase rsync xargs pacemaker ha iostat DRBD debian /etc/network/interfaces backup sysctl.conf pulseaudio X forwarding ip virsh bscan swap firefox SSD slab qemu encrypt centos 7 regex sublime keyboard kernel bonding leap second debootstrap opcontrol apt hdparm munin zRam vrrp elliptics ulimit apache HTTPS replication KVM performance cpanm vtysh bacula core dump pam numa top cgroups hotplug fail2ban openvpn quagga build SYN cpu usage virtualbox bind StorMan backtrace arp php bridge ssh groups nginx