rsync incremental backup

mv backup.3 backup.tmp
mv backup.2 backup.3
mv backup.1 backup.2
mv backup.0 backup.1
mv backup.tmp backup.0
cp -al backup.1/. backup.0   #make hard links
rsync -a --delete source_directory/ backup.0/   #rsync always unlinks before overwriting

rsync tips

-n --stats Ничего не изменяет и выводит статистику
--ignore-existing --ignore-non-existing --delete только удалить файлы на приемнике, которых нет на источнике

Копирование нескольких путей:
rsync -av host:file1 :file2 host:file{3,4} /dest/
старый синтаксис
rsync -av host:'dir1/file1 dir2/file2' /dest

файлы помещаются в /dest без сохранения начальных путей, при использовании -R пути сохраняются

Производительность glusterfs

rsync на gluster разделе работает очень медленно.
Если подмонтировать через NFS работает быстрее. Но вплоть до версии 3.3 есть баг, при монтировании на сервере, процесс glusterfsd через некоторое время зависает.

Надо обеспечить выполнение rsync на сервере, что бы сетевые задержки не тормозили процесс сканирования файлов.

Native gluster client на дефолтных настройках начинает грузить диски.

В данном случае помогают такие настройки:

performance.write-behind-window-size: 65535
performance.read-ahead: off
performance.cache-size: 1073741824

multithreaded parallel rsync

find -type d | xargs -I '{}' -P 10 -n1 rsync -a --no-r remote:path/'{}'/ '{}'/

rsync args:
--no-r No recursive

xargs args:
-P 10 Run up to 10 processes at a time.
-n 1 Use 1 argument per command line.

User tags

rtsp squeeze rkhunter cache sysresccd regex cpanm elliptics xargs equalizer arping java deb lstat wordpress ssh OpenStack taskset mount KVM ulimit arch ipmitool SYN virt-install glxinfo profiling encrypt pacemaker mariadb exim4 cluster fail2ban newgrp raid5 cpu usage LVM kernel tun hdparm radeon RT docker chroot mkfs apt ipmi ansible initrd tzdata bonding conntrack alsa nvidia bridge X forwarding Salt Adaptec ddos scsi bash youtube lenny wget git SuperMicro firefox security erase APU graylog2 perlbrew exim opreport munin asoundrc storage gre HDFS virsh replication debian grub nfs4 glusterfs dhcp source numa bug backup vlan vrrpd iptables parallel limit_conn su fido7 video bacula leap second openvpn sublime usb iostat gdb centos 7 CentOS sysrq tin AMD keyboard gpg swap debootstrap lubuntu language iSCSI nginx dpkg flash SpamAssassin proxy search Swift MODx OpenSSL SSD chromium ha CPAN cfq mdadm oprofile cgroups opcontrol virtualbox raid cpu zRam htop backtrace Areca ip noop in-addr.arpa puppet NFS quagga tool pvmove ubuntu core dump tftp qcow2 idmapd DRBD boot rsync rpm .htaccess find shorewall corosync top php qemu vrrp pam ps jackd sysctl.conf route fio tiger slab 3Ware bscan StorMan build routing dhclient xhost ardour lxc apache drupal arp tar iowait bind alien docker-compose LSI perl lts freedos groups sysctl xfs MegaRAID etch vtysh sftp dovecot PTR xen performance dstat dns netfilter vim sysfs rtl8723be HTTPS sg iops soa shellshock hotplug mysql /etc/network/interfaces PXE gtk pulseaudio