Backup zfs
J’ai mis en place un système de backup de mon serveur FreeBSD (dédié) vers un autre serveur FreeBSD (@home). Les deux machines sont en zfs
, c’était pour moi l’occasion de tester zfs (send|recv)
over ssh
. L’idée c’est qu’on envoie les donnés de manière incrémentale entre un snapshot du jour et un snapshot de la veille. Ce que l’on gagne par rapport à des solutions comme rsync
c’est de la rapidité et moins d’accès disques (zfs
sait exactement ce qui a bougé entre deux snapshot), l’autre avantage c’est sur la machine de backup on a un snapshot par jour, on peut donc facilement retrouver des fichiers supprimés.
#!/bin/sh
set -e
# Used in ssh command, example user@host -p 2222
REMOTE_HOST="diophante"
# Source zfs pool
POOL_SRC="tank"
# zfs sets to backup (relative to POOL_SRC)
SETS="usr/local/vmail usr/local/data usr/local/pgsql/backups usr/home usr/local/git var/backups"
# Destination pool
POOL_DST="tank/backup/${REMOTE_HOST}"
# We use ssh connection sharing
SSH_ARGS="-o ControlPath=~/.ssh/%r@%h:%p"
# zfs snapshot prefix => tank/foo@bck-2011-05-25
PREFIX="bck-"
# Remote zfs command
REMOTE_ZFS="ssh ${SSH_ARGS} ${REMOTE_HOST} sudo zfs"
# Local zfs command
LOCAL_ZFS="sudo zfs"
# Launch master ssh for sharing connections
ssh -MNn ${SSH_ARGS} ${REMOTE_HOST} &
ssh_master_pid=$!
for zfs_set in ${SETS}
do
# Test if destination exist
${LOCAL_ZFS} list -H ${POOL_DST}/${zfs_set} >/dev/null
date_suffix="${PREFIX}`date +%F`"
snap="${POOL_SRC}/${zfs_set}@${date_suffix}"
old_snap=`${REMOTE_ZFS} list -Ht snapshot 2>/dev/null | grep "^${POOL_SRC}/${zfs_set}@${PREFIX}" 2>/dev/null| awk -F' ' '{ print $1 }' 2>/dev/null`
if [ "${old_snap}" ]
then
if [ "${old_snap}" != "`echo ${old_snap} | head -n 1`" ]
then
echo "[!] Multiple zfs snapshot found: ${old_snap}"
echo "[!] Consider changing PREFIX or fix the issue yourself"
continue
fi
if [ "${old_snap}" = "${snap}" ]
then
echo "[!] ${snap} exists"
continue
fi
fi
echo ${REMOTE_ZFS} snapshot "${snap}"
${REMOTE_ZFS} snapshot "${snap}"
if [ "${old_snap}" ]
then
extra_args="-i ${old_snap}"
else
extra_args=""
fi
echo ${REMOTE_ZFS} send $extra_args "${snap}" '|' ${LOCAL_ZFS} recv -F "${POOL_DST}/${zfs_set}"
${REMOTE_ZFS} send $extra_args "${snap}" | ${LOCAL_ZFS} recv -F "${POOL_DST}/${zfs_set}"
if [ "${old_snap}" ]
then
echo ${REMOTE_ZFS} destroy "${old_snap}"
${REMOTE_ZFS} destroy "${old_snap}"
fi
done
kill $ssh_master_pid
Le script est aussi disponible sous forme de gist github.
Sur mes deux machines j’ai un user backup
qui peut exécuter zfs
avec sudo
, l’user backup
sur la machine de backup peut accéder en ssh
à l’user backup
(vous suivez ?) sur la machine à sauvegarder au moyen d’une clé ssh dédiée sans mot de passe.
Le script se lance donc sur la machine de backup (en ayant pris soin de créer tous les sets zfs qu’on va sauvegarder). La première fois il va transférer le set en entier, et les jours suivants il va envoyer de l’incrémental, il faut au minimum un jour entre chaque backup mais rien ne vous empêche de mettre l’heure dans le nom du snapshot.
Commentaires, patchs bienvenus.
PS: Ça fait 6 mois que j’ai pas posté sur ce blog, c’est parce que je travaille et même si je trouve encore un peu de temps pour faire mon propre code c’est moins le cas quand il faut le décrire ici. Par contre je maintient une liste de posts à faire sur ce blog, je rattraperais mon retard bientôt.