Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
Backup per RSync und Hardlink auf externe Festplatte sichern
View unanswered posts
View posts from last 24 hours
View posts from last 7 days

 
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German)
View previous topic :: View next topic  
Author Message
Finswimmer
Moderator
Moderator


Joined: 02 Sep 2004
Posts: 5467
Location: Langen (Hessen), Germany

PostPosted: Sat Jul 23, 2011 11:54 am    Post subject: Backup per RSync und Hardlink auf externe Festplatte sichern Reply with quote

Hi,

ich habe mir von hier die Skripte heruntergeladen und angepasst.
Somit wird auf meinem Server für meine beiden anderen Rechner jeweils 10 Snapshots angelegt.
Die sind per Hardlink und verbrauchen so nur sehr wenig Speicherplatz.
Die Daten liegen auf meinem Server in einem Raid-1. Da ich paranoid bin, habe ich eine externe Festplatte.
Will ich nun die Daten per rsync daraufkopieren, so werden die Hardlinks aufgelöst und der Nutzen der Hardlinks ist weg.

Jetzt stellt sich die Frage, was ich machen kann.
Ich will weiterhin auf dem Server von jedem Rechner die 10 Snapshots haben, aber gleichzeitig mein Raid 1x pro Woche auf die externe Festplatte "spiegeln", damit ich gegen willkürliches Löschen gesichert bin.

Der Transfer Raid-1 --> USB-HDD sollte natürlich auch schnell gehen. Bei einer Datenmenge von 900Gb bietet es sich nicht an, das Ganze per dd zu machen.

Vielen Dank
Tobi
_________________
Bitte auf Rechtschreibung, korrekte Formatierung und Höflichkeit achten!
Danke
Back to top
View user's profile Send private message
Robmaster
Tux's lil' helper
Tux's lil' helper


Joined: 09 Dec 2005
Posts: 110
Location: Berlin

PostPosted: Sat Jul 23, 2011 2:10 pm    Post subject: Reply with quote

Hi

Für rsync gibt es den Schalter

-H, --hard-links preserve hard links

Zur not könntest du es auch mit dem (--exclude=) Parameter arbeiten.
Ich hoffe ich konnte helfen.

Gruß
Back to top
View user's profile Send private message
Hollowman
Guru
Guru


Joined: 19 Apr 2007
Posts: 584

PostPosted: Sat Jul 23, 2011 2:26 pm    Post subject: Reply with quote

Hi

Guck dir mal BackupPC an. Das ist genau das was du jetzt auch machst mit pooling der Files. Ich setzt das mit 8 Servern ein (Backup Server hat 500GB RAID1). Sicherung des BackupPC Datenbestandes auf eine externe Platte ist kein Problem, da die Hardlinks da erhalten bleiben. Außerdem gibt es auch die Möglichkeit den kompletten Pool noch zu komprimieren. Das spart richtig Platz

Ein Prima funktionierendes Ebuild bekommst du hier: http://jdoe.asidev.com/2009/10/18/gentoo-backuppc-plus-some-other-goodies-ebuild-repository/

Ich kanns nur empfehlen.

Sebastian
Back to top
View user's profile Send private message
Finswimmer
Moderator
Moderator


Joined: 02 Sep 2004
Posts: 5467
Location: Langen (Hessen), Germany

PostPosted: Sun Jul 24, 2011 12:36 pm    Post subject: Reply with quote

Hi,

-H funktioniert super.
BackupPC hatte ich mir mal angeschaut, ich fand es für meine Zwecke nicht geeignet, da wohl davon ausgegangen wird, dass die Rechner immer an sind...

Viele Grüße
Tobi
_________________
Bitte auf Rechtschreibung, korrekte Formatierung und Höflichkeit achten!
Danke
Back to top
View user's profile Send private message
Hollowman
Guru
Guru


Joined: 19 Apr 2007
Posts: 584

PostPosted: Mon Jul 25, 2011 8:35 am    Post subject: Reply with quote

Hi

Du kannst damit auch locker manuelle Backups machen. Di müssen dazu nicht dauernd an sein.

Wenn du ein Backup machen willst, einfach den Rechner an machen, das Webinterface aufrufen und auf "Jetzt Backupen" klicken und schon gehts los.

Ich mach das mit Servern die immer laufen und Workstations die manuell abgezogen werden.

Sebastian
Back to top
View user's profile Send private message
Finswimmer
Moderator
Moderator


Joined: 02 Sep 2004
Posts: 5467
Location: Langen (Hessen), Germany

PostPosted: Wed Aug 17, 2011 2:16 pm    Post subject: Reply with quote

Hi,

es läuft alles gut:
4 Rechner werden auf das interne Raid gesichert:
pc1
-weekly.0
-weekly.1
...
-weekly9
pc2
-weekly.0
-weekly.1
...
-weekly9

Auf der externen Backup ist logischerweise die gleiche Struktur.

Bei dem Rotieren des RAID-System geht es sehr schnell, klar, es wird nur verschoben.
Die externe Platte wird aber über rsync synchronisiert.
Das bedeutet, dass jeder Link neu geschrieben wird, das dauert ewig.
Ich könnte das Backup nochmal komplett auf die externe Platte machen, aber das will ich auch nicht, da die meisten Rechner über WLAN angesteuert werden und das dauert auch seine Zeit.

Macht es Sinn, dass ich das Rotieren per Hand/Skript auf der externen Platte mache? Oder gibt das Probleme mit den Zeitstempeln für rsync?

Im Moment dauert das Backup knappe 2 Stunden, das Rotieren 30-40min, das anschließende Rsync auf die externe Platte dann ungefähr 6 Stunden...

Vielen Dank
Tobi
_________________
Bitte auf Rechtschreibung, korrekte Formatierung und Höflichkeit achten!
Danke
Back to top
View user's profile Send private message
Finswimmer
Moderator
Moderator


Joined: 02 Sep 2004
Posts: 5467
Location: Langen (Hessen), Germany

PostPosted: Tue Nov 15, 2011 8:03 am    Post subject: Reply with quote

Finswimmer wrote:
Hi,

es läuft alles gut:
4 Rechner werden auf das interne Raid gesichert:
pc1
-weekly.0
-weekly.1
...
-weekly9
pc2
-weekly.0
-weekly.1
...
-weekly9

Auf der externen Backup ist logischerweise die gleiche Struktur.

Bei dem Rotieren des RAID-System geht es sehr schnell, klar, es wird nur verschoben.
Die externe Platte wird aber über rsync synchronisiert.
Das bedeutet, dass jeder Link neu geschrieben wird, das dauert ewig.
Ich könnte das Backup nochmal komplett auf die externe Platte machen, aber das will ich auch nicht, da die meisten Rechner über WLAN angesteuert werden und das dauert auch seine Zeit.

Macht es Sinn, dass ich das Rotieren per Hand/Skript auf der externen Platte mache? Oder gibt das Probleme mit den Zeitstempeln für rsync?

Im Moment dauert das Backup knappe 2 Stunden, das Rotieren 30-40min, das anschließende Rsync auf die externe Platte dann ungefähr 6 Stunden...

Vielen Dank
Tobi


Ich habe das Synchronisieren (RAID-1 --> ext. Platte) und Rotieren auf der externen Platte nun in das Skript aufgenommen.
Leider habe ich aber irgendwas übersehen und somit eine Differenz von 10Gb.

Ein komplettes Rsync dauert Ewigkeiten und frisst fast den kompletten Ram.

Gibt es da was Besseres?
Ansonsten überlege ich mir, dass ich nur 2 Snapshots pro System auf der externen Festplatte sichere...damit es schneller geht.

Danke
Tobi
_________________
Bitte auf Rechtschreibung, korrekte Formatierung und Höflichkeit achten!
Danke
Back to top
View user's profile Send private message
ixo
Guru
Guru


Joined: 09 Jul 2005
Posts: 375

PostPosted: Sat Nov 19, 2011 10:52 pm    Post subject: Reply with quote

Hi,

ich habe zu später Stunde zwar nicht 100% verstanden, was Du machst, aber schau Dir mal storebackup an. Da gibt es u.a. eine Option lateLinks, die vielleicht nützlich sein könnte.

http://storebackup.org/

Grüße, ixo

Fragen gern an mich.
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Deutsches Forum (German) All times are GMT
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum