Dirvish

Vossi
Posts: 235
Joined: December 26th, 2008, 8:25 pm

Re: Dirvish

Post by Vossi » April 25th, 2009, 6:57 pm

Hi Nanome!

In deiner Master.conf ist hier ein Slash zu viel, nämlich der letzte:

Bank: /var/log/share/

Siehe die Meldung beim manuellen Ausführen (Doppelslash):

[root@onlyone ~]#  rsync -vrltH --delete -pgo --stats -D -c --numeric-ids -x --exclude-from=/var/log/share//vault5/2009   

Dann sollte es eigentlich gehen. Dirvish muss eigentlich immer, bei jedem Lauf, ein neues Verzeichnis mit dem Backup anlegen. Auch wenn keine Dateien geändert wurden!! Also kann man das ganz gut ausprobieren, indem man manuell mit dirvish-runall das Backup startet.  Wenn das dann geht und nur das automatische Backup mittels fcron nicht klappt, dann liegt der Fehler im cronjob. Geh mal in der Reihenfolge vor, poste das Ergebnis und dann dann sehen wir weiter...


Vossi
Image

nanome
Posts: 74
Joined: January 1st, 2006, 12:20 pm

Re: Dirvish

Post by nanome » April 26th, 2009, 7:22 am

Hallo Vossi,
danke das du dir zeit genommen hast. Also /dirvish-runall fördert das zu tage:

Code: Select all

[root@onlyone ~]# /var/ipfire/dirvish/bin/dirvish-runall
09:07:25 dirvish --vault vault1
09:07:25 dirvish --vault vault2
09:07:25 dirvish --vault vault3
09:07:25 done
[root@onlyone ~]#

Aber neue Backups werden halt nicht anlegt. Wenn ich manuell jede Vault mit

Code: Select all

/dirvish --vault vault1

"anspeche" dann Funktioniert es.
grüße nanome

Vossi
Posts: 235
Joined: December 26th, 2008, 8:25 pm

Re: Dirvish

Post by Vossi » April 26th, 2009, 12:30 pm

Sieht eigentlich alles so aus, als funzt es. Schau noch mal in die master.conf, da steht in deinem Post drinne:

image-default: %Y%m%d

das solltest du zunächst in

image-default: %Y%m%d_%H:%M

ändern. Damit wird ein neues Verzeichnis angelegt, welches nicht nur das Datum, sondern auch den Zeitpunkt im Namen hat. Ich denke mal, dass dirvish bei dir kein neues Verzeichnis anlegt, weil das Verzeichnis schon vorhanden ist.

Viel Glück!

Vossi
Image

nanome
Posts: 74
Joined: January 1st, 2006, 12:20 pm

Re: Dirvish

Post by nanome » April 26th, 2009, 3:31 pm

ja neee, das ist es nicht, das habe ich schon geändert. Aus dem von dir beschriebenen Grund.
Meine aktuellen conf´s:
master.conf:

Code: Select all

### /var/ipfire/dirvish/etc/dirvish/master.conf
#zunächst wird das Backup-Medium konfiguriert
bank:
        /mnt/harddisk3
# xdev: 1/0 - folgt/folgt nicht symbolischen links
xdev:   true
index:  gzip
image-default:  %Y%m%d-%H:%M
exclude:
        lost+found/
        core
        .nfs*
        *.tmp
        *.TMP
        .recycle/
# Definition der zu sichernden Vaults (Tresore), die Namen muessen nicht
# identisch sein mit den tatsaechlischen Namen der Verzeichnisse!
#
Runall:
        vault1
        vault2
   vault3

#               
# nicht vergessen:
# einen neuer tresor (vault) mit dem Befehl 'dirvish --vault Tresorname --init' initialisieren!!!
# wie lange werden standardmaessig alle backups aufgehoben?
expire-default: +3 days
# vom Standard (siehe oben) abweichend...
expire-rule:
# Minute
#       Stunde
#               Day of month
#                       Month
#                               Day of week (Sonntag ist Nr. 1!)
#                                       Zeit bevor Loeschung
# Min   Hr      Dom     Mon     Dow     STRFTime_FMT
  *      *       1       *       *       +1 months

default.conf

Code: Select all

## /mnt/harddisk4/vault3/dirvish/default.conf
# die Conf-Datei für Dirvish für den Tresor (vault) vault1
client:        onlyone
tree:           /mnt/harddisk4
exclude:       
      *.bak
                *~
                .*
                *.tmp
                lost+found/
      *.dwl
      *.dwl2
#       hier können noch weitere Haltbarkeiten, abweichend
#       von der /var/ipfire/dirvish/etc/dirvish/master.conf, für dieses vault definiert werden
#
# expire-default:       +2 days
# expire-rule:
# Min   Hr      Dom     Mon     Dow     STRFTIME_FM

Grüße nanome

Vossi
Posts: 235
Joined: December 26th, 2008, 8:25 pm

Re: Dirvish

Post by Vossi » April 26th, 2009, 6:28 pm

Also ich fasse noch mal zusammen:

wenn du mit

./dirvish --vault vault1

das Backup startest, dann wird ein neues Verzeichnis unter /mnt/harddisk3/vault1/200904... angelegt, welches das Backup von /mnt/harddisk4 enthällt und wenn du stattdessen das script ./divish-runall startest, dann nicht.

Was steht denn in dirvish-runall ganz oben unter $CONFDIR = ? Es sollte dort

$CONFDIR = "/var/ipfire/dirvish/etc";

stehen, damit auch die master.conf in diesem Verzeichnis gelesen wird.

Ansonsten noch die übliche Frage nach den log-Dateien. Dirvish loggt im neu angelegten Verzeichnis, also heute /mnt/harddisk3/vault1/20090426..., einiges in den Dateien log und summary. Aber wenn er gar kein Verzeichnis neu anlegt.... schau doch mal in das letzte Backup, ob sich da was ändert...

Wenn das Verzeichnis, welches erstellt werden soll, schon existiert, dann gibt dirvish sowohl bei dem ersten als auch bei dem zweiten oben genannten Befehl in der Konsole die Meldung aus

ERROR: image 20090426... already exist in /mnt/....

Noch ne Idee:

Wenn der Kommentar stimmt, dann liegt deine default.conf unter /mnt/harddisk4/vault.../dirvish/... In der master.conf hast du aber /mnt/harddisk3 als bank angegeben! Das funktioniert nicht! Dirvish sucht unter der bank nach den Dateien default.conf. Also dann in der Master.conf den Eintrag in

bank: /mnt/harddisk4

ändern.

Vossi
Image

nanome
Posts: 74
Joined: January 1st, 2006, 12:20 pm

Re: Dirvish

Post by nanome » April 27th, 2009, 8:17 am

Hallo Vossi,
Ja genau so ist es:

Code: Select all

wenn du mit

./dirvish --vault vault1

das Backup startest, dann wird ein neues Verzeichnis unter /mnt/harddisk3/vault1/200904... angelegt, welches das Backup von /mnt/harddisk4 enthält und wenn du stattdessen das script ./divish-runall startest, dann nicht.


Ja das stimmt auch:

Code: Select all

$CONFDIR = "/var/ipfire/dirvish/etc";


Diese Meldung erscheint nicht :

Code: Select all

ERROR: image 20090426... already exist in /mnt/....


und hier zu:

Code: Select all

Wenn der Kommentar stimmt, dann liegt deine default.conf unter /mnt/harddisk4/vault.../dirvish/... In der master.conf hast du aber /mnt/harddisk3 als bank angegeben! Das funktioniert nicht! Dirvish sucht unter der bank nach den Dateien default.conf. Also dann in der Master.conf den Eintrag in


Meinst du in der default.conf das hier

Code: Select all

## /mnt/harddisk4/vault3/dirvish/default.conf
? Nein das stimmt nicht, die default.conf´s liegen alle auf /mnt/harddisk3/ in der entsprechenden Vault in einem unter Order Dirvish.


Grüße nanome

Vossi
Posts: 235
Joined: December 26th, 2008, 8:25 pm

Re: Dirvish

Post by Vossi » April 27th, 2009, 8:27 am

hm, dann weiss ich leider auch nicht weiter  >:(

Als Bastellösung fällt mir da nur noch ein, durch fcron nicht den Befehl dirvish-runall sondern

dirvish --vault vault1 vault2 ...

gefolgt von allen anderen vaults aufzurufen.

Und noch mal die Frage nach den log-files... irgend was auffälliges?

Vossi
Image

nanome
Posts: 74
Joined: January 1st, 2006, 12:20 pm

Re: Dirvish

Post by nanome » April 27th, 2009, 9:29 am

Also in der Datei Log steht:

Code: Select all

ACTION: rsync -vrltH --delete -pgo --stats -D --numeric-ids -x --exclude-from=/mnt/harddisk3/vault1/20090426-03:05/exclude /mnt/harddisk4/ /mnt/harddisk3/vault1/20090426-03:05/tree

sending incremental file list
...............................
...............................
hier stehe halt die Pfade der dateien
...............................
...............................

Number of files: 43374
Number of files transferred: 40997
Total file size: 59689757363 bytes
Total transferred file size: 59689757363 bytes
Literal data: 59689757363 bytes
Matched data: 0 bytes
File list size: 1312765
File list generation time: 0.030 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 59700076179
Total bytes received: 788462

sent 59700076179 bytes  received 788462 bytes  5368058.68 bytes/sec
total size is 59689757363  speedup is 1.00


In der Summary:

Code: Select all

client: onlyone
tree: /mnt/harddisk4
rsh: ssh
Server: onlyone
Bank: /mnt/harddisk3
vault: vault1
branch: default
Image: 20090426-03:05
Reference: default
Image-now: 2009-04-26 03:05:15
Expire: +30 days == 2009-05-26 03:05:15
exclude:
   lost+found/
   core
   .nfs*
   *.tmp
   *.TMP
   .recycle/
   *.bak
   *~
   .*
   *.tmp
   lost+found/
   *.dwl
   *.dwl2
SET permissions devices init numeric-ids stats xdev
UNSET checksum sparse whole-file zxfer


ACTION: rsync -vrltH --delete -pgo --stats -D --numeric-ids -x --exclude-from=/mnt/harddisk3/vault1/20090426-03:05/exclude /mnt/harddisk4/ /mnt/harddisk3/vault1/20090426-03:05/tree
Backup-begin: 2009-04-26 03:05:15
Backup-complete: 2009-04-26 06:10:37
Status: success


in index Datei:

Code: Select all

237833    0 drwxrwxrwx   1 root     root            0 Apr 19 09:22 /mnt/harddisk3/vault1/20090426-03:05/tree
237932    1 -rwxrwxrwx   1 root     root           41 Apr 11 11:54 /mnt/harddisk4/..................
186620    4 drwxrwxrwx   1 root     root         4096 Apr 24 16:11 /mnt/harddisk4/....................
186623    0 drwxrwxrwx   1 root     root            0 Apr 18 21:04 /mnt/harddisk4/................
237850    4 drwxrwxrwx   1 root     root         4096 Apr 18 17:27 /mnt/harddisk4/..............
237853    0 drwxrwxrwx   1 root     root            0 Apr 18 17:27 /mnt/harddisk4/.......
237860    0 drwxrwxrwx   1 root     root            0 Apr 18 17:27 /mnt/harddisk4/..............

und das geht dann immer so weiter.....

Grüße nanome

Vossi
Posts: 235
Joined: December 26th, 2008, 8:25 pm

Re: Dirvish

Post by Vossi » April 27th, 2009, 11:28 am

dirivish-runall gibt doch aber den Erfolg mit "Done" bekannt. Also muss er doch auch etwas gemacht haben und irgendwo hin gespeichert haben.

Versuch doch noch mal, ein backup komplett zu löschen (alle Unterverzichnisse unter vault1, ausser das Verzeichnis dirvish, zusätzlich die Datei dirvish.hist im Unterverzeichnis dirvish)

danach neu initialisieren und dann wieder dirvish-runall starten. Und dann schauen. Kannst ja mal ein anderes Verzeichnis sichern, wo nicht so viele Daten drinne sind. Dann gehts schneller  ;)

Vossi
Image

nanome
Posts: 74
Joined: January 1st, 2006, 12:20 pm

Re: Dirvish

Post by nanome » April 27th, 2009, 1:23 pm

Das habe ich alles schon versucht.  :'(

nanome
Posts: 74
Joined: January 1st, 2006, 12:20 pm

Re: Dirvish

Post by nanome » April 29th, 2009, 1:19 pm

Wenn ich jetzt die Vault´s mit fcron.daily auf dem "manuellen weg" Nachts starten möchte, dann müste doch die dirvish.cron wie folgt aussehen?

Code: Select all

/var/ipfire/dirvish/bin/dirvish --vault vault1
/var/ipfire/dirvish/bin/dirvish --vault vault2
/var/ipfire/dirvish/bin/dirvish --vault vault3


Das Problem ist, es wird immer nur von der Vault3 ein backup erstellt.

Es gibt ja ein dirvish 1.3.1 Beta, die würde ich gerne ausprobieren. Die Frage ist, was mache ich mit einer INSTALL.pod Datei?

Code: Select all

[root@onlyone ~/dirvish1.3.1]# ./INSTALL.pod
./INSTALL.pod: line 13: =head1: command not found
./INSTALL.pod: line 16: =head1: command not found
./INSTALL.pod: line 18: =over: command not found
./INSTALL.pod: line 19: linux/unix/bsd/solaris/Mac_OSX: No such file or director                                                                      y
./INSTALL.pod: line 20: backup: command not found
rsync: link_stat "/root/dirvish1.3.1/version" failed: No such file or directory                                                                       (2)
rsync: link_stat "/root/dirvish1.3.1/2.5.6" failed: No such file or directory (2                                                                      )
rsync: link_stat "/root/dirvish1.3.1/or" failed: No such file or directory (2)
unknown message 0:1 [sender]
rsync error: error in rsync protocol data stream (code 12) at io.c(473) [sender=                                                                      3.0.4]
rsync: link_stat "/root/dirvish1.3.1/version" failed: No such file or directory                                                                       (2)
rsync: link_stat "/root/dirvish1.3.1/2.6.0" failed: No such file or directory (2                                                                      )
rsync: link_stat "/root/dirvish1.3.1/or" failed: No such file or directory (2)
rsync: link_stat "/root/dirvish1.3.1/higher" failed: No such file or directory (                                                                      2)
rsync: link_stat "/root/dirvish1.3.1/may" failed: No such file or directory (2)
rsync: link_stat "/root/dirvish1.3.1/be" failed: No such file or directory (2)
rsync: link_stat "/root/dirvish1.3.1/needed" failed: No such file or directory (                                                                      2)
rsync: link_stat "/root/dirvish1.3.1/if" failed: No such file or directory (2)
rsync: link_stat "/root/dirvish1.3.1/backing" failed: No such file or directory                                                                       (2)
rsync: link_stat "/root/dirvish1.3.1/up" failed: No such file or directory (2)
rsync error: some files/attrs were not transferred (see previous errors) (code 2                                                                      3) at main.c(1040) [sender=3.0.4]
./INSTALL.pod: line 25: syntax error near unexpected token `('
./INSTALL.pod: line 25: ` perl5 and these perl modules (if you aren't familiar w                                                                      ith'
[root@onlyone ~/dirvish1.3.1]#


Grüße nanome

Vossi
Posts: 235
Joined: December 26th, 2008, 8:25 pm

Re: Dirvish

Post by Vossi » April 30th, 2009, 5:47 am

Ja, die dirvish.cron ist so richtig, wenn als erstes noch der Befehl ./dirvish-expire steht. Damit werden zunächst die Backups gelöscht, welche die Verfallszeit überschritten haben, bevor die Backups starten.

Wenn nur von einem Vault ein Backup erfolgt, von den anderen nicht, dann deutet das auf Fehler in der default.conf hin. Kann schnell mal passieren beim Kopieren, dass man was vergisst. Poste doch mal die drei default.conf bzw. schau vorher selber noch mal genau hin.

Ein Update würde ich noch nicht machen, bei mir läufts ja auch mit der "alten" Version. Unwahrscheinlich, dass du dann den Fehler weg bekommst.

Zur install.pod: das steht was von "...linux/unix/bsd/solaris/Mac_OSX". Bist du sicher, die richtige Version zu installieren?

Vossi
Image

nanome
Posts: 74
Joined: January 1st, 2006, 12:20 pm

Re: Dirvish

Post by nanome » April 30th, 2009, 10:05 am

hm, irgend wie ist bei mir im System der Wurm drin! Ich habe noch alte Hardware zu liegen und werde mal ein IPFire zusammen bauen und dort mal Dirvish testen.
Hier nun die minimalistischen default.conf, wegen der Fehlersuche abgespeckt.

vault1:

Code: Select all

client: onlyone
tree: /mnt/harddisk4


vault2:

Code: Select all

client: onlyone
tree: /mnt/harddisk2


vault3:

Code: Select all

client: onlyone
tree: /var/log/share


Grüße nanome

Vossi
Posts: 235
Joined: December 26th, 2008, 8:25 pm

Re: Dirvish

Post by Vossi » April 30th, 2009, 10:51 am

Bei mir endet der Eintrag "tree: /.. " immer mit einem "/" nach dem letzten Verzeichnis. Kann es vielleicht daran liegen?

Vossi
Image

nanome
Posts: 74
Joined: January 1st, 2006, 12:20 pm

Re: Dirvish

Post by nanome » May 14th, 2009, 6:54 am

moin, moin,
so wie es aussieht war es ein Hardware Problem.
Genau kann ich es leider nicht sagen aber ich denke es lag daran das, das Mainboard die CPU (AMD Geode NX) nicht richtig erkannt hat und mit 1,4V anstatt mit 1,1V betrieb. Das hat scheinbar zu Fehlern geführt.
Zudem ist mir aufgefallen das auf Groß und Kleinschreibung geachtet werden muß.

Grüße nanome

Post Reply