Komprimieren mit xz

packenUnter Linux gibt es einige bekannte Befehle zum Komprimieren und Dekomprimieren von Dateien.

  • gzip, gunzip
  • bzip2, bunzip2

Eher unbekannt, aber trotzem vorhanden ist der Komprimierer xz.

Das mag verschieden Gründe haben. Zunächst wohl die zu hohe Verbreitung von Dateien, die mit gzip (*.gz) oder 'bzip2' (*.bz2) komprimiert und im Umlauf sind. Auch die Tatsache, dass viele Umgebungen in ihre Anzeige- und Entpack-Tools eine Unterstützung dieser Kompressoren eingebaut hat mag mit daran Schuld sein.

Es stellt sich zunächst mal die Frage “Warum noch ein Tool zum komprimieren von Daten?”

Diese lässt sich leicht erklären. Zwar können die bisher existierenden Tools diese Arbeit übernehmen, aber wirklich effizient sind sie nicht. Die Geschwindigkeit oft der Grund warum eher auf gzip zurückgegeriffen wird statt das effizientere, aber deutlich langsamere, bzip2 zu nutzen.

Um die verschiedenen Kompressoren zu vergleichen nutze ich eine ISO – Datei der Distribution Nepu Linux (http://eworm.de/linux/nepu) — einer Live-CD basieren auf Arch Linux — und komprimiere sie ohne Anpassung der Parameter mit allen 3 Verfahren:

nepulinux.iso 594M
Die Originaldatei
nepulinux.iso.gz 582M
Innerhalb von 21 Sekunden wurde die Datei um 12M gekürzt
nepulinux.iso.bz2 584M
Nach 2 Minuten und 22 Sekunden ist die Datei um 10M gekürzt. Das ist 2M weniger als bei gzip.
nepulinux.iso.xz 581M
Auch wenn es mit 5 Minuten und 9 Sekunden deutlich länger gedauert hat ist die Datei um 13M kleiner als die Startdatei.

Wie man sehen konnte ist bzip2 für solche ISO – Dateien, die meist schon vorkomprimiert sind, keine gute Option. Obwohl es deutlich länger braucht bringt es keine Vorteile, sondern erzeugt ein größeres Ergebnis als gzip.

xz hingegen hat es geschafft noch einen Teil an Daten zu komprimieren. Dabei hat es allerdings auch deutlich mehr Zeit benötigt.

Grund für diesen Mehrbedarf an Zeit ist die Art der Komprimierung. Es werden im Hintergrund Tabellen erzeugt mit wiederkehrenden, komprimierbaren, Inhalten um diese durch einfache Hinweise zu ersetzen. Je nach Kompressor werden diese Tabellen größer und verbrauchen entsprechend mehr Rechenzeit und Arbeitsspeicher in der Abarbeitung.

Gleichzeitig haben alle diese Kompressoren ein Manko gemeinsam. Sie arbeiten nur mit einem Prozessorkern und sind daher in den Möglichkeiten bezüglich der Rechenzeit an diesen Kern gebunden.
Erst Alternativen wie z. B. pixz stellen die Möglichkeit her alle vorhandenen Prozessorkerne parallel zu nutzen und damit den kompletten Prozess zu beschleunigen.

Die Datei nepulinux.iso mit pixz komprimiert ist mit 4 Prozessorkernen nach 1 Minute und 39 Sekunden fertig.

Nach dem recht entäuschenden Ergebnissen mit ISO – Dateien ein Beispiel aus der Praxis: Eine virtuelle Maschine soll entsorgt und archiviert werden. Das verwendete Containersystem OpenVZ erzeugt hierzu ein tar-Archiv mit den Daten. Das Archiv ist 53G groß.

Nach der Komprimierung mit bzip2 bleiben 16G über. Die Komprimierung mit gzip wurde auf Grund der Erwartung schlechter Werte nicht durchgeführt.

Allerdings hat xz alle Erwartungen übertroffen: 2.5G nach Komprimierung bleiben über. Damit hat es 50.5G Platz in der Datensicherung gespart. Nachteilig natürlich die Laufzeit von fast 5 Stunden mit der normalen xz – Variante.

Interessant wären nun die Zeiten beim entpacken.

Aber vielleicht finden wir die in den Kommentaren ;-)

Themenabend: OpenSSL am 10.07.2013

SSLNach Themen wie IPv6 und OpenSSH haben wir uns nun mit OpenSSL ein neues Thema herausgesucht, das von vielen bereits genutzt wird, dessen Hintergründe aber meist verborgen bleiben.

Natürlich wird es auch um die Absicherung von Webseiten und den Einsatz von OpenSSL für diesen Zweck gehen, wir werden aber auch andere Aspekte wie z. B. die symmetrische Verschlüsselung oder E-Mail – Verschlüsselung und – Signatur ansprechen.

Die Linux Usergroup Oberhausen Rheinland (LUGOR) e. V. wird startet den Themenabend am 10.07.2013 ab 19:30 Uhr im Gasthof Harlos, Hagedornstr. 1, Oberhausen.

Wie immer ist die Teilnahme an den Veranstaltungen für alle Interessenten offen.

Schön wäre eine kurze Anmeldung auf der Mailingliste um vorplanen zu können.

Themenabend am 15.05.2013: IPv6

IPv6Nachdem auf der Mailingliste nun mehrfach der Wunsch nach einem Themenabend zum Thema IPv6 geäußert wurde haben wir uns entschlossen den Themenabend des Monats Mai unter das Thema IPv6 zu stellen.

Daher wird die Linux Usergroup Oberhausen Rheinland (LUGOR) e. V. am 15.05.2013 ab 19:30 Uhr im Gasthof Harlos, Hagedornstr. 1, Oberhausen versuchen ein wenig Licht ins Dunkel zu bringen.

Vorteilhaft ist es als Vorbereitung bei Sixxs.net einen Tunnel beantragt zu haben. Die Vorgehensweise hierzu hat Fabian Driftmann für den letzten Themenabend IPv6 bereits beschrieben.

Schön wäre eine kurze Anmeldung auf der Mailingliste…

Inkscape Workshop im Linuxhotel

Direkt ‘um die Ecke’ in Essen findet Anfang Januar (11.-13.) der nächste Workshop für Inkscape  mit Sirko Kemter statt. Für diesen Workshop gelten die Community – Regeln des Linuxhotel.

Die ersten Teilnehmer der Linux User Group Oberhausen Rheinland e. V. sind mit Christian Hesse und Michael Gisbers auch schon angemeldet. Wir würden uns freuen, wenn mehr Mitglieder den Weg nach Essen zu diesem Workshop finden würden.

Weiter Infos und die Anmeldung verstecken sich hinter dem Link

Themenabend am 14.11.2012: GnuPG – Verschlüsselung und Signierung

Am 14. November 2012 findet der monatliche Themenabend statt. Thema wird dieses Mal ‘GnuPG – Verschlüsselung und Signierung’ sein

Bereits 1991 etwickelte Phil Zimmermann eine Möglichkeit zur asynchronen Verschlüsselungen und Signierung.

Dieses machte die bisherige Notwendigkeit, dass Sender und Empfänger das gleiche Kennwort kennen und damit austauschen mußten überflüssig. Allein die Veröffentlichung eine sogenannten ‘Public Key’ reicht aus um von anderen verschlüsselte Nachrichten empfangen zu können, die nur vom Erzeuger des Schlüssels lesbar sind.

Mit der Entwicklung des PGP – Protokolls war ein so mächtiges Protokoll geschaffen, dass es in den USA durch seine Möglichkeiten unter das dortige Waffengesetz fiel und nur als gedruckter Sourcecode außer Landes geschafft werden durfte.

Mehr zur Historie und, vor allem, zur aktiven Nutzung des Protokolls gibt es auf diesem Themenabend.

Wie immer ist ab 19:30 Uhr Treffen im Gasthof Harlos.

Die Teilnahme ist wie immer frei.

Themenabend am 13.06.2012: Authentifizierung

Am 13. Juni 2012 findet der monatliche Themenabend statt. Thema wird dieses Mal ‘Authentifizierung’ sein.

Die meisten kennen es nicht anders: Will man mit dem Rechner arbeiten tippt man Benutzername und Passwort ein.
Dabei gibt es noch viele weitere Möglichkeiten sich am System zu authentifizieren – angefangen bei Fingerabdrucksensoren über
One-Time-Passwörter bis hin zu zentralen Serverdiensten wie LDAP. Zentraler Bestandteil des Themenabends werden die Plugable Authentication
Modules, kurz PAM, sein – und ich hoffe wir können die eine oder andere Überraschung bereithalten.

Wie immer ist ab 19:30 Uhr Treffen im Gasthof Harlos.

Die Teilnahme ist wie immer frei.

Themenabend am 09.05.2012: Digitale Bildbearbeitung/-verwaltung

Am 09.05. ist wieder Themenabend und da wir festgestellt haben, dass viele Mitglieder der Lugor auch mit digitalen Kameras arbeiten haben wir uns gedacht mal das Thema Digitale Bildbearbeitung/-verwaltung aufzunehmen.

Wie immer treffen wir uns ab 19:30 Uhr im Gasthof Harlos (http://gasthof-harlos.de).

Wer also Spaß und Interesse an dem Themenabend haben sollte, der möge kurz sagen ob er dabei ist, damit wir bei Harlos den Termin festmachen können.

Mailingliste der Lugor

Bild: Richard Verwayen

OpenBook zu Linux von Galileo Computing

Galileo Computing hat wieder ein neues OpenBook veröffentlicht. Das Buch mit dem Titel Linux – Das umfassende Handbuch von Johannes Plötner, Steffen Wendzel steht damit allen interessierten zur kostenfreien Lektüre zur Verfügung. Parallel dazu kann man natürlich auch das gebundene Buch im Shop kaufen.

Themenabend WordPress am 11.01.2012

image

Am 11.01. ist wieder Themenabend und für diesmal gabe es den Vorschlag sich das Content Management System (CMS) WordPress WordPress genauer anzusehen.

WordPress benutzen wir, unter anderem, für die Darstellung unsere Webseiten (http://lugor.de) auch der Gasthof Harlos, bei dem um 19:30 Uhr am 11.01. der Themenabend stattfindet benutzt eine von uns installierte WordPress Instanz (http://gasthof-harlos.de).

Eckart Hillenkamp, eines unserer Mitglieder, hat sich während seines Schritts in die Selbständigkeit mit WordPress auseinandergesetzt und – nachdem er anfangs um Hilfe in dem Bereich gebeten hat – uns angeboten nun einen Vortrag zu dem Thema zu halten.

Gleichzeitig möchte ich Euch anbieten Autoren auf unserer WordPress – Seite zu werden und Eure Erfahrungen/Erkenntnisse/Tipps&Tricks dort zu veröffentlichen.

Wer also Spaß und Interesse an dem Themenabend haben sollte, der möge kurz sagen ob er dabei ist, damit wir bei Harlos den Termin festmachen können.

Mailingliste der Lugor

OpenRheinRuhr

Call for Papers bei der OpenRheinRuhr

Wie auch in den letzten Jahren sucht die OpenRheinRuhr für die Veranstaltung im November wieder Referenten rund um das Thema Freie Software.

Hierzu wurde aktuell der Call for Papers (CfP) gestartet. Genaue Informationen zur Anmeldung sind auf den Seiten der OpenRheinRuhr unter http://openrheinruhr.de/callforpapers.html zu finden.