Linux Bibel online ~ Wget

Creative Commons Lizenzvertrag
Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung - Nicht-kommerziell - Weitergabe unter gleichen Bedingungen 3.0 Österreich Lizenz.

Change language by Google translator: ...

Wenn man sich ein wenig mit dem Terminal unter Linux befasst kommt man irgendwann auf die Software Wget, die Software erledigt schnell und problemlos Downloads am Terminal. Egal ob es nun ein kleines Bild oder um eine 4 Gigabyte große ISO-Datei aus dem Netz zu ziehen gilt - mit dieser Anwendung ist dies problemlos möglich. Doch die Software dient nicht nur dazu einzelne Dateien aus dem Netz zu ziehen, sie kann auch ganze Webseiten oder Homepages mit allen möglichen Spielereien aus dem Internet laden oder abgebrochene Downloads wieder aufnehmen. In diesem Artikel erfahren Sie ein wenig mehr über diese Software.

Installation von Wget

Unter auf Debian basierenden Distributionen wie natürlich auch Ubuntu, Kubuntu, Linux Mint und so weiter ist die Software unter normalen Umständen schon vorinstalliert, ist dies nicht der Fall erledigen Sie dies ganz einfach über die Paket-Verwaltung durch das Paket "wget".

Wget nutzen

Beginnen wir ganz einfach mit einem kleinen Beispiel, wir wollen etwa die Datei "debian-8.7.1-amd64-DVD-1.iso" von "http://cdimage.debian.org/debian-cd/current/amd64/iso-dvd/" herunter laden, also die DVD zur Installation von Debian (nach dem Stand 05.02.17), wir kopieren etwa im Webbrowser ganz einfach den Link womit wir auf "http://cdimage.debian.org/debian-cd/current/amd64/iso-dvd/debian-8.7.1-amd64-DVD-1.iso" kommen würden, der Befehl zum herunter laden lautet in diesem Fall ganz einfach:

wget http://cdimage.debian.org/debian-cd/current/amd64/iso-dvd/debian-8.7.1-amd64-DVD-1.iso

Die Datei landet einfach in dem Verzeichnis in dem man sich auf dem Terminal aktuell befindet. Man kann das herunter laden wenn gewünscht durch die Tastenkombination Strg + c abbrechen und durch den selben Befehl durch den man den Download gestartet hat wieder aufnehmen, nun wird nicht die komplette Datei wieder herunter geladen sondern nur der Teil der noch fehlt.

Ein weiteres Beispiel wäre das herunter laden einer kompletten Webseite, beginnen wir wieder einfach etwa mit der Linux Bibel. Der Befehl:

wget https://linux-bibel-online.org

würde ganz einfach nur die Datei "index.html" herunter laden, also reinen Text ohne Bilder und CSS-Formatierungen was dann etwa so aussehen würde:

Wget - Downloads unter Linux am Terminal

Wget - Downloads unter Linux am Terminal

Text und Links sind dabei natürlich vorhanden. Möchte man nun etwas weiter gehen nutzt man die Option "-r" mit der man die Tiefe angibt die die Software Links weiter gehen soll, die Option "-k" sorgt dafür das die enthaltenen Links für die lokalen Dateien konvertiert werden, als kleines Beispiel einfach:

wget -r 1 -k https://linux-bibel-online.org

In diesem Fall wird schon jeder Link, also auch Bilder, Videos, weitere integrierte Webseiten herunter geladen, Wget speichert diese zusammen in einem dafür erstellten Verzeichnis.

Möchte man den Download auf gewisse Dateien begrenzen gibt man diese einfach an, also etwa für JPG- und PNG-Dateien - nur diese sollen herunter geladen werden:

wget -r -l 1 -A png,PNG,jpg,jpeg,JPG,JPEG https://linux-bibel-online.org

Dies funktioniert natürlich mit jedem Dateiformat, möchte man stattdessen Dateiformate ausschließen:

wget -r -l 1 -R png,PNG,jpg,jpeg,JPG,JPEG https://linux-bibel-online.org

Wget ist ziemlich gierig und nutzt die gesamte Bandbreite des Internet-Zuganges die es bekommt und die der entsprechende Server her gibt sodass man in manchen Fällen nicht mal mehr nebenbei surfen kann, in diesem Fall kann man die Geschwindigkeit die Wget nutzen soll angeben, hierzu nutzt man die Option "--limit-rate=" inklusive der Geschwindigkeit pro Sekunde, als kleines Beispiel für langsame Verbindungen in Kilobyte - etwa "50k" oder in Megabyte - etwa "20m", kleines Beispiel:

wget -r 1 --limit-rate=5m https://linux-bibel-online.org

Auch die tatsächliche Download-Menge lässt sich begrenzen, sodass die Software nach einem bestimmten Download-Volumen den Download einfach beendet, dies funktioniert allerdings nur mit der Option "-r" also für rekursives spiegeln (wie oben), geht es um eine einzelne Datei wie etwa ein 4,7GB großes Image lädt die Software dieses auch nach einer Begrenzung von 1GB herunter. Zum Begrenzen nutzt man nun die Option "-Q", auch hier gibt man wieder die Größe in "k" (Kilobyte) oder "m" (Megabyte) an:

wget -r 2 -Q100m https://linux-bibel-online.org

Mit Login

Möchten Sie Dateien von einem Server laden auf dem Sie sich mit Nutzername und Passwort einloggen müssen ist auch dies kein Problem, hierfür nutzt man einfach die Optionen "--http-user=Nutzername" oder "--ftp-user=Nutzername" und "--http-passwd=Passwort" oder "--ftp-passwd=Passwort". Als kleines Beispiel:

wget --http-user=robert --http-passwd=Passwort http://server.org/datei.avi

Dateien aktualisieren

Hat man beispielsweise schon einmal Dateien von einem Server geladen kann man diese ganz einfach aktualisieren, gibt es etwa neue Versionen der jeweiligen Dateien lädt die Software nicht alle Dateien erneut herunter sondern nur die aktualisierten, dazu startet man einfach den Befehl zum herunter laden der Dateien im selben Verzeichnis in dem die Dateien liegen erneut.

Abgebrochene Downloads fortsetzen

Hat man etwa über den Webbrowser Firefox eine große Datei herunter laden wollen und der Download bricht in der Mitte oder fast am Ende ab ist dies natürlich ärgerlich, man müsste den Download erneut von vorne starten - nicht mit Wget. Nehmen wir wieder unseren Firefox, er erstellt beim Download einer Datei zwei Dateien im selben Verzeichnis, als Beispiel lade ich die Datei "datei.iso" herunter erstellt die Software während des Downloads die Datei "datei.iso" die während des Downloads leer ist und die Datei "datei.iso.part" - diese wird gefüllt, ist der Download abgeschlossen wird die "datei.iso.part" zu "datei.iso". Um den Download mittels Wget fort zu führen müssen wir einfach nur die Datei "datei.iso.part" in "datei.iso" umbenennen und den Download mittels Wget erneut starten, die Software fährt mit dem Download dort fort wo Firefox abgebrochen hat.

Einstellungen speichern

Gerade wenn man öfter von einem bestimmten Server Dateien herunter lädt und diese auch aktualisiert lohnt es sich gewisse Daten wie etwa ein benötigtes Passwort zu speichern um dieses nicht jedes Mal wieder erneut angeben zu müssen, hierzu dient die Datei ".wgetrc" die man sich wie der Punkt vor dem Namen im Home-Verzeichnis des jeweiligen Nutzers versteckt - wenn man sie denn anlegt. Dies gelingt ganz einfach durch den Befehl auf dem Terminal:

cp /etc/wgetrc ~/.wgetrc chmod 600 ~/.wgetrc

Der letzte Befehl sorgt dafür das nur der Besitzer der Datei diese auch wirklich öffnen / lesen kann. Diese Datei kann man nun mit jedem beliebigen Texteditor bearbeiten. So fügen Sie etwa Nutzernamen und Passwort ganz einfach durch:

http_user = Nutzername http_passwd = Passwort

ein. Viel mehr zeigt die Manpage durch den Befehl:

man wget

Mehr Tipps rund um das Terminal finden Sie im Linux Bibel Terminal-Wiki

Suche Nach oben Startseite Mail an den Autor Links rund um Linux









SiteLock