Einfacher Dateidownload¶

Grundsätzlich kann man eine Datei mit dieser Syntax in das aktuelle Verzeichnis laden:

wget http://example.com/folder/file 

Bilderdownload¶

Will man eine Seite mit allen Bildern herunterladen, kann der Befehl so lauten:

wget -r -l 3 -np -p --user-agent="Mozilla/5.0 (X11; U; Linux i686; de; rv:1.9b5) Gecko/2008050509 Firefox/3.0b5" http://example.com/dir/ 

-p gibt vor, den Inhalt der Seite herunterzuladen, wobei rekursiv (-r) bis zu einer Tiefe von 3 (-l 3 oder --level=3) vorgegangen wird, übergeordnete Verzeichnisse werden ignoriert (-np). Außerdem gibt wget vor, als Mozilla unterwegs zu sein (--user-agent), da viele Seiten wget blockieren.

Zudem ist es möglich nur spezielle Dateitypen zu bekommen. Bei diesem Aufruf werden rekursiv die Dokumente nach *.jpg und *.png durchsucht und abgespeichert:

wget -r -A jpg,png http://example.com/dir/  

Und mit diesem Befehl werden alle Dateien außer *.jpg und *.png heruntergeladen:

wget -r -R jpg,png http://example.com/dir/  

Dateidownload mit Wiederholungsfunktion¶

Was ist, wenn die Internetverbindung abbricht? Dann kann man den Download auch auf eine begrenzte oder unbegrenzte Anzahl von Wiederholungen schalten:

wget -t X http://example.com/FOLDER/FILE 

Das X steht wie für eine Zahl entsprechend der Anzahl der gewünschten Wiederholungen. 0 steht für unendlich.

Download abbrechen¶

Mit Strg + C kann man einen aktiven Download abbrechen.

Download fortsetzen¶

Hat man einen Download manuell abgebrochen oder ist er aus einem anderen Grund gescheitert, so kann man einen unvollständigen Download mit

wget -c http://example.com/FOLDER/FILE 

fortsetzen. Nun beginnt er dort, wo er aufgehört hat.

Referer ändern¶

Manche Downloadserver erlauben einen Download nur, wenn der Benutzer von einer bestimmten Adresse kommt. Diese ist immer die, von der normalerweise der Download startet. wget kann diesen Wert übernehmen:

wget --referer=http://von.dieser.seite.com/me/ich http://example.com/FOLDER/FILE 

Geschwindigkeit begrenzen¶

Wenn man bei einem Download gleichzeitig noch schnell surfen will, ist es praktisch, die Downloadrate zu begrenzen. In diesem Beispiel wird sie auf 40 kB/s begrenzt:

wget --limit-rate=40000 http://example.com/FOLDER/FILE 

Im Hintergrund herunterladen¶

Bei großen Dateien bietet es sich an, den Download im Hintergrund zu starten. wget läuft dann eigenständig im Hintergrund und schreibt im Download-Verzeichnis eine log-Datei:

wget -b http://example.com/FOLEDER/FILE 

Websites offline speichern¶

Das ist sehr einfach und geht mit:

wget -r -k -E -l 8 http://example.com 

Die Option -r sorgt dafür, dass rekursiv bis zu einer Tiefe von 8 (-l 8) vorgegangen wird, -k konvertiert die Links, so dass sie lokal funktionieren und -E erzwingt die Endung .html für alle Dateien (ist dann nützlich, wenn .php- oder .asp-Seiten geladen werden.

Hinweis auf eine alternative Möglichkeit: httrack 🇬🇧

Tarballs automatisch entpacken¶

Um .tar.gz-Archive direkt zu entpacken ohne sie zwischen zu speichern, kann man folgenden Befehl nutzen:

wget -q -O - http://example.com/FOLDER/FILE.tar.gz | tar xvzf - 

Die Option -q sorgt dafür, dass keine Informationen ausgegeben werden, die tar nicht verarbeiten könnte. Mit -O - wird wget angewiesen die Datei direkt auf die Standardausgabe STDOUT zu schreiben. Mittels | wird die Standardausgabe STDOUT auf die Standardeingabe STDIN für das nächste Programm (in diesem Fall tar) umgeleitet. Nun wird die Datei ganz normal entpackt, wobei x für extrahieren, v für verbose (also viele Infos ausgeben), z für dekomprimieren steht. Mit f - wird die Datei von der Standardeingabe STDIN (die in diesem Fall ja von wget kommt) gelesen.

Nach diesem Befehl befinden sich nur die entpackten Dateien und Verzeichnisse, nicht jedoch die eigentliche .tar.gz-Datei im aktuellen Verzeichnis.

Zeitsteuerung von Downloads¶

Um Downloads zum Beispiel um 13:40 Uhr zu beginnen, hilft folgendes Skript:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

#!/bin/sh

cd ~/Downloads
echo "\033[49;1;34mFolgende Datei soll heruntergeladen werden:"
echo "\033[49;1;32m"
echo "$1" | awk -F / '{print $NF}'
echo
echo "\033[49;1;35mWann soll der Download starten? (Format: hhmmss)"
echo "\033[0m"
read u
if [ $u = "next" ]
then
ps -o etime,pid --no-headers -C dl | awk '{print $1,$2}' | sort -r | awk '{print $2}' > ~/.log$$
var=`head -n 1 ~/.log$$`
if [ $$ -ne $var ]
then
  echo "Nach dem letzten Download wird dieser Download gestartet."
fi
while [ $$ -ne $var ]
do
  sleep 1
   ps -o etime,pid --no-headers -C dl | awk '{print $1,$2}' | sort -r | awk '{print $2}' > ~/.log$$
   var=`head -n 1 ~/.log$$`
done
rm ~/.log$$
elif [ $u = "now" -o $u = "jetzt" -o $u = "Jetzt" ]
then
  echo "Der Download startet jetzt!"
else
while [ $(date +%H%M%S) -ne $u ]
do
    sleep 1
done
fi
wget -c $1

echo "Der Download ist beendet."

Der Name des Skripts sollte dl heißen, ansonsten muss man im Skript dl durch den Namen ersetzen. Das Skript ausführbar machen und am besten in einem Pfad speichern der in $PATH enthalten ist. Dann kann der Download wie folgt gestartet werden:

dl http://example.com/folder/file 

Daraufhin erscheint die Frage, wann der Download starten soll. Gültige Eingaben sind "Jetzt", "jetzt", "now" für sofort starten oder 134000 für 13:40 Uhr oder 121314 für 12:13 Uhr und 14 Sekunden. Ebenfalls möglich ist next. Damit startet er direkt nach den bisher gestarteten Downloads. So kann man z.B. einen Download sofort starten, und bei 5 weiteren next eingeben. Dadurch werden alle der Reihe nach abgearbeitet.