Nous aimons tous télécharger des fichiers sur Internet et il existe une multitude d'excellents outils de gestion des téléchargements que nous pouvons utiliser pour planifier nos téléchargements. Il peut s’avérer plus simple d’utiliser un gestionnaire de téléchargement, mais il n’ya pas de mal à explorer les outils déjà fournis avec Ubuntu et à en tirer pleinement parti.
Dans cet article, nous allons vous montrer un logiciel intégré à Ubuntu que nous pouvons utiliser pour télécharger des fichiers sur Internet à l'aide de wget. En plus de cela, nous allons vous montrer comment planifier le téléchargement en utilisant Cron.
Télécharger en utilisant Wget
Wget est un logiciel gratuit permettant de récupérer des fichiers via HTTP, HTTPS et FTP, les protocoles Internet les plus utilisés. C'est un outil de ligne de commande non interactif, il peut donc être appelé facilement à partir de scripts, de tâches cron, de terminaux sans prise en charge de X-Windows, etc.
Ouvrez votre terminal et voyons comment nous pouvons utiliser wget pour télécharger des contenus du réseau. La syntaxe de base du téléchargement avec wget est la suivante:
wget [option]… …
Cette commande téléchargera le manuel wget sur votre lecteur local.
wget https://www.gnu.org/software/wget/manual/wget.pdf
Linux Cron
Ubuntu est livré avec un démon cron utilisé pour planifier l'exécution de tâches à une heure donnée. Crontab vous permet de spécifier des actions et des moments où elles doivent être exécutées. Voici comment planifier normalement une tâche à l'aide de l'outil de ligne de commande.
Ouvrez une fenêtre de terminal et entrez crontab -e.
C'est la base sur wget et comment Cron fonctionne. Prenons un exemple concret sur la planification d’un téléchargement.
Télécharger le calendrier
Nous allons télécharger Firefox 3.6 à 2 heures du matin. Comme notre fournisseur d’accès ne fournit qu’une quantité limitée de données, nous devons arrêter le téléchargement à 8 heures du matin. Voici à quoi ressemble l'installation.
[code] 0 2 * * * wget -c https://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=fr [/code]
Les options -c indiquent que wget devrait reprendre le téléchargement existant s'il n'a pas été terminé.
La quatrième commande s'arrêtera à 8 heures. Killall est une commande unix qui tue les processus par leur nom.
[code] 0 8 * * * killall wget [/code]
Le killall wget dit à Ubuntu d’empêcher wget de télécharger le fichier à 8 heures.
Autres commandes utiles de wget
1. Spécifier le répertoire pour télécharger un fichier
[code] wget –output-document = / home / zainul / Téléchargements / wget manual.pdf https://www.gnu.org/software/wget/manual/wget.pdf [/code]
l'option –output-document vous permet de spécifier le répertoire et le nom du fichier que vous téléchargez
2. Télécharger un site web
wget est également capable de télécharger un site web.
[code] wget -m https://www.google.com/profiles/zainul.franciscus [/code]
La commande ci-dessus va télécharger toute ma page Web de profil Google. L’option «-m» indique à wget de télécharger une image «miroir» de l’URL spécifiée.
Une autre option importante consiste à indiquer à wget le nombre de liens à suivre lors du téléchargement d'un site Web.
[code] wget -r -l1 https://www.google.com/profiles/zainul.franciscus [/code]
La commande wget ci-dessus utilise deux options. La première option «-r» indique à wget de télécharger le site Web spécifié de manière récursive. La deuxième option «-l1» indique à wget de ne recevoir que le premier niveau de liens provenant de ce site Web spécifié. Nous pouvons définir jusqu’à trois niveaux «-l2» et «-l3».
3. Ignorer l'entrée du robot
Le maître Web maintient un fichier texte appelé Robot.txt. ‘Robot.txt’ conserve une liste d’URL qu’un robot d’analyse de pages Web tel que wget ne doit pas analyser. Nous pouvons dire à wget d’ignorer le fichier "Robot.txt" avec l’option "-erobots = off". La commande suivante indique à wget de télécharger la première page de mon profil google et d’ignorer le fichier ‘Robot.txt.
[code] wget -erobots = off https://www.google.com/profiles/zainul.franciscus [/code]
Une autre option utile est -U. Cette option masquera wget en tant que navigateur. Notez que le masquage d'une application en tant qu'autre application peut constituer une violation du mandat et du service d'un fournisseur de services Web.
[code] wget -erobots = off -U Mozilla https://www.google.com/profiles/zainul.franciscus [/code]
Conclusion
Wget est un très vieux paquetage de logiciel GNU piratable pour le téléchargement de fichiers. Wget est un outil de ligne de commande interactif qui signifie que nous pouvons le laisser s'exécuter en arrière-plan sur notre ordinateur sans avoir à démarrer aucune application. Consultez la page de manuel de wget
[code] $ man wget [/code]
pour comprendre les autres options que nous pouvons utiliser avec wget.
Liens
Manuel Wget Comment combiner deux fichiers téléchargés lorsque wget échoue à mi-parcours Linux QuickTip: Téléchargement et décompression en une étape
