Pomoćni program wget vam omogućava da preuzimate web stranice, datoteke i slike sa Interneta koristeći Linux komandnu liniju.
Jednu komandu wget-a možete sami da preuzmete sa sajta ili podesite ulaznu datoteku za preuzimanje više datoteka na više lokacija.
Prema uputstvu, wget se može koristiti čak i kada se korisnik odjavi iz sistema. Da biste to uradili, koristili biste komandu nohup.
Korisnički program wget će ponoviti preuzimanje čak i kada se veza opadne, nastavljajući odakle je to moguće, ako je moguće kada se veza vrati.
Možete preuzeti sve veb lokacije pomoću wget-a i pretvoriti linkove kako biste ukazali na lokalne izvore, tako da možete da pregledate veb lokaciju offline.
Karakteristike wget-a su sledeće:
- Preuzmite datoteke koristeći HTTP, HTTPS i FTP
- Nastavi preuzimanje
- Pretvorite apsolutne veze na preuzete veb stranice na relativne URL adrese kako bi se web stranice mogli gledati van mreže
- Podržava HTTP proksije i kolačiće
- Podržava uporne HTTP konekcije
- Može da radi u pozadini čak i kada niste prijavljeni
- Radi na Linuxu i Windowsu
Kako preuzeti veb lokaciju koristeći wget
Za ovaj vodič, pokazaću vam kako da preuzmete moj lični blog.
wget www.everydaylinuxuser.com
Vrijedno je napraviti vlastiti folder na vašoj mašini pomoću mkdir naredbe, a zatim se preseliti u fasciklu pomoću naredbe cd .
Na primjer:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Rezultat je jedna index.html datoteka. Sama po sebi, ova datoteka je prilično beskorisna, jer se sadržaj i dalje izvlači iz Google-a, slike i stilovi se i dalje drže na Google-u.
Da biste preuzeli celu lokaciju i sve stranice koje možete koristiti sljedećom komandom:
wget -r www.everydaylinuxuser.com
Ovo učitava stranice rekurzivno do maksimalno 5 nivoa duboko.
Dubokih 5 nivoa možda neće biti dovoljno da se sve učini sa lokacije. Možete da koristite prekidač -l da biste podesili broj nivoa na koje želite da idete na sledeći način:
wget -r -l10 www.everydaylinuxuser.com
Ako želite beskonačnu rekurziju možete koristiti sledeće:
wget -r -l inf www.everydaylinuxuser.com
Takođe možete zameniti inf sa 0 što znači isto.
Postoji još jedan problem. Možda ćete dobiti sve stranice lokalno, ali sve veze na stranicama i dalje pokazuju svoje originalno mesto. Zbog toga nije moguće direktno kliknuti između linkova na stranicama.
Ovu problematiku možete pokrenuti pomoću dugmeta -k koji pretvara sve veze na stranama i pokazuje na ekvivalentno lokalnom ekvivalentu na sljedeći način:
wget -r -k www.everydaylinuxuser.com
Ako želite da dobijete kompletno ogledalo web stranice, jednostavno možete koristiti sledeći prekidač koji oduzima potrebu za korištenjem -r -k i -l prekidača.
wget -m www.everydaylinuxuser.com
Prema tome, ako imate svoju web stranicu, možete napraviti potpunu rezervnu kopiju pomoću jedne jednostavne komande.
Pokreni wget Kao pozadinska komanda
Možete dobiti Wget da pokrenete kao pozadinsku komandu i ostavite vam mogućnost da nastavite svoj rad u prozoru terminala dok se datoteke preuzmu.
Jednostavno koristite sledeću naredbu:
wget -b www.everydaylinuxuser.com
Naravno, možete kombinovati prekidače. Da biste pokrenuli komandu wget u pozadini dok ste pregledali stranicu, koristićete sljedeću naredbu:
wget -b -m www.everydaylinuxuser.com
Ovo možete više pojednostaviti na sledeći način:
wget -bm www.everydaylinuxuser.com
Logiranje
Ako pokrećete komandu wget u pozadini, nećete videti neku normalnu poruku koju šalje na ekran.
Sve te poruke možete poslati u datoteku evidencije tako da možete u svakom trenutku da proverite napredak koristeći komandu repa .
Da biste izvode informacije iz wget naredbe u datoteku dnevnika koristite sledeću komandu:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
Obrnuto je, naravno, da uopće ne zahtijevamo nikakvo logovanje i nema izlaza na ekran. Da biste izostavili sve izlaze koristite sledeću komandu:
wget -q www.everydaylinuxuser.com
Preuzimanje iz više lokacija
Možete podesiti ulaznu datoteku za preuzimanje sa više različitih lokacija.
Otvorite datoteku pomoću vašeg omiljenog urednika ili čak komande mačke i jednostavno počnite sa listanjem sajtova ili linkova za preuzimanje sa svake linije datoteke.
Sačuvajte datoteku i pokrenite sledeću wget komandu:
wget -i / path / to / inputfile
Pored toga što ste napravili rezervnu kopiju svoje web stranice ili možda pronašli nešto za preuzimanje kako biste pročitali u vozu, malo je verovatno da ćete želeti da preuzmete čitavu web stranicu.
Veća je verovatnoća da ćete preuzeti jedan URL sa slikama ili možda preuzeti datoteke kao što su zip datoteke, ISO datoteke ili datoteke sa slikama.
Imajući to u vidu da ne želite da ukucate sledeće u ulaznu datoteku koliko dugo traje:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Ako znate da će osnovni URL uvek biti isti, u ulaznoj datoteki možete samo da navedete sledeće:
- file1.zip
- file2.zip
- file3.zip
Tada možete podijeliti bazni URL kao dio wget naredbe na sljedeći način:
wget -B http://www.myfileserver.com -i / put / do / inputfile
Ponovite opcije
Ako ste postavili red dosijea za preuzimanje u okviru ulazne datoteke i ostavljate računar da se pokreće celu noć da biste preuzeli datoteke koje ćete biti prilično uznemireni kada sđete ujutru da biste utvrdili da se zaglavio u prvom fajlu i opet se ponavljao.
Možete odrediti broj ponovljenih koraka pomoću sledećeg prekidača:
wget -t 10 -i / put / do / ulazni fajl
Možda biste želeli da koristite gornjoj komandi u kombinaciji sa tasterom -T koji vam omogućava da navedete vremenski razmak u sekundama na sljedeći način:
wget -t 10 -T 10 -i / putanje / do / inputfile
Gornja komanda će ponoviti 10 puta i pokušaće da se poveže 10 sekundi za svaku vezu u datoteci.
Takođe je prilično dosadna kada ste delimično preuzeli 75% datoteke od 4 gigabajta na sporu širokopojasnu vezu samo za povezivanje da biste napustili.
Možete koristiti Wget da biste pokušali ponovo pokušati odakle je prestao da preuzima koristeći sljedeću komandu:
wget -c www.myfileserver.com/file1.zip
Ako kucate na serveru, domaćinu se možda ne bi svideo previše i može blokirati ili jednostavno ubiti vaše zahtjeve.
Možete odrediti period čekanja koji određuje koliko dugo ćete čekati između svake pronalaska na sledeći način:
wget -w 60 -i / path / to / inputfile
Gornja komanda će čekati 60 sekundi između svakog preuzimanja. Ovo je korisno ako preuzimate puno datoteka iz jednog izvora.
Neki web domaćini mogu ipak primetiti frekvenciju i ionako će vas blokirati. Možete napraviti period čekanja na slučajan način da izgleda da ne koristite program na sledeći način:
wget -random-wait -i / path / do / inputfile
Zaštita granica preuzimanja
Mnogi provajderi internet usluga i dalje primjenjuju ograničenja za korištenje vašeg širokopojasnog pristupa, posebno ako živite izvan grada.
Možda ćete želeti da dodate kvotu tako da ne duvate tu granicu preuzimanja. To možete učiniti na sledeći način:
wget-q 100m -i / putanje / do / inputfile
Imajte na umu da komanda -q neće raditi sa jednim fajlom.
Dakle, ako preuzmete datoteku veličine 2 gigabajta, pomoću -q 1000m neće se zaustaviti preuzimanje datoteka.
Kvota se primenjuje samo kada se rekurzivno preuzima sa lokacije ili kada se koristi ulazna datoteka.
Dobivanje kroz sigurnost
Neke stranice zahtevaju da se prijavite da biste mogli pristupiti sadržaju koji želite da preuzmete.
Možete koristiti sljedeće prekidače kako biste odredili korisničko ime i lozinku.
wget --user = yourusername --password = yourpassword
Napomena o višekorisničkom sistemu ako neko pokrene naredbu ps moći će da vidi vaše korisničko ime i lozinku.
Druge opcije za preuzimanje
Podrazumevano, -r prekidač će rekurzivno preuzeti sadržaj i kreirati direktorijume.
Sve datoteke možete preuzeti na jedan folder pomoću sledećeg prekidača:
wget-i -r
Nasuprot ovome je prisiljavanje kreiranja direktorija koje se mogu postići koristeći sljedeću naredbu:
wget -x -r
Kako preuzeti određene tipove datoteka
Ako želite da preuzmete rekurzivno sa sajta, ali želite samo da preuzmete određeni tip datoteke, kao što je mp3 ili slika kao što je png, možete koristiti sledeću sintaksu:
wget -A "* .mp3" -r
Povratak ovoga je ignorisanje određenih datoteka. Možda ne želite da preuzimate izvršne datoteke. U ovom slučaju koristite sledeću sintaksu:
wget -R "* .exe" -r
Cliget
Postoji Firefox dodatak nazvan kliget. To možete dodati Firefoxu na sledeći način.
Posetite https://addons.mozilla.org/en-US/firefox/addon/cliget/ i kliknite na dugme "add to Firefox".
Kliknite na dugme za instalaciju kada se pojavi. Potrebno je da ponovo pokrenete Firefox.
Da biste koristili kliget, posetite stranicu ili datoteku koju želite da preuzmete i desnim tasterom miša. Kontekst meni će se pojaviti pod nazivom cliget i biće dostupne opcije za "kopiranje na wget" i "kopiranje na curl".
Kliknite na opciju "copy to wget" i otvorite prozor terminala, a zatim kliknite desnim tasterom i nalepite. U prozoru će se dodati odgovarajuća komanda wget.
U suštini, ovo vam štedi samu sebe da sami unosite komandu.
Sažetak
Wget komanda kao veliki broj opcija i prekidača.
Stoga vrijedi čitati stranicu s uputama za Wget tako što ćete uneti sljedeće u terminalni prozor:
čovek wget