URLs aus Links automatisch auslesen?

[Insanus]

0

Hi,

Es gibt doch bestimmt ein Progrämmchen, mit denen man von einer Website die URLs aus den Links auslesen kann, um daraus eine Art Linkliste bzw. Downloadliste zu basteln.

Konkret will ich von der Backupseite von http://www.recordedamigagames.org/ alle URLs der Videos auslesen und diese dann in mein NAS Downloadmanager füttern, damit das sauber über Nacht alles runterlädt.

Tipps? Tricks? Hinweise?

[Atreyu]

0

Hm, mit dem Source der Site und den JD geht es leider nicht, da die Links nicht absolut sind, sondern nur relative Positionen angeben... Da müsste man in der Tat ein kleines Script schreiben....

Ich probier nochmal was anderes...


Edit: Ist der Jdownloader für dich eine option? Ich habe alle Links so umgeändert, dass du die ganze Liste (als TXT) quasi nur kopieren brauchst und der JD fügt sie hinzu!

[Insanus]

0

Hab mit dem JDownloader noch nicht rumgespielt (taugt der was?), würde eigentlich das Downloadcenter vom Synology NAS nutzen. Aber vielleicht kann ich das auch im Downloadcenter vom NAS einlesen? Würd ich morgen oder so mal probieren.

[Atreyu]

0

Du bist hier im Board und hast noch nie den JD verwendet?? Da muss ich echt staunen

Naja, der JD überwacht deine Zwischenablage. Du kopierst einfach die Links und schon sind sie alle in deiner Download-Liste.

[Fexel]

0

JD ist ein absolut geiles und praktisches Programm!

[Atreyu]

0

Meine Rede.


Aber egal, ich habe per RegEx alle Links extrahiert und downloadtauglich gemacht. Ich hänge die TXT mal hier an den Post an, kannst sie sonstwo eintragen...

[Mustrum]

0

Für Firefox gibt es das Add-On Snap Links Plus, habe es aber nicht probiert da falscher Browser.

https://addons.mozilla.org/de/firefox/ad...LinksPlus/

Für Chrome-Browser gibt es zB. Linkclump:

https://chrome.google.com/webstore/detai...fefj?hl=de

Linkbereich markieren und die Links kopieren. Dann die Links aus der Zwischenablage mit einem Programm deiner Wahl (JD, wget, usw.) runterladen.

[Atreyu]

0

Das Problem bei diesen Links bestand darin, dass sie relativ waren. Zudem nimmt der JD keine Links, die Leerzeichen enthalten. Diese musste ich mit %20 ersetzen. Aber mit dem Liste müsste alles klappen, ich habs mit dem JD kurz getestet...

[tomwatayan]

0

Der Free Download Manager funktioniert bei genau dieser Seite auch super: Da gibt's im Rechtsklick-Kontextmenü die Option "Download all with Free Download Manager" und der erkennt die relativen Links und lädt die Dateien anschließend problemfrei runter.

[Insanus]

0

Ich hab nicht ganz kapiert, wie Du die txt erstellt hast, aber das ist mehr als geil. Hab die txt (bzw. zu Testzwecken einen Teil davon, der Rest folgt demnächst) im Synology Downloadcenter importiert und los geht die Kiste.

Sehr, sehr geil, danke dafür. Hätt mir einiges an Zeit für die ersten 600 Videos erspart

Nochmal kurz zum Mitschreiben. Du hast jetzt das Programm RegEx verwendet, um die Links zu extrahieren, richtig? Hab kurz gegoogelt, aber bei "RegEx" oder "RegEx programm" find ich nix passendes. Kannst Du das in wenigen Sätzen für den Nicht-Profi erklären und nen Link posten?

Danke nochmal, ich lad derweilen mal weiter Amiga Longplays

[Atreyu]

0

Erstmal: Bittschön

RegEx ist kein Programm. Es ist vielmehr eine Parser-Sprache, die man beispielsweise in PHP oder auch in Notepad einsetzen kann. Reguläre Ausdrücke (Regular Expressions) sind logische Ausdrücke, mit denen man Texte oder Zeichenketten filtern kann.

Mehr dazu hier: http://regexp-evaluator.de/tutorial/

Notepad++ unterstütz Reguläre Ausdrücke und so konnte ich beispielsweise alle HTML-Tags und Leerzeilen entfernen, sowie Leerzeichen mit "%20" ersetzen (Wobei hier ein normales Replace auch ausreicht). Leider sind meine Kenntnisse sehr eingerostet und ich hatte etwas Mühe damit.
Früher, als ich noch in PHP programmiert habe, konnte ich z.B. per RegEx E-Mail-Adressen auf ihre Gültigkeit überprüfen, es gibt dafür relativ komplexe Audrücke (z.B. dass eine Zeichenkette mit bestimmten, erlaubten Buchstaben, gefolgt von einem "@" kommen muss. Danach muss wieder eine Zeichenkette mit einem "." kommen, hinter dem wieder eine kurze Zeichenkette steht, z.B. "de" oder "com", etc..).
Wenn man sowas beherrscht, kann man Texte sehr schnell überarbeiten, es ist eine mächtige Sache!

[Insanus]

0

Beeindruckend. Ich hab von dem Zeugs leider keine Ahnung, vielleicht schau ich mir sowas mal an, wenn ich mal gaaanz viel Zeit hab, aber ich glaub bei mir scheitert es schon am nicht vorhandenen Basiswissen.

Danke nochmal und bis spätestens zum nächsten "URL aus Link auslesen" Problem