diff --git a/download_pads.sh b/download_pads.sh index 7fbe3f0..671d9df 100755 --- a/download_pads.sh +++ b/download_pads.sh @@ -6,15 +6,29 @@ set -ex start_date="2017-06-29" end_date="2024-09-19" -# Schleife über alle Daten im zweiwöchigen Rhythmus +# Schleife über alle Daten im wöchentlichen Rhythmus current_date=$start_date -while [[ "$current_date" < "$end_date" ]]; do +while [[ "$(date -d "$current_date" +%s)" -le "$(date -d "$end_date" +%s)" ]]; do # URL generieren url="https://pad.stratum0.org/p/dc-$current_date/export/markdown" - # Datei herunterladen und mit angepasstem Namen speichern - wget "$url" -O "dc-$current_date.md" + # Temporärer Dateiname + temp_file="temp_dc-$current_date.md" - # Datum um zwei Wochen erhöhen - current_date=$(date -I -d "$current_date + 14 days") + # Datei herunterladen + wget "$url" -O "$temp_file" -q + + # Überprüfen der Dateigröße + if [[ -f "$temp_file" && $(stat -c%s "$temp_file") -gt 454 ]]; then + # Datei umbenennen, wenn sie größer als 454 Bytes ist + mv "$temp_file" "dc-$current_date.md" + echo "Datei dc-$current_date.md erfolgreich heruntergeladen und gespeichert." + else + # Datei löschen, wenn sie nicht existiert oder zu klein ist + rm -f "$temp_file" + echo "Datei dc-$current_date.md nicht verfügbar oder zu klein." + fi + + # Datum um eine Woche erhöhen + current_date=$(date -I -d "$current_date + 7 days") done