From 9d4a5050e99411bd1c9c02a00d209de14f5ddf49 Mon Sep 17 00:00:00 2001 From: AkiNoKure Date: Wed, 11 Mar 2026 11:14:44 +0100 Subject: [PATCH 1/3] feat : rebuild-bdd-recette --- RecetteScripts/check-statut-recette.sh | 114 ++++-- RecetteScripts/rebuild-bdd-recette.sh | 508 +++++++++++++++++++++++++ 2 files changed, 580 insertions(+), 42 deletions(-) create mode 100644 RecetteScripts/rebuild-bdd-recette.sh diff --git a/RecetteScripts/check-statut-recette.sh b/RecetteScripts/check-statut-recette.sh index 380a30f..c7ae6bf 100644 --- a/RecetteScripts/check-statut-recette.sh +++ b/RecetteScripts/check-statut-recette.sh @@ -9,11 +9,11 @@ set -uo pipefail # # Fonctionnement global : # 1. charge la configuration depuis le fichier .env ; -# 2. vérifie que le DNS du site est résolu ; +# 2. vérifie le DNS de chaque application ; # 3. effectue une requête HTTP avec curl ; -# 4. analyse le code HTTP retourné ; -# 5. écrit le résultat dans un fichier de log local ; -# 6. envoie une notification Discord avec l’état du service. +# 4. écrit le résultat dans un fichier de log local ; +# 5. construit un message récapitulatif unique ; +# 6. envoie une seule notification Discord avec tous les statuts. ############################################################################### ####################################### @@ -68,34 +68,12 @@ LOG_FILE="${LOG_DIR}/app_health_$(date +'%Y-%m-%d').log" DISCORD_WEBHOOK_URL="${DISCORD_WEBHOOK_URL:-}" DISCORD_PING="${DISCORD_PING:-@here}" -discord_ping() { - local site="$1" - local status="$2" - local detail="$3" +####################################### +# Variables globales de synthèse +####################################### - [[ -z "${DISCORD_WEBHOOK_URL:-}" ]] && return 0 - - local color icon ping_prefix="" - if [[ "$status" == "OK" ]]; then - color="🟢" - icon="✅" - else - color="🔴" - icon="❌" - ping_prefix="${DISCORD_PING} " - fi - - local msg="**${ping_prefix}CHECK APP ${ENV_NAME} $color**\n" - msg+="Application: ${site}\n" - msg+="Details: ${detail}" - - local payload - payload="$(jq -n --arg content "$msg" '{content: $content}')" - - curl -fsS -H "Content-Type: application/json" \ - -d "$payload" \ - "$DISCORD_WEBHOOK_URL" >/dev/null || true -} +SUMMARY_LINES=() +FAILURES=0 ####################################### # Logging @@ -104,8 +82,6 @@ discord_ping() { log_line() { printf "%s | %s | %s | %s\n" \ "$(date +'%Y-%m-%d %H:%M:%S')" "$1" "$2" "$3" | tee -a "$LOG_FILE" - - discord_ping "$2" "$1" "$3" } ####################################### @@ -116,22 +92,72 @@ dns_ok() { getent hosts "$1" >/dev/null 2>&1 } +####################################### +# Ajout au résumé Discord +####################################### + +add_summary_line() { + local site="$1" + local status="$2" + local detail="$3" + + local icon + if [[ "$status" == "OK" ]]; then + icon="✅" + else + icon="❌" + fi + + SUMMARY_LINES+=("${icon} ${site} : ${detail}") +} + +####################################### +# Envoi du message Discord récapitulatif +####################################### + +send_discord_summary() { + [[ -z "${DISCORD_WEBHOOK_URL:-}" ]] && return 0 + + local header_icon ping_prefix="" + if [[ "$FAILURES" -eq 0 ]]; then + header_icon="🟢" + else + header_icon="🔴" + ping_prefix="${DISCORD_PING} " + fi + + local msg="**${ping_prefix}CHECK APP ${ENV_NAME} ${header_icon}**" + msg+="\n" + + local line + for line in "${SUMMARY_LINES[@]}"; do + msg+="\n${line}" + done + + local payload + payload="$(jq -n --arg content "$msg" '{content: $content}')" + + curl -fsS -H "Content-Type: application/json" \ + -d "$payload" \ + "$DISCORD_WEBHOOK_URL" >/dev/null || true +} + ####################################### # Check application ####################################### check_site() { - local host="$1" local url="${SCHEME}://${host}/" if ! dns_ok "$host"; then log_line "DOWN" "$host" "Résolution impossible (getent hosts)" + add_summary_line "$host" "DOWN" "DOWN - DNS" return 1 fi - local http_code curl_exit stderr - + local http_code curl_exit err + local stderr stderr="$(mktemp)" http_code="$( @@ -141,31 +167,33 @@ check_site() { --max-time "$MAX_TIME" \ "$url" 2>"$stderr" )" - curl_exit=$? - if [ $curl_exit -ne 0 ]; then - local err + if [[ "$curl_exit" -ne 0 ]]; then err="$(head -n 1 "$stderr" | tr -d '\r')" rm -f "$stderr" log_line "DOWN" "$host" "curl exit=$curl_exit : ${err:-"(aucun)"}" + add_summary_line "$host" "DOWN" "DOWN - curl" return 1 fi rm -f "$stderr" if [[ "$http_code" =~ ^[0-9]{3}$ ]]; then - if [ "$http_code" -ge 200 ] && [ "$http_code" -le 399 ]; then + if [[ "$http_code" -ge 200 && "$http_code" -le 399 ]]; then log_line "OK" "$host" "HTTP $http_code" + add_summary_line "$host" "OK" "OK" return 0 fi log_line "DOWN" "$host" "HTTP $http_code (erreur appli)" + add_summary_line "$host" "DOWN" "DOWN - HTTP $http_code" return 1 fi log_line "DOWN" "$host" "Code HTTP inattendu: $http_code" + add_summary_line "$host" "DOWN" "DOWN - code HTTP invalide" return 1 } @@ -174,7 +202,6 @@ check_site() { ####################################### main() { - local failures=0 for site in "${SITES[@]}"; do @@ -183,7 +210,10 @@ main() { fi done - if [ "$failures" -gt 0 ]; then + FAILURES="$failures" + send_discord_summary + + if [[ "$failures" -gt 0 ]]; then exit 2 fi diff --git a/RecetteScripts/rebuild-bdd-recette.sh b/RecetteScripts/rebuild-bdd-recette.sh new file mode 100644 index 0000000..4443a1a --- /dev/null +++ b/RecetteScripts/rebuild-bdd-recette.sh @@ -0,0 +1,508 @@ +#!/usr/bin/env bash +set -euo pipefail + +############################################################################### +# restore-postgres-db.sh +# +# Finalité : +# Restaurer une base PostgreSQL à partir du dernier dump disponible sur un +# serveur distant. +# +# Fonctionnement global : +# 1. charge les variables depuis un fichier .env placé à côté du script ; +# 2. vérifie les dépendances locales nécessaires ; +# 3. détermine la base à restaurer ; +# 4. teste la connexion SSH au serveur distant ; +# 5. recherche automatiquement le dump .dump le plus récent ; +# 6. recherche automatiquement le fichier .sql des rôles le plus récent ; +# 7. télécharge les fichiers dans un dossier temporaire local ; +# 8. vérifie que le dump téléchargé est valide ; +# 9. demande confirmation si la base existe déjà ; +# 10. recrée la base si nécessaire ; +# 11. restaure éventuellement les rôles PostgreSQL ; +# 12. restaure le contenu de la base ; +# 13. supprime les fichiers temporaires. +# +# Hypothèses : +# - machine locale de restauration sous Linux Debian/Ubuntu ou macOS ; +# - serveur distant compatible GNU find si l'on utilise -printf ; +# - dumps PostgreSQL au format custom (.dump) ; +# - rôles exportés dans un fichier .sql rejouable. +############################################################################### + +############################################################################### +# Chargement du .env +# +# Le script cherche automatiquement un fichier .env dans le même dossier +# que lui. Cela évite d'avoir des chemins absolus codés en dur. +############################################################################### +SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" +ENV_FILE="${SCRIPT_DIR}/.env" + +if [[ ! -f "$ENV_FILE" ]]; then + echo "ERROR: fichier .env introuvable : $ENV_FILE" >&2 + exit 1 +fi + +set -a +# shellcheck disable=SC1090 +source "$ENV_FILE" +set +a + +############################################################################### +# Vérification des variables obligatoires +# +# Ces variables doivent exister dans le .env. Sans elles, le script ne peut +# pas fonctionner correctement. +############################################################################### +: "${PGHOST:?Variable PGHOST manquante}" +: "${PGPORT:?Variable PGPORT manquante}" +: "${PGUSER:?Variable PGUSER manquante}" +: "${PGPASSWORD:?Variable PGPASSWORD manquante}" +: "${BACKUP_LOG_DIR:?Variable BACKUP_LOG_DIR manquante}" +: "${SSH_KEY:?Variable SSH_KEY manquante}" +: "${IA_SSH:?Variable IA_SSH manquante}" +: "${IA_BASE_DIR:?Variable IA_BASE_DIR manquante}" + +############################################################################### +# Variables optionnelles +# +# Valeurs par défaut appliquées si elles ne sont pas définies dans le .env. +############################################################################### +SSH_TIMEOUT="${SSH_TIMEOUT:-10}" + +# Nom du dossier distant contenant les exports SQL des rôles PostgreSQL. +# Exemple distant : +# /home/backup/backups/user +REMOTE_ROLES_DIR_NAME="${REMOTE_ROLES_DIR_NAME:-user}" + +############################################################################### +# Mise en place des logs +# +# Tous les messages stdout/stderr sont redirigés vers la console ET vers +# un fichier de log horodaté. +############################################################################### +mkdir -p "$BACKUP_LOG_DIR" +LOG_FILE="${BACKUP_LOG_DIR}/restore_$(date +'%Y-%m-%d_%H-%M-%S').log" +touch "$LOG_FILE" + +exec > >(tee -a "$LOG_FILE") 2>&1 + +############################################################################### +# Fonctions utilitaires +############################################################################### + +# Écrit un message daté dans les logs. +log() { + echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" +} + +# Affiche une erreur puis quitte le script. +fail() { + echo "ERROR: $*" >&2 + exit 1 +} + +# Vérifie que le nom de base est acceptable. +# +# Règle choisie ici : +# - lettres +# - chiffres +# - underscore +# +# Cela évite beaucoup de problèmes d'injection ou de nom invalide. +validate_db_name() { + local db_name="$1" + + [[ -n "$db_name" ]] || return 1 + [[ "$db_name" =~ ^[a-zA-Z0-9_]+$ ]] || return 1 + + return 0 +} + +# Vérifie qu'une commande existe. +require_command() { + local cmd="$1" + command -v "$cmd" >/dev/null 2>&1 +} + +# Petite fonction de confirmation utilisateur. +# Retourne 0 si oui, 1 sinon. +confirm_yes_no() { + local prompt="$1" + local answer="" + + read -r -p "$prompt" answer + case "${answer,,}" in + oui|o|yes|y) return 0 ;; + *) return 1 ;; + esac +} + +############################################################################### +# Installation des dépendances manquantes +# +# On privilégie ici les clients PostgreSQL plutôt que l'installation complète +# du serveur si ce n'est pas nécessaire. +############################################################################### +install_postgres_client() { + log "Installation des outils PostgreSQL..." + + if require_command apt-get; then + sudo apt-get update + sudo apt-get install -y postgresql-client + elif require_command brew; then + brew install postgresql + else + fail "impossible d'installer automatiquement les outils PostgreSQL : gestionnaire non supporté" + fi +} + +install_scp_client() { + log "Installation de OpenSSH client..." + + if require_command apt-get; then + sudo apt-get update + sudo apt-get install -y openssh-client + elif require_command brew; then + fail "scp / ssh introuvable sur macOS. Installe OpenSSH manuellement." + else + fail "impossible d'installer automatiquement openssh-client : gestionnaire non supporté" + fi +} + +############################################################################### +# Résolution du nom de la base à restaurer +# +# Priorité : +# 1. variable DB si elle existe déjà +# 2. sélection depuis DBS si défini dans le .env +# 3. saisie manuelle +# +# IMPORTANT : +# - les messages d'interface sont envoyés sur stderr ; +# - seul le résultat final (nom de base) est envoyé sur stdout. +# +# Cela évite de polluer la variable récupérée via : +# DB="$(resolve_db_name)" +############################################################################### +resolve_db_name() { + local selected_db="" + local choice="" + local custom_db="" + local -a dbs_array=() + + if [[ -n "${DB:-}" ]]; then + printf '%s\n' "$DB" + return 0 + fi + + if [[ -n "${DBS:-}" ]]; then + read -r -a dbs_array <<< "$DBS" + + if [[ "${#dbs_array[@]}" -gt 0 ]]; then + echo "Bases disponibles dans le .env :" >&2 + for i in "${!dbs_array[@]}"; do + printf ' %d) %s\n' "$((i + 1))" "${dbs_array[$i]}" >&2 + done + echo >&2 + + read -r -p "Voulez-vous utiliser une base de cette liste ? (oui/non) : " choice + + case "${choice,,}" in + oui|o|yes|y) + while true; do + read -r -p "Sélectionnez le numéro de la base à restaurer : " selected_db + + if [[ "$selected_db" =~ ^[0-9]+$ ]] && (( selected_db >= 1 && selected_db <= ${#dbs_array[@]} )); then + printf '%s\n' "${dbs_array[$((selected_db - 1))]}" + return 0 + fi + + echo "Choix invalide. Veuillez entrer un numéro entre 1 et ${#dbs_array[@]}." >&2 + done + ;; + non|n|no) + read -r -p "Entrez le nom de la base à restaurer hors liste : " custom_db + printf '%s\n' "$custom_db" + return 0 + ;; + *) + echo "Réponse invalide. Saisie manuelle de la base." >&2 + read -r -p "Entrez le nom de la base à restaurer : " custom_db + printf '%s\n' "$custom_db" + return 0 + ;; + esac + fi + fi + + read -r -p "Aucune base définie via DB ou DBS. Entrez le nom de la base à restaurer : " custom_db + printf '%s\n' "$custom_db" +} + +############################################################################### +# Détermination de la base cible +############################################################################### +DB="$(resolve_db_name)" + +if ! validate_db_name "$DB"; then + fail "nom de base invalide : '$DB'. Caractères autorisés : lettres, chiffres, underscore." +fi + +log "Base cible sélectionnée : $DB" + +############################################################################### +# Vérification des dépendances locales +############################################################################### +if ! require_command psql; then + log "psql introuvable." + install_postgres_client +fi + +if ! require_command pg_restore; then + log "pg_restore introuvable." + install_postgres_client +fi + +if ! require_command createdb; then + log "createdb introuvable." + install_postgres_client +fi + +if ! require_command dropdb; then + log "dropdb introuvable." + install_postgres_client +fi + +if ! require_command ssh; then + log "ssh introuvable." + install_scp_client +fi + +if ! require_command scp; then + log "scp introuvable." + install_scp_client +fi + +############################################################################### +# Vérification de la clé SSH +############################################################################### +[[ -f "$SSH_KEY" ]] || fail "clé SSH introuvable : $SSH_KEY" + +############################################################################### +# Configuration SSH +# +# BatchMode=yes : +# empêche les demandes interactives de mot de passe. +# +# IdentitiesOnly=yes : +# force l'usage de la clé fournie. +############################################################################### +SSH_OPTS=( + -i "$SSH_KEY" + -o IdentitiesOnly=yes + -o BatchMode=yes + -o ConnectTimeout="$SSH_TIMEOUT" +) + +############################################################################### +# Test de connexion SSH +# +# On teste la connexion immédiatement pour échouer tôt si le serveur distant +# n'est pas joignable ou si la clé n'est pas acceptée. +############################################################################### +log "Test de connexion SSH vers ${IA_SSH}..." +ssh "${SSH_OPTS[@]}" "$IA_SSH" "echo OK" >/dev/null 2>&1 \ + || fail "connexion SSH impossible vers ${IA_SSH}" + +############################################################################### +# Définition des chemins distants +# +# Structure attendue : +# $IA_BASE_DIR/$DB/ -> contient les dumps .dump de la base +# $IA_BASE_DIR/$REMOTE_ROLES_DIR_NAME/ -> contient les exports .sql des rôles +############################################################################### +REMOTE_DUMP_DIR="${IA_BASE_DIR}/${DB}" +REMOTE_ROLES_DIR="${IA_BASE_DIR}/${REMOTE_ROLES_DIR_NAME}" + +log "Recherche du dernier dump distant pour ${DB} dans : $REMOTE_DUMP_DIR" +log "Recherche du dernier fichier de rôles dans : $REMOTE_ROLES_DIR" + +############################################################################### +# Recherche automatique du dump le plus récent +# +# On cherche tous les fichiers .dump dans le dossier distant de la base, +# puis on les trie par date de modification décroissante. +# +# Le premier résultat est donc le plus récent. +############################################################################### +REMOTE_DUMP_PATH="$( + ssh "${SSH_OPTS[@]}" "$IA_SSH" " + if [ -d '$REMOTE_DUMP_DIR' ]; then + find '$REMOTE_DUMP_DIR' -maxdepth 1 -type f -name '*.dump' -printf '%T@ %p\n' 2>/dev/null \ + | sort -nr \ + | head -n 1 \ + | cut -d' ' -f2- + fi + " +)" + +if [[ -z "$REMOTE_DUMP_PATH" ]]; then + fail "aucun dump distant trouvé dans : $REMOTE_DUMP_DIR" +fi + +REMOTE_DUMP_FILE="$(basename "$REMOTE_DUMP_PATH")" + +############################################################################### +# Recherche automatique du dernier fichier des rôles +# +# Ce fichier n'est pas obligatoire pour restaurer la base elle-même. +# Si aucun fichier de rôles n'est trouvé, le script continue quand même. +############################################################################### +REMOTE_ROLES_PATH="$( + ssh "${SSH_OPTS[@]}" "$IA_SSH" " + if [ -d '$REMOTE_ROLES_DIR' ]; then + find '$REMOTE_ROLES_DIR' -maxdepth 1 -type f -name '*.sql' -printf '%T@ %p\n' 2>/dev/null \ + | sort -nr \ + | head -n 1 \ + | cut -d' ' -f2- + fi + " +)" + +REMOTE_ROLES_FILE="" +if [[ -n "$REMOTE_ROLES_PATH" ]]; then + REMOTE_ROLES_FILE="$(basename "$REMOTE_ROLES_PATH")" +fi + +log "Dernier dump distant sélectionné : $REMOTE_DUMP_PATH" +if [[ -n "$REMOTE_ROLES_PATH" ]]; then + log "Dernier fichier des rôles sélectionné : $REMOTE_ROLES_PATH" +else + log "Aucun fichier des rôles trouvé sur le serveur distant." +fi + +############################################################################### +# Dossier temporaire local +# +# Les fichiers téléchargés sont stockés dans un dossier temporaire, puis +# supprimés automatiquement à la fin du script. +############################################################################### +TMP_DIR="$(mktemp -d)" +LOCAL_DUMP_PATH="${TMP_DIR}/${REMOTE_DUMP_FILE}" +LOCAL_ROLES_PATH="" + +cleanup() { + rm -rf "$TMP_DIR" +} +trap cleanup EXIT + +############################################################################### +# Téléchargement du dump et des rôles +############################################################################### +log "Téléchargement du dump..." +scp "${SSH_OPTS[@]}" "${IA_SSH}:${REMOTE_DUMP_PATH}" "$LOCAL_DUMP_PATH" + +if [[ ! -f "$LOCAL_DUMP_PATH" ]]; then + fail "échec du téléchargement du dump : fichier local introuvable" +fi + +if [[ -n "$REMOTE_ROLES_PATH" ]]; then + LOCAL_ROLES_PATH="${TMP_DIR}/${REMOTE_ROLES_FILE}" + log "Téléchargement du fichier des rôles..." + scp "${SSH_OPTS[@]}" "${IA_SSH}:${REMOTE_ROLES_PATH}" "$LOCAL_ROLES_PATH" + + if [[ ! -f "$LOCAL_ROLES_PATH" ]]; then + fail "échec du téléchargement du fichier des rôles" + fi +else + log "La restauration des rôles sera ignorée." +fi + +############################################################################### +# Vérification du format du dump +# +# pg_restore --list permet de vérifier que le fichier est bien un dump +# PostgreSQL lisible au format attendu. +############################################################################### +if ! pg_restore --list "$LOCAL_DUMP_PATH" >/dev/null 2>&1; then + fail "le fichier téléchargé n'est pas un dump PostgreSQL valide : $LOCAL_DUMP_PATH" +fi + +############################################################################### +# Vérification de l'existence de la base +# +# Si la base existe déjà, on demande explicitement à l'utilisateur s'il veut +# l'écraser. Sinon, on la crée simplement. +############################################################################### +DB_EXISTS="false" +if psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -tAc \ + "SELECT 1 FROM pg_database WHERE datname = '$DB'" | grep -q '^1$'; then + DB_EXISTS="true" +fi + +if [[ "$DB_EXISTS" == "true" ]]; then + if confirm_yes_no "La base '${DB}' existe déjà. Voulez-vous l'écraser ? (oui/non) : "; then + log "Suppression de la base existante : $DB" + + # Coupe les connexions actives sur la base pour permettre sa suppression. + psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -c \ + "SELECT pg_terminate_backend(pid) + FROM pg_stat_activity + WHERE datname = '$DB' + AND pid <> pg_backend_pid();" >/dev/null + + dropdb -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" "$DB" + createdb -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" "$DB" + else + log "Restauration annulée par l'utilisateur." + exit 0 + fi +else + log "Création de la base : $DB" + createdb -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" "$DB" +fi + +############################################################################### +# Restauration éventuelle des rôles PostgreSQL +# +# Cette étape est optionnelle. Elle permet par exemple de recréer des rôles +# ou utilisateurs nécessaires avant la restauration de la base. +# +# Attention : +# le fichier doit être conçu pour être rejouable sans casser l'existant. +############################################################################### +if [[ -n "$LOCAL_ROLES_PATH" && -f "$LOCAL_ROLES_PATH" ]]; then + log "Restauration des rôles PostgreSQL..." + psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -f "$LOCAL_ROLES_PATH" +else + log "Aucune restauration des rôles effectuée." +fi + +############################################################################### +# Restauration de la base +# +# --clean / --if-exists : +# demande à pg_restore de supprimer les objets avant de les recréer. +# +# --no-owner : +# évite les problèmes si le propriétaire original n'existe pas localement. +# +# --verbose : +# détaille la restauration dans les logs. +############################################################################### +log "Restauration de la base '${DB}' depuis ${LOCAL_DUMP_PATH}..." + +pg_restore \ + -h "$PGHOST" \ + -p "$PGPORT" \ + -U "$PGUSER" \ + -d "$DB" \ + --clean \ + --if-exists \ + --no-owner \ + --verbose \ + "$LOCAL_DUMP_PATH" + +log "Restauration terminée avec succès pour la base : $DB" \ No newline at end of file From fabc9be4d46d8a9d16e04dcfe79b85065d7aeb66 Mon Sep 17 00:00:00 2001 From: AkiNoKure Date: Wed, 11 Mar 2026 17:11:30 +0100 Subject: [PATCH 2/3] fix : pb chemin env --- BackupVaultWarden/backup-vaultwarden.sh | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/BackupVaultWarden/backup-vaultwarden.sh b/BackupVaultWarden/backup-vaultwarden.sh index 8947f9b..8d226bf 100644 --- a/BackupVaultWarden/backup-vaultwarden.sh +++ b/BackupVaultWarden/backup-vaultwarden.sh @@ -5,7 +5,7 @@ set -euo pipefail # Chemins fixes du script ####################################### SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" -ENV_FILE="/home/matt/vaultwarden/Malio-ops/BackupVaultWarden/.env" +ENV_FILE="${SCRIPT_DIR}/.env" LOG_FILE="/var/log/vaultwarden_backup.log" mkdir -p "$(dirname "$LOG_FILE")" From e221e82108105062c95a143b22901b90948c0c30 Mon Sep 17 00:00:00 2001 From: AkiNoKure Date: Thu, 12 Mar 2026 09:49:35 +0100 Subject: [PATCH 3/3] feat : script de reconstruction de bdd --- RecetteScripts/backup-bdd-recette.sh | 140 +++-- RecetteScripts/check-statut-recette.sh | 3 +- RecetteScripts/rebuild-bdd-recette.sh | 677 +++++++++++-------------- 3 files changed, 411 insertions(+), 409 deletions(-) diff --git a/RecetteScripts/backup-bdd-recette.sh b/RecetteScripts/backup-bdd-recette.sh index 03a1a15..7809cad 100644 --- a/RecetteScripts/backup-bdd-recette.sh +++ b/RecetteScripts/backup-bdd-recette.sh @@ -92,8 +92,23 @@ exec > >(tee -a "$LOG_FILE") 2>&1 log() { echo "---- $(date +'%Y-%m-%d %H:%M:%S') ---- $*"; } +require_cmd() { + command -v "$1" >/dev/null 2>&1 +} + export PGPASSWORD +####################################### +# Vérification dépendances minimales +####################################### + +for cmd in ssh scp curl jq pg_dump pg_dumpall; do + require_cmd "$cmd" || { + echo "ERROR: commande manquante : $cmd" >&2 + exit 1 + } +done + ####################################### # Configuration Discord ####################################### @@ -122,11 +137,14 @@ discord_send() { ####################################### discord_msg_global_ok() { - local msg="**BACKUP BDD ${ENV_NAME} 🟢**\n" - msg+="Name: ${BACKUP_DIR_NAME}\n" - msg+="Dumps transfer: ✅\n" - msg+="Users transfer: ✅" - + local msg + msg="$(cat </dev/null; then exit 1 fi -trap 'rm -rf "$LOCK_DIR"' EXIT +trap 'rm -rf "$LOCK_DIR" "$TMP_DIR"' EXIT ####################################### # Préparation du dossier distant @@ -240,13 +291,18 @@ fi # Export des rôles PostgreSQL ####################################### -ROLES_FILE="${TMP_DIR}/user_${TS}.dump" +ROLES_FILE="${TMP_DIR}/user_${TS}.sql" set +e -psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -Atq <<'SQL' > "$ROLES_FILE" -SELECT rolname FROM pg_roles WHERE rolname !~ '^pg_'; -SQL +log "Export des rôles PostgreSQL" + +pg_dumpall \ + -h "$PGHOST" \ + -p "$PGPORT" \ + -U "$PGUSER" \ + --globals-only \ + > "$ROLES_FILE" RET=$? @@ -254,18 +310,24 @@ if [[ $RET -ne 0 ]]; then USERS_OK= USERS_EXPORT_OK= USERS_DETAILS="roles export failed" +else + log "Export des rôles OK : $ROLES_FILE" fi -scp "${SSH_OPTS[@]}" "$ROLES_FILE" "$IA_SSH:${REMOTE_DIR}/user/" -RET=$? +if [[ -n "${USERS_EXPORT_OK:-}" ]]; then + scp "${SSH_OPTS[@]}" "$ROLES_FILE" "$IA_SSH:${REMOTE_DIR}/user/" + RET=$? -if [[ $RET -ne 0 ]]; then - USERS_OK= - USERS_TRANSFER_OK= - if [[ -n "$USERS_DETAILS" ]]; then - USERS_DETAILS+=" | roles transfer failed" + if [[ $RET -ne 0 ]]; then + USERS_OK= + USERS_TRANSFER_OK= + if [[ -n "$USERS_DETAILS" ]]; then + USERS_DETAILS+=" | roles transfer failed" + else + USERS_DETAILS="roles transfer failed" + fi else - USERS_DETAILS="roles transfer failed" + log "Transfert des rôles OK" fi fi @@ -317,11 +379,13 @@ log "Starting remote rotation: delete backups older than ${RETENTION_DAYS} days" set +e -ssh "${SSH_OPTS[@]}" "$IA_SSH" "find '${REMOTE_DIR}/user' -type f -name 'user_*.dump' -mtime +${RETENTION_DAYS} -delete" +ssh "${SSH_OPTS[@]}" "$IA_SSH" "find '${REMOTE_DIR}/user' -type f -name 'user_*.sql' -mtime +${RETENTION_DAYS} -delete" RET=$? if [[ $RET -ne 0 ]]; then log "ERROR: remote rotation failed for users" +else + log "Remote rotation OK for users" fi for DB in "${DBS_ARRAY[@]}"; do diff --git a/RecetteScripts/check-statut-recette.sh b/RecetteScripts/check-statut-recette.sh index c7ae6bf..23b1d65 100644 --- a/RecetteScripts/check-statut-recette.sh +++ b/RecetteScripts/check-statut-recette.sh @@ -127,11 +127,10 @@ send_discord_summary() { fi local msg="**${ping_prefix}CHECK APP ${ENV_NAME} ${header_icon}**" - msg+="\n" local line for line in "${SUMMARY_LINES[@]}"; do - msg+="\n${line}" + msg+=$'\n'"${line}" done local payload diff --git a/RecetteScripts/rebuild-bdd-recette.sh b/RecetteScripts/rebuild-bdd-recette.sh index 4443a1a..4e61a95 100644 --- a/RecetteScripts/rebuild-bdd-recette.sh +++ b/RecetteScripts/rebuild-bdd-recette.sh @@ -2,498 +2,424 @@ set -euo pipefail ############################################################################### -# restore-postgres-db.sh +# rebuild-bdd-recette.sh # -# Finalité : -# Restaurer une base PostgreSQL à partir du dernier dump disponible sur un -# serveur distant. +# Script de reconstruction d'une base PostgreSQL à partir d'un dump distant. # # Fonctionnement global : -# 1. charge les variables depuis un fichier .env placé à côté du script ; -# 2. vérifie les dépendances locales nécessaires ; -# 3. détermine la base à restaurer ; -# 4. teste la connexion SSH au serveur distant ; -# 5. recherche automatiquement le dump .dump le plus récent ; -# 6. recherche automatiquement le fichier .sql des rôles le plus récent ; -# 7. télécharge les fichiers dans un dossier temporaire local ; -# 8. vérifie que le dump téléchargé est valide ; -# 9. demande confirmation si la base existe déjà ; -# 10. recrée la base si nécessaire ; -# 11. restaure éventuellement les rôles PostgreSQL ; -# 12. restaure le contenu de la base ; -# 13. supprime les fichiers temporaires. -# -# Hypothèses : -# - machine locale de restauration sous Linux Debian/Ubuntu ou macOS ; -# - serveur distant compatible GNU find si l'on utilise -printf ; -# - dumps PostgreSQL au format custom (.dump) ; -# - rôles exportés dans un fichier .sql rejouable. +# 1. charge la configuration depuis le fichier .env ; +# 2. prépare les chemins, logs et options SSH ; +# 3. installe PostgreSQL si absent ; +# 4. démarre PostgreSQL si nécessaire ; +# 5. crée le rôle PGUSER uniquement si PostgreSQL vient d'être installé ; +# 6. propose à l'utilisateur de choisir une base à reconstruire ; +# 7. teste la connexion SSH au serveur distant ; +# 8. recherche le dernier dump distant de la base choisie ; +# 9. recherche le dernier fichier SQL des rôles dans le dossier "user" ; +# 10. télécharge les fichiers nécessaires ; +# 11. restaure les rôles via psql (avec filtrage des rôles sensibles) ; +# 12. supprime puis recrée la base cible ; +# 13. restaure la base choisie via pg_restore ; +# 14. envoie une notification Discord si tout s'est bien passé. ############################################################################### ############################################################################### -# Chargement du .env -# -# Le script cherche automatiquement un fichier .env dans le même dossier -# que lui. Cela évite d'avoir des chemins absolus codés en dur. +# Chemins fixes du script ############################################################################### SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" ENV_FILE="${SCRIPT_DIR}/.env" +############################################################################### +# Vérification du fichier .env +############################################################################### if [[ ! -f "$ENV_FILE" ]]; then echo "ERROR: fichier .env introuvable : $ENV_FILE" >&2 exit 1 fi +############################################################################### +# Chargement du .env +############################################################################### set -a # shellcheck disable=SC1090 source "$ENV_FILE" set +a ############################################################################### -# Vérification des variables obligatoires -# -# Ces variables doivent exister dans le .env. Sans elles, le script ne peut -# pas fonctionner correctement. +# Variables obligatoires ############################################################################### +: "${ENV_NAME:?Variable ENV_NAME manquante}" : "${PGHOST:?Variable PGHOST manquante}" : "${PGPORT:?Variable PGPORT manquante}" : "${PGUSER:?Variable PGUSER manquante}" : "${PGPASSWORD:?Variable PGPASSWORD manquante}" -: "${BACKUP_LOG_DIR:?Variable BACKUP_LOG_DIR manquante}" +: "${DBS:?Variable DBS manquante}" +: "${BACKUP_REMOTE_USER:?Variable BACKUP_REMOTE_USER manquante}" +: "${BACKUP_REMOTE_HOST:?Variable BACKUP_REMOTE_HOST manquante}" +: "${BACKUP_REMOTE_DIR:?Variable BACKUP_REMOTE_DIR manquante}" : "${SSH_KEY:?Variable SSH_KEY manquante}" -: "${IA_SSH:?Variable IA_SSH manquante}" -: "${IA_BASE_DIR:?Variable IA_BASE_DIR manquante}" +: "${BACKUP_LOG_DIR:?Variable BACKUP_LOG_DIR manquante}" ############################################################################### # Variables optionnelles -# -# Valeurs par défaut appliquées si elles ne sont pas définies dans le .env. ############################################################################### -SSH_TIMEOUT="${SSH_TIMEOUT:-10}" - -# Nom du dossier distant contenant les exports SQL des rôles PostgreSQL. -# Exemple distant : -# /home/backup/backups/user +LOCAL_RESTORE_DIR="${LOCAL_RESTORE_DIR:-${SCRIPT_DIR}/restore_tmp}" REMOTE_ROLES_DIR_NAME="${REMOTE_ROLES_DIR_NAME:-user}" +SSH_CONNECT_TIMEOUT="${SSH_CONNECT_TIMEOUT:-8}" +DISCORD_WEBHOOK_URL="${DISCORD_WEBHOOK_URL:-}" ############################################################################### -# Mise en place des logs -# -# Tous les messages stdout/stderr sont redirigés vers la console ET vers -# un fichier de log horodaté. +# Préparation des dossiers locaux ############################################################################### -mkdir -p "$BACKUP_LOG_DIR" -LOG_FILE="${BACKUP_LOG_DIR}/restore_$(date +'%Y-%m-%d_%H-%M-%S').log" -touch "$LOG_FILE" +mkdir -p "$BACKUP_LOG_DIR" || { + echo "ERROR: impossible de créer le dossier de logs : $BACKUP_LOG_DIR" >&2 + exit 1 +} -exec > >(tee -a "$LOG_FILE") 2>&1 +mkdir -p "$LOCAL_RESTORE_DIR" || { + echo "ERROR: impossible de créer le dossier local de restauration : $LOCAL_RESTORE_DIR" >&2 + exit 1 +} + +TIMESTAMP="$(date '+%Y-%m-%d_%H-%M-%S')" +LOG_FILE="${BACKUP_LOG_DIR}/restore_${ENV_NAME,,}_${TIMESTAMP}.log" + +touch "$LOG_FILE" || { + echo "ERROR: impossible d'écrire dans le fichier de log : $LOG_FILE" >&2 + exit 1 +} ############################################################################### # Fonctions utilitaires ############################################################################### - -# Écrit un message daté dans les logs. log() { - echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" + echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" | tee -a "$LOG_FILE" } -# Affiche une erreur puis quitte le script. fail() { - echo "ERROR: $*" >&2 + log "ERROR: $*" exit 1 } -# Vérifie que le nom de base est acceptable. -# -# Règle choisie ici : -# - lettres -# - chiffres -# - underscore -# -# Cela évite beaucoup de problèmes d'injection ou de nom invalide. -validate_db_name() { - local db_name="$1" - - [[ -n "$db_name" ]] || return 1 - [[ "$db_name" =~ ^[a-zA-Z0-9_]+$ ]] || return 1 - - return 0 +cleanup() { + rm -f \ + "${LOCAL_DB_DUMP_FILE:-}" \ + "${LOCAL_ROLES_FILE:-}" \ + "${FILTERED_ROLES_FILE:-}" \ + "${ROLES_CREATE_LIST:-}" \ + "${ROLES_APPLY_FILE:-}" } +trap cleanup EXIT -# Vérifie qu'une commande existe. -require_command() { - local cmd="$1" - command -v "$cmd" >/dev/null 2>&1 -} - -# Petite fonction de confirmation utilisateur. -# Retourne 0 si oui, 1 sinon. -confirm_yes_no() { - local prompt="$1" - local answer="" - - read -r -p "$prompt" answer - case "${answer,,}" in - oui|o|yes|y) return 0 ;; - *) return 1 ;; - esac +require_cmd() { + command -v "$1" >/dev/null 2>&1 } ############################################################################### -# Installation des dépendances manquantes +# Envoi Discord # -# On privilégie ici les clients PostgreSQL plutôt que l'installation complète -# du serveur si ce n'est pas nécessaire. +# Envoi simple d'un message texte via webhook Discord. +# Si WEBHOOK_URL n'est pas défini, on ignore silencieusement l'envoi. ############################################################################### -install_postgres_client() { - log "Installation des outils PostgreSQL..." +send_discord_message() { + local message="$1" + local payload="" - if require_command apt-get; then - sudo apt-get update - sudo apt-get install -y postgresql-client - elif require_command brew; then - brew install postgresql - else - fail "impossible d'installer automatiquement les outils PostgreSQL : gestionnaire non supporté" - fi -} + [[ -n "$DISCORD_WEBHOOK_URL" ]] || { + log "WEBHOOK_URL non défini : notification Discord ignorée." + return 0 + } -install_scp_client() { - log "Installation de OpenSSH client..." - - if require_command apt-get; then - sudo apt-get update - sudo apt-get install -y openssh-client - elif require_command brew; then - fail "scp / ssh introuvable sur macOS. Installe OpenSSH manuellement." - else - fail "impossible d'installer automatiquement openssh-client : gestionnaire non supporté" - fi -} - -############################################################################### -# Résolution du nom de la base à restaurer -# -# Priorité : -# 1. variable DB si elle existe déjà -# 2. sélection depuis DBS si défini dans le .env -# 3. saisie manuelle -# -# IMPORTANT : -# - les messages d'interface sont envoyés sur stderr ; -# - seul le résultat final (nom de base) est envoyé sur stdout. -# -# Cela évite de polluer la variable récupérée via : -# DB="$(resolve_db_name)" -############################################################################### -resolve_db_name() { - local selected_db="" - local choice="" - local custom_db="" - local -a dbs_array=() - - if [[ -n "${DB:-}" ]]; then - printf '%s\n' "$DB" + if ! require_cmd curl; then + log "curl absent : notification Discord ignorée." return 0 fi - if [[ -n "${DBS:-}" ]]; then - read -r -a dbs_array <<< "$DBS" + payload="$(python3 -c 'import json,sys; print(json.dumps({"content": sys.argv[1]}))' "$message")" || { + log "Impossible de construire le payload JSON Discord." + return 0 + } - if [[ "${#dbs_array[@]}" -gt 0 ]]; then - echo "Bases disponibles dans le .env :" >&2 - for i in "${!dbs_array[@]}"; do - printf ' %d) %s\n' "$((i + 1))" "${dbs_array[$i]}" >&2 - done - echo >&2 - - read -r -p "Voulez-vous utiliser une base de cette liste ? (oui/non) : " choice - - case "${choice,,}" in - oui|o|yes|y) - while true; do - read -r -p "Sélectionnez le numéro de la base à restaurer : " selected_db - - if [[ "$selected_db" =~ ^[0-9]+$ ]] && (( selected_db >= 1 && selected_db <= ${#dbs_array[@]} )); then - printf '%s\n' "${dbs_array[$((selected_db - 1))]}" - return 0 - fi - - echo "Choix invalide. Veuillez entrer un numéro entre 1 et ${#dbs_array[@]}." >&2 - done - ;; - non|n|no) - read -r -p "Entrez le nom de la base à restaurer hors liste : " custom_db - printf '%s\n' "$custom_db" - return 0 - ;; - *) - echo "Réponse invalide. Saisie manuelle de la base." >&2 - read -r -p "Entrez le nom de la base à restaurer : " custom_db - printf '%s\n' "$custom_db" - return 0 - ;; - esac - fi - fi - - read -r -p "Aucune base définie via DB ou DBS. Entrez le nom de la base à restaurer : " custom_db - printf '%s\n' "$custom_db" + curl -sS -X POST "$DISCORD_WEBHOOK_URL" \ + -H "Content-Type: application/json" \ + -d "$payload" \ + >/dev/null || log "Échec d'envoi de la notification Discord." } ############################################################################### -# Détermination de la base cible -############################################################################### -DB="$(resolve_db_name)" - -if ! validate_db_name "$DB"; then - fail "nom de base invalide : '$DB'. Caractères autorisés : lettres, chiffres, underscore." -fi - -log "Base cible sélectionnée : $DB" - -############################################################################### -# Vérification des dépendances locales -############################################################################### -if ! require_command psql; then - log "psql introuvable." - install_postgres_client -fi - -if ! require_command pg_restore; then - log "pg_restore introuvable." - install_postgres_client -fi - -if ! require_command createdb; then - log "createdb introuvable." - install_postgres_client -fi - -if ! require_command dropdb; then - log "dropdb introuvable." - install_postgres_client -fi - -if ! require_command ssh; then - log "ssh introuvable." - install_scp_client -fi - -if ! require_command scp; then - log "scp introuvable." - install_scp_client -fi - -############################################################################### -# Vérification de la clé SSH +# Vérifications de base ############################################################################### [[ -f "$SSH_KEY" ]] || fail "clé SSH introuvable : $SSH_KEY" +[[ -r "$SSH_KEY" ]] || fail "clé SSH non lisible : $SSH_KEY" + +export PGPASSWORD -############################################################################### -# Configuration SSH -# -# BatchMode=yes : -# empêche les demandes interactives de mot de passe. -# -# IdentitiesOnly=yes : -# force l'usage de la clé fournie. -############################################################################### SSH_OPTS=( -i "$SSH_KEY" -o IdentitiesOnly=yes -o BatchMode=yes - -o ConnectTimeout="$SSH_TIMEOUT" + -o ConnectTimeout="$SSH_CONNECT_TIMEOUT" + -o StrictHostKeyChecking=accept-new ) +REMOTE_SSH="${BACKUP_REMOTE_USER}@${BACKUP_REMOTE_HOST}" + +############################################################################### +# Installation PostgreSQL si absent +# +# Le rôle PGUSER est créé uniquement si PostgreSQL vient d'être installé. +############################################################################### +POSTGRES_INSTALLED=false + +if ! require_cmd psql || ! require_cmd pg_restore || ! require_cmd createdb || ! require_cmd dropdb; then + log "PostgreSQL absent : installation en cours..." + + sudo apt update >>"$LOG_FILE" 2>&1 || fail "échec de apt update" + sudo apt install -y postgresql postgresql-client postgresql-contrib \ + >>"$LOG_FILE" 2>&1 || fail "échec de l'installation de PostgreSQL" + + POSTGRES_INSTALLED=true + log "Installation PostgreSQL terminée." +else + log "PostgreSQL déjà installé." +fi + +############################################################################### +# Démarrage PostgreSQL +############################################################################### +if ! sudo systemctl is-active --quiet postgresql; then + log "Démarrage du service PostgreSQL..." + sudo systemctl start postgresql >>"$LOG_FILE" 2>&1 || fail "impossible de démarrer PostgreSQL" +else + log "Service PostgreSQL déjà actif." +fi + +############################################################################### +# Attente disponibilité PostgreSQL +############################################################################### +log "Vérification de la disponibilité de PostgreSQL..." +for _ in {1..20}; do + if sudo -u postgres psql -d postgres -c "SELECT 1;" >/dev/null 2>&1; then + log "PostgreSQL répond correctement." + break + fi + sleep 1 +done + +if ! sudo -u postgres psql -d postgres -c "SELECT 1;" >/dev/null 2>&1; then + fail "PostgreSQL ne répond pas correctement" +fi + +############################################################################### +# Création du rôle PGUSER uniquement si PostgreSQL vient d'être installé +############################################################################### +if [[ "$POSTGRES_INSTALLED" == "true" ]]; then + log "Création du rôle PostgreSQL ${PGUSER} suite à une installation neuve..." + + sudo -u postgres psql -d postgres -c \ + "CREATE ROLE \"${PGUSER}\" WITH LOGIN SUPERUSER CREATEDB CREATEROLE PASSWORD '${PGPASSWORD}';" \ + >>"$LOG_FILE" 2>&1 || fail "échec de création du rôle ${PGUSER}" + + log "Rôle PostgreSQL ${PGUSER} créé." +fi + +############################################################################### +# Affichage des bases disponibles +############################################################################### +read -r -a DBS_ARRAY <<< "$DBS" + +if [[ "${#DBS_ARRAY[@]}" -eq 0 ]]; then + fail "aucune base définie dans DBS" +fi + +echo "Bases disponibles dans le .env :" +for i in "${!DBS_ARRAY[@]}"; do + printf ' %d) %s\n' "$((i + 1))" "${DBS_ARRAY[$i]}" +done + +echo +read -r -p "Voulez-vous utiliser une base de cette liste ? (oui/non) : " USE_LIST + +DB="" + +if [[ "${USE_LIST,,}" == "oui" || "${USE_LIST,,}" == "o" ]]; then + read -r -p "Sélectionnez le numéro de la base à restaurer : " DB_INDEX + + [[ "$DB_INDEX" =~ ^[0-9]+$ ]] || fail "numéro invalide" + (( DB_INDEX >= 1 && DB_INDEX <= ${#DBS_ARRAY[@]} )) || fail "numéro hors plage" + + DB="${DBS_ARRAY[$((DB_INDEX - 1))]}" +else + read -r -p "Nom exact de la base à restaurer : " DB + [[ -n "$DB" ]] || fail "nom de base vide" +fi + +log "Environnement : $ENV_NAME" +log "Base cible sélectionnée : $DB" + ############################################################################### # Test de connexion SSH -# -# On teste la connexion immédiatement pour échouer tôt si le serveur distant -# n'est pas joignable ou si la clé n'est pas acceptée. ############################################################################### -log "Test de connexion SSH vers ${IA_SSH}..." -ssh "${SSH_OPTS[@]}" "$IA_SSH" "echo OK" >/dev/null 2>&1 \ - || fail "connexion SSH impossible vers ${IA_SSH}" +log "Test de connexion SSH vers ${REMOTE_SSH}..." + +SSH_TEST_OUTPUT="" +if ! SSH_TEST_OUTPUT="$(ssh "${SSH_OPTS[@]}" "$REMOTE_SSH" "exit 0" 2>&1)"; then + echo "$SSH_TEST_OUTPUT" | tee -a "$LOG_FILE" >&2 + fail "connexion SSH impossible vers ${REMOTE_SSH}" +fi ############################################################################### # Définition des chemins distants -# -# Structure attendue : -# $IA_BASE_DIR/$DB/ -> contient les dumps .dump de la base -# $IA_BASE_DIR/$REMOTE_ROLES_DIR_NAME/ -> contient les exports .sql des rôles ############################################################################### -REMOTE_DUMP_DIR="${IA_BASE_DIR}/${DB}" -REMOTE_ROLES_DIR="${IA_BASE_DIR}/${REMOTE_ROLES_DIR_NAME}" +REMOTE_DB_DIR="${BACKUP_REMOTE_DIR}/${DB}" +REMOTE_ROLES_DIR="${BACKUP_REMOTE_DIR}/${REMOTE_ROLES_DIR_NAME}" -log "Recherche du dernier dump distant pour ${DB} dans : $REMOTE_DUMP_DIR" -log "Recherche du dernier fichier de rôles dans : $REMOTE_ROLES_DIR" +log "Recherche du dernier dump distant pour ${DB} dans : ${REMOTE_DB_DIR}" +log "Recherche du dernier fichier de rôles dans : ${REMOTE_ROLES_DIR}" ############################################################################### -# Recherche automatique du dump le plus récent -# -# On cherche tous les fichiers .dump dans le dossier distant de la base, -# puis on les trie par date de modification décroissante. -# -# Le premier résultat est donc le plus récent. +# Recherche du dernier dump de base ############################################################################### -REMOTE_DUMP_PATH="$( - ssh "${SSH_OPTS[@]}" "$IA_SSH" " - if [ -d '$REMOTE_DUMP_DIR' ]; then - find '$REMOTE_DUMP_DIR' -maxdepth 1 -type f -name '*.dump' -printf '%T@ %p\n' 2>/dev/null \ - | sort -nr \ - | head -n 1 \ - | cut -d' ' -f2- - fi - " +LAST_REMOTE_DB_DUMP="$( + ssh "${SSH_OPTS[@]}" "$REMOTE_SSH" \ + "find '${REMOTE_DB_DIR}' -maxdepth 1 -type f -name '${DB}_*.dump' | LC_ALL=C sort | tail -n 1" )" -if [[ -z "$REMOTE_DUMP_PATH" ]]; then - fail "aucun dump distant trouvé dans : $REMOTE_DUMP_DIR" +if [[ -z "$LAST_REMOTE_DB_DUMP" ]]; then + fail "aucun dump trouvé pour la base ${DB} dans ${REMOTE_DB_DIR}" fi -REMOTE_DUMP_FILE="$(basename "$REMOTE_DUMP_PATH")" +log "Dernier dump distant sélectionné : ${LAST_REMOTE_DB_DUMP}" ############################################################################### -# Recherche automatique du dernier fichier des rôles -# -# Ce fichier n'est pas obligatoire pour restaurer la base elle-même. -# Si aucun fichier de rôles n'est trouvé, le script continue quand même. +# Recherche du dernier fichier SQL des rôles ############################################################################### -REMOTE_ROLES_PATH="$( - ssh "${SSH_OPTS[@]}" "$IA_SSH" " - if [ -d '$REMOTE_ROLES_DIR' ]; then - find '$REMOTE_ROLES_DIR' -maxdepth 1 -type f -name '*.sql' -printf '%T@ %p\n' 2>/dev/null \ - | sort -nr \ - | head -n 1 \ - | cut -d' ' -f2- - fi - " +LAST_REMOTE_ROLES_FILE="$( + ssh "${SSH_OPTS[@]}" "$REMOTE_SSH" \ + "find '${REMOTE_ROLES_DIR}' -maxdepth 1 -type f -name 'user_*.sql' | LC_ALL=C sort | tail -n 1" )" -REMOTE_ROLES_FILE="" -if [[ -n "$REMOTE_ROLES_PATH" ]]; then - REMOTE_ROLES_FILE="$(basename "$REMOTE_ROLES_PATH")" -fi - -log "Dernier dump distant sélectionné : $REMOTE_DUMP_PATH" -if [[ -n "$REMOTE_ROLES_PATH" ]]; then - log "Dernier fichier des rôles sélectionné : $REMOTE_ROLES_PATH" +if [[ -n "$LAST_REMOTE_ROLES_FILE" ]]; then + log "Dernier fichier des rôles sélectionné : ${LAST_REMOTE_ROLES_FILE}" else log "Aucun fichier des rôles trouvé sur le serveur distant." fi ############################################################################### -# Dossier temporaire local -# -# Les fichiers téléchargés sont stockés dans un dossier temporaire, puis -# supprimés automatiquement à la fin du script. +# Téléchargement du dump principal ############################################################################### -TMP_DIR="$(mktemp -d)" -LOCAL_DUMP_PATH="${TMP_DIR}/${REMOTE_DUMP_FILE}" -LOCAL_ROLES_PATH="" +LOCAL_DB_DUMP_FILE="${LOCAL_RESTORE_DIR}/$(basename "$LAST_REMOTE_DB_DUMP")" +LOCAL_ROLES_FILE="" -cleanup() { - rm -rf "$TMP_DIR" -} -trap cleanup EXIT - -############################################################################### -# Téléchargement du dump et des rôles -############################################################################### log "Téléchargement du dump..." -scp "${SSH_OPTS[@]}" "${IA_SSH}:${REMOTE_DUMP_PATH}" "$LOCAL_DUMP_PATH" +scp "${SSH_OPTS[@]}" "${REMOTE_SSH}:${LAST_REMOTE_DB_DUMP}" "$LOCAL_DB_DUMP_FILE" \ + >>"$LOG_FILE" 2>&1 || fail "échec du téléchargement du dump principal" -if [[ ! -f "$LOCAL_DUMP_PATH" ]]; then - fail "échec du téléchargement du dump : fichier local introuvable" -fi +############################################################################### +# Téléchargement du fichier des rôles si présent +############################################################################### +if [[ -n "$LAST_REMOTE_ROLES_FILE" ]]; then + LOCAL_ROLES_FILE="${LOCAL_RESTORE_DIR}/$(basename "$LAST_REMOTE_ROLES_FILE")" -if [[ -n "$REMOTE_ROLES_PATH" ]]; then - LOCAL_ROLES_PATH="${TMP_DIR}/${REMOTE_ROLES_FILE}" log "Téléchargement du fichier des rôles..." - scp "${SSH_OPTS[@]}" "${IA_SSH}:${REMOTE_ROLES_PATH}" "$LOCAL_ROLES_PATH" - - if [[ ! -f "$LOCAL_ROLES_PATH" ]]; then - fail "échec du téléchargement du fichier des rôles" - fi + scp "${SSH_OPTS[@]}" "${REMOTE_SSH}:${LAST_REMOTE_ROLES_FILE}" "$LOCAL_ROLES_FILE" \ + >>"$LOG_FILE" 2>&1 || fail "échec du téléchargement du fichier des rôles" else log "La restauration des rôles sera ignorée." fi ############################################################################### -# Vérification du format du dump -# -# pg_restore --list permet de vérifier que le fichier est bien un dump -# PostgreSQL lisible au format attendu. +# Test de connexion PostgreSQL locale avec PGUSER ############################################################################### -if ! pg_restore --list "$LOCAL_DUMP_PATH" >/dev/null 2>&1; then - fail "le fichier téléchargé n'est pas un dump PostgreSQL valide : $LOCAL_DUMP_PATH" +if ! psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -c "SELECT 1;" \ + >>"$LOG_FILE" 2>&1; then + fail "connexion PostgreSQL locale impossible avec PGUSER=${PGUSER}" fi ############################################################################### -# Vérification de l'existence de la base -# -# Si la base existe déjà, on demande explicitement à l'utilisateur s'il veut -# l'écraser. Sinon, on la crée simplement. +# Demande d'écrasement si la base existe déjà ############################################################################### -DB_EXISTS="false" -if psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -tAc \ - "SELECT 1 FROM pg_database WHERE datname = '$DB'" | grep -q '^1$'; then - DB_EXISTS="true" -fi +DB_EXISTS="$( + psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -tAc \ + "SELECT 1 FROM pg_database WHERE datname='${DB}'" 2>>"$LOG_FILE" || true +)" -if [[ "$DB_EXISTS" == "true" ]]; then - if confirm_yes_no "La base '${DB}' existe déjà. Voulez-vous l'écraser ? (oui/non) : "; then - log "Suppression de la base existante : $DB" - - # Coupe les connexions actives sur la base pour permettre sa suppression. - psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -c \ - "SELECT pg_terminate_backend(pid) - FROM pg_stat_activity - WHERE datname = '$DB' - AND pid <> pg_backend_pid();" >/dev/null - - dropdb -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" "$DB" - createdb -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" "$DB" - else - log "Restauration annulée par l'utilisateur." - exit 0 +if [[ "$DB_EXISTS" == "1" ]]; then + read -r -p "La base '${DB}' existe déjà. Voulez-vous l'écraser ? (oui/non) : " CONFIRM_OVERWRITE + if [[ "${CONFIRM_OVERWRITE,,}" != "oui" && "${CONFIRM_OVERWRITE,,}" != "o" ]]; then + fail "restauration annulée par l'utilisateur" fi -else - log "Création de la base : $DB" - createdb -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" "$DB" + + log "Suppression de la base existante : ${DB}" + dropdb -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" --if-exists "$DB" \ + >>"$LOG_FILE" 2>&1 || fail "échec de suppression de la base ${DB}" fi ############################################################################### -# Restauration éventuelle des rôles PostgreSQL -# -# Cette étape est optionnelle. Elle permet par exemple de recréer des rôles -# ou utilisateurs nécessaires avant la restauration de la base. -# -# Attention : -# le fichier doit être conçu pour être rejouable sans casser l'existant. +# Restauration des rôles ############################################################################### -if [[ -n "$LOCAL_ROLES_PATH" && -f "$LOCAL_ROLES_PATH" ]]; then - log "Restauration des rôles PostgreSQL..." - psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -f "$LOCAL_ROLES_PATH" +if [[ -n "$LOCAL_ROLES_FILE" ]]; then + log "Restauration des rôles depuis : ${LOCAL_ROLES_FILE}" + + FILTERED_ROLES_FILE="${LOCAL_RESTORE_DIR}/filtered_$(basename "$LOCAL_ROLES_FILE")" + ROLES_CREATE_LIST="${LOCAL_RESTORE_DIR}/roles_to_create_$(basename "$LOCAL_ROLES_FILE")" + ROLES_APPLY_FILE="${LOCAL_RESTORE_DIR}/roles_apply_$(basename "$LOCAL_ROLES_FILE")" + + grep -viE '^(CREATE ROLE|ALTER ROLE) (backup_liot|postgres)\b' "$LOCAL_ROLES_FILE" \ + > "$FILTERED_ROLES_FILE" || true + + log "Fichier des rôles filtré généré : ${FILTERED_ROLES_FILE}" + + sed -nE 's/^CREATE ROLE "?([^" ;]+)"?;$/\1/p' "$FILTERED_ROLES_FILE" \ + > "$ROLES_CREATE_LIST" || true + + if [[ -s "$ROLES_CREATE_LIST" ]]; then + while IFS= read -r role_name; do + [[ -z "$role_name" ]] && continue + + ROLE_EXISTS="$( + psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -tAc \ + "SELECT 1 FROM pg_roles WHERE rolname='${role_name}'" 2>>"$LOG_FILE" || true + )" + + if [[ "$ROLE_EXISTS" != "1" ]]; then + log "Création du rôle manquant : ${role_name}" + psql -v ON_ERROR_STOP=1 \ + -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres \ + -c "CREATE ROLE \"${role_name}\";" \ + >>"$LOG_FILE" 2>&1 || fail "échec de création du rôle ${role_name}" + else + log "Rôle déjà présent, création ignorée : ${role_name}" + fi + done < "$ROLES_CREATE_LIST" + fi + + grep -viE '^CREATE ROLE ' "$FILTERED_ROLES_FILE" > "$ROLES_APPLY_FILE" || true + + log "Application des ALTER ROLE / privilèges / memberships..." + psql \ + -v ON_ERROR_STOP=1 \ + -h "$PGHOST" \ + -p "$PGPORT" \ + -U "$PGUSER" \ + -d postgres \ + -f "$ROLES_APPLY_FILE" \ + >>"$LOG_FILE" 2>&1 || fail "échec de restauration des rôles via psql" else log "Aucune restauration des rôles effectuée." fi ############################################################################### -# Restauration de la base -# -# --clean / --if-exists : -# demande à pg_restore de supprimer les objets avant de les recréer. -# -# --no-owner : -# évite les problèmes si le propriétaire original n'existe pas localement. -# -# --verbose : -# détaille la restauration dans les logs. +# Création de la base ############################################################################### -log "Restauration de la base '${DB}' depuis ${LOCAL_DUMP_PATH}..." +log "Création de la base : ${DB}" +createdb -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" "$DB" \ + >>"$LOG_FILE" 2>&1 || fail "échec de création de la base ${DB}" +############################################################################### +# Restauration de la base principale +############################################################################### +log "Restauration de la base ${DB}..." pg_restore \ -h "$PGHOST" \ -p "$PGPORT" \ @@ -502,7 +428,20 @@ pg_restore \ --clean \ --if-exists \ --no-owner \ - --verbose \ - "$LOCAL_DUMP_PATH" + --no-privileges \ + "$LOCAL_DB_DUMP_FILE" \ + >>"$LOG_FILE" 2>&1 || fail "échec de restauration de la base ${DB}" -log "Restauration terminée avec succès pour la base : $DB" \ No newline at end of file +############################################################################### +# Fin +############################################################################### +log "Restauration terminée avec succès pour la base : ${DB}" +log "Fichier de log : ${LOG_FILE}" + +SUCCESS_MESSAGE="✅ REBUILD BDD ${ENV_NAME} +Base restaurée : ${DB} +Hôte PostgreSQL : ${PGHOST}:${PGPORT} +Dump utilisé : $(basename "$LAST_REMOTE_DB_DUMP") +Log : ${LOG_FILE}" + +send_discord_message "$SUCCESS_MESSAGE" \ No newline at end of file