Compare commits
18 Commits
master
...
f72328e0ce
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
f72328e0ce | ||
|
|
29eff11b23 | ||
|
|
99072361c5 | ||
| 623424343e | |||
|
|
066ede6000 | ||
| 30df5ca8d6 | |||
|
|
4b76e88853 | ||
|
|
99f8694250 | ||
| 7f18e2f2e9 | |||
|
|
d0ceea8bad | ||
| dd226592db | |||
|
|
e81b953ac2 | ||
|
|
c80a74adc5 | ||
|
|
97eeffd9ea | ||
|
|
14359b111f | ||
| e860fd0f16 | |||
|
|
fbbb68af88 | ||
|
|
c2d1b716e0 |
@@ -1 +0,0 @@
|
||||
WEBHOOK_URL=
|
||||
45
.gitignore
vendored
45
.gitignore
vendored
@@ -1,9 +1,40 @@
|
||||
# Secrets / environment
|
||||
.env
|
||||
.env.*
|
||||
!.env.example
|
||||
!.env.exemple
|
||||
########################################
|
||||
# Environment / secrets
|
||||
########################################
|
||||
|
||||
.env
|
||||
!.env.exemple
|
||||
!.env.example
|
||||
|
||||
########################################
|
||||
# Logs
|
||||
########################################
|
||||
|
||||
*.log
|
||||
logs/
|
||||
var/log/
|
||||
backup.log
|
||||
|
||||
########################################
|
||||
# Temporary / system files
|
||||
########################################
|
||||
|
||||
*.tmp
|
||||
*.swp
|
||||
*.swo
|
||||
*~
|
||||
|
||||
########################################
|
||||
# IDE / Editors
|
||||
########################################
|
||||
|
||||
# IDE / editor
|
||||
.idea/
|
||||
.vscode/
|
||||
.vscode/
|
||||
*.iml
|
||||
|
||||
########################################
|
||||
# OS files
|
||||
########################################
|
||||
|
||||
.DS_Store
|
||||
Thumbs.db
|
||||
33
BackupVaultWarden/.env.exemple
Normal file
33
BackupVaultWarden/.env.exemple
Normal file
@@ -0,0 +1,33 @@
|
||||
#############################################
|
||||
# VAULTWARDEN BACKUP CONFIGURATION
|
||||
#############################################
|
||||
|
||||
# Répertoire contenant les données Vaultwarden
|
||||
DATA_DIR=
|
||||
|
||||
#############################################
|
||||
# BACKUP LOCAL
|
||||
#############################################
|
||||
|
||||
# Dossier local où seront stockées les archives
|
||||
LOCAL_BACKUP=
|
||||
|
||||
#############################################
|
||||
# SERVEUR DE BACKUP DISTANT
|
||||
#############################################
|
||||
|
||||
# Utilisateur SSH du serveur distant
|
||||
REMOTE_USER=
|
||||
|
||||
# Host ou IP du serveur distant
|
||||
REMOTE_HOST=
|
||||
|
||||
# Répertoire distant de stockage des backups
|
||||
REMOTE_DIR=
|
||||
|
||||
#############################################
|
||||
# AUTHENTIFICATION SSH
|
||||
#############################################
|
||||
|
||||
# Chemin vers la clé privée SSH utilisée pour la connexion
|
||||
SSH_KEY=
|
||||
356
BackupVaultWarden/README.md
Normal file
356
BackupVaultWarden/README.md
Normal file
@@ -0,0 +1,356 @@
|
||||
markdown
|
||||
# README — Mise en place du script de sauvegarde Vaultwarden
|
||||
|
||||
Ce script permet d’automatiser la sauvegarde de Vaultwarden afin de conserver une copie du dossier `data`, de la transférer vers un serveur distant et d’envoyer une notification Discord en cas de succès ou d’échec.
|
||||
|
||||
---
|
||||
|
||||
# 1. Objectif du script
|
||||
|
||||
Le script de sauvegarde Vaultwarden permet de :
|
||||
|
||||
- sauvegarder les données de Vaultwarden ;
|
||||
- compresser l’archive avec un nom daté ;
|
||||
- transférer la sauvegarde vers un serveur distant ;
|
||||
- envoyer une notification Discord ;
|
||||
- automatiser l’exécution via `cron`.
|
||||
|
||||
Ce mécanisme permet de sécuriser les mots de passe, les utilisateurs et la configuration stockés dans le dossier `data` de Vaultwarden.
|
||||
|
||||
---
|
||||
|
||||
# 2. Pré-requis
|
||||
|
||||
Avant de mettre en place le script, vérifier que les éléments suivants sont disponibles sur la machine Vaultwarden :
|
||||
|
||||
- `bash`
|
||||
- `tar`
|
||||
- `scp`
|
||||
- `ssh`
|
||||
- `curl`
|
||||
- `cron`
|
||||
|
||||
Installation sur Debian / Ubuntu :
|
||||
|
||||
```bash
|
||||
sudo apt update
|
||||
sudo apt install -y tar openssh-client curl cron
|
||||
````
|
||||
|
||||
---
|
||||
|
||||
# 3. Emplacement du script
|
||||
|
||||
Le script est situé dans :
|
||||
|
||||
```bash
|
||||
/home/matt/vaultwarden/Malio-ops/BackupVaultWarden/
|
||||
```
|
||||
|
||||
Structure recommandée :
|
||||
|
||||
```bash
|
||||
/home/matt/vaultwarden/Malio-ops/BackupVaultWarden/
|
||||
├── backup-vaultwarden.sh
|
||||
├── .env
|
||||
└── README.md
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 4. Configuration sécurisée avec le fichier .env
|
||||
|
||||
Les informations sensibles ne doivent pas être stockées directement dans le script.
|
||||
Elles doivent être placées dans un fichier `.env`.
|
||||
|
||||
## Exemple de fichier `.env`
|
||||
|
||||
```bash
|
||||
WEBHOOK_URL=https://discord.com/api/webhooks/...
|
||||
REMOTE_USER=backup
|
||||
REMOTE_HOST=192.168.1.50
|
||||
SSH_KEY=/home/matt/.ssh/id_ed25519_vaultwarden_backup
|
||||
DATA_DIR=/opt/vaultwarden/data
|
||||
REMOTE_DIR=/home/backup/backups/vaultwarden
|
||||
```
|
||||
|
||||
## Description des variables
|
||||
|
||||
| Variable | Description |
|
||||
| ----------- | ------------------------------------------------------ |
|
||||
| WEBHOOK_URL | Webhook Discord pour les notifications |
|
||||
| REMOTE_USER | Utilisateur du serveur distant |
|
||||
| REMOTE_HOST | Adresse IP ou DNS du serveur de sauvegarde |
|
||||
| SSH_KEY | Chemin vers la clé SSH utilisée pour le transfert |
|
||||
| DATA_DIR | Dossier `data` de Vaultwarden |
|
||||
| REMOTE_DIR | Dossier de stockage des backups sur le serveur distant |
|
||||
|
||||
---
|
||||
|
||||
# 5. Chargement des variables dans le script
|
||||
|
||||
Le script récupère les variables du fichier `.env`.
|
||||
|
||||
Exemple :
|
||||
|
||||
```bash
|
||||
REMOTE_USER=$(grep -E '^REMOTE_USER=' .env | cut -d '=' -f2-)
|
||||
```
|
||||
|
||||
Explication :
|
||||
|
||||
* `grep` recherche la variable dans `.env`
|
||||
* `cut` récupère uniquement la valeur après `=`
|
||||
* la variable shell reçoit la valeur correspondante
|
||||
|
||||
Cela permet :
|
||||
|
||||
* d'améliorer la sécurité
|
||||
* de modifier la configuration sans toucher au script
|
||||
|
||||
---
|
||||
|
||||
# 6. Connexion au serveur de sauvegarde (Machine IA)
|
||||
|
||||
Le transfert des sauvegardes vers la machine IA repose sur une **authentification par clé SSH**.
|
||||
Cette méthode permet au script de se connecter automatiquement au serveur distant sans mot de passe.
|
||||
|
||||
La clé utilisée pour ce script est :
|
||||
|
||||
```
|
||||
~/.ssh/id_ed25519_bitwarden
|
||||
|
||||
````
|
||||
|
||||
---
|
||||
|
||||
## 6.1 Vérifier la présence de la clé SSH
|
||||
|
||||
Sur la machine exécutant le script, vérifier que la clé existe :
|
||||
|
||||
```bash
|
||||
ls ~/.ssh/id_ed25519_bitwarden*
|
||||
````
|
||||
|
||||
Les fichiers attendus sont :
|
||||
|
||||
```
|
||||
~/.ssh/id_ed25519_bitwarden
|
||||
~/.ssh/id_ed25519_bitwarden.pub
|
||||
```
|
||||
|
||||
* `id_ed25519_bitwarden` → clé privée utilisée par le script
|
||||
* `id_ed25519_bitwarden.pub` → clé publique autorisée sur la machine IA
|
||||
|
||||
---
|
||||
|
||||
## 6.2 Copier la clé publique sur la machine IA
|
||||
|
||||
Envoyer la clé publique vers la machine IA :
|
||||
|
||||
```bash
|
||||
ssh-copy-id -i ~/.ssh/id_ed25519_bitwarden.pub backup@192.168.0.179
|
||||
```
|
||||
|
||||
Cette commande ajoute automatiquement la clé dans :
|
||||
|
||||
```
|
||||
~/.ssh/authorized_keys
|
||||
```
|
||||
|
||||
sur la machine IA.
|
||||
|
||||
---
|
||||
|
||||
## 6.3 Ajout manuel de la clé (si ssh-copy-id n'est pas disponible)
|
||||
|
||||
Afficher la clé publique :
|
||||
|
||||
```bash
|
||||
cat ~/.ssh/id_ed25519_bitwarden.pub
|
||||
```
|
||||
|
||||
Copier son contenu puis l’ajouter sur la machine IA dans :
|
||||
|
||||
```
|
||||
~/.ssh/authorized_keys
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 6.4 Vérifier les permissions SSH
|
||||
|
||||
Sur la machine locale :
|
||||
|
||||
```bash
|
||||
chmod 700 ~/.ssh
|
||||
chmod 600 ~/.ssh/id_ed25519_bitwarden
|
||||
chmod 644 ~/.ssh/id_ed25519_bitwarden.pub
|
||||
```
|
||||
|
||||
Sur la machine IA :
|
||||
|
||||
```bash
|
||||
chmod 700 ~/.ssh
|
||||
chmod 600 ~/.ssh/authorized_keys
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 6.5 Tester la connexion
|
||||
|
||||
Tester la connexion SSH avec la clé :
|
||||
|
||||
```bash
|
||||
ssh -i ~/.ssh/id_ed25519_bitwarden backup@192.168.0.179
|
||||
```
|
||||
|
||||
Si la configuration est correcte :
|
||||
|
||||
* la connexion se fait **sans mot de passe**
|
||||
* la machine IA accepte la clé SSH
|
||||
* le script pourra envoyer les sauvegardes automatiquement
|
||||
|
||||
---
|
||||
|
||||
## 6.6 Déclaration dans le fichier `.env`
|
||||
|
||||
La clé utilisée par le script doit être déclarée dans `.env` :
|
||||
|
||||
```bash
|
||||
SSH_KEY=/home/matt/.ssh/id_ed25519_bitwarden
|
||||
```
|
||||
|
||||
Cette clé sera utilisée automatiquement par `scp` lors du transfert des sauvegardes.
|
||||
|
||||
|
||||
# 7. Sauvegarde des données Vaultwarden
|
||||
|
||||
Le script crée une archive compressée du dossier `data` :
|
||||
|
||||
```bash
|
||||
tar -czf "$LOCAL_BACKUP" -C "$(dirname "$DATA_DIR")" "$(basename "$DATA_DIR")"
|
||||
```
|
||||
|
||||
Cela permet d’obtenir une sauvegarde portable et compressée.
|
||||
|
||||
---
|
||||
|
||||
# 8. Transfert vers le serveur distant
|
||||
|
||||
Une fois l’archive créée :
|
||||
|
||||
```bash
|
||||
scp "${SSH_OPTS[@]}" "$LOCAL_BACKUP" "$REMOTE_USER@$REMOTE_HOST:$REMOTE_DIR/"
|
||||
```
|
||||
|
||||
Le fichier est envoyé vers le serveur de sauvegarde via SCP.
|
||||
|
||||
---
|
||||
|
||||
# 9. Notification Discord
|
||||
|
||||
Le script envoie une notification Discord pour informer de l’état de la sauvegarde.
|
||||
|
||||
Construction du message :
|
||||
|
||||
```bash
|
||||
local msg="**@here Backup Vaultwarden $color**\n"
|
||||
msg+="Backup: ${BACKUP_NAME}\n"
|
||||
msg+="Data transfer: $dumps_display\n"
|
||||
[[ -n "$details" ]] && msg+="Details: $details"
|
||||
```
|
||||
|
||||
Envoi du message :
|
||||
|
||||
```bash
|
||||
curl -fsS -H "Content-Type: application/json" \
|
||||
-d "{\"content\":\"$msg\"}" \
|
||||
"$WEBHOOK_URL"
|
||||
```
|
||||
|
||||
Le message indique :
|
||||
|
||||
* si la sauvegarde a réussi
|
||||
* si elle a échoué
|
||||
* le nom du backup
|
||||
* les détails de l’erreur
|
||||
|
||||
---
|
||||
|
||||
# 10. Planification avec cron
|
||||
|
||||
Le script est exécuté automatiquement tous les jours à 19h.
|
||||
|
||||
Ouvrir le crontab :
|
||||
|
||||
```bash
|
||||
crontab -e
|
||||
```
|
||||
|
||||
Ajouter :
|
||||
|
||||
```bash
|
||||
0 19 * * * /home/matt/vaultwarden/Malio-ops/BackupVaultWarden/backup-vaultwarden.sh >> /var/log/vaultwarden_backup.log 2>&1
|
||||
```
|
||||
|
||||
Signification :
|
||||
|
||||
| Champ | Valeur |
|
||||
| ------------ | ------ |
|
||||
| minute | 0 |
|
||||
| heure | 19 |
|
||||
| jour du mois | * |
|
||||
| mois | * |
|
||||
| jour semaine | * |
|
||||
|
||||
Le script s’exécute donc **tous les jours à 19h00**.
|
||||
|
||||
---
|
||||
|
||||
# 11. Nettoyage
|
||||
|
||||
Une fois la sauvegarde transférée :
|
||||
|
||||
```bash
|
||||
rm -f "$LOCAL_BACKUP"
|
||||
```
|
||||
|
||||
Cela évite de remplir le disque de la machine Vaultwarden.
|
||||
|
||||
---
|
||||
|
||||
# 12. Test manuel
|
||||
|
||||
Avant de mettre le script en cron, tester :
|
||||
|
||||
```bash
|
||||
bash /home/matt/vaultwarden/Malio-ops/BackupVaultWarden/backup-vaultwarden.sh
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 13. Vérification des logs
|
||||
|
||||
Logs :
|
||||
|
||||
```bash
|
||||
cat /var/log/vaultwarden_backup.log
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# 14. Résumé
|
||||
|
||||
Le script automatise :
|
||||
|
||||
* la sauvegarde du dossier `data`
|
||||
* la compression et la datation du backup
|
||||
* le transfert sécurisé via SSH
|
||||
* la notification Discord
|
||||
* l’exécution automatique via cron
|
||||
* la configuration sécurisée via `.env`
|
||||
|
||||
Ce système permet d’obtenir **une sauvegarde fiable, centralisée et surveillée de Vaultwarden**.
|
||||
|
||||
```
|
||||
25
backup_vaultwarden/backup-vaultwarden.sh → BackupVaultWarden/backup-vaultwarden.sh
Executable file → Normal file
25
backup_vaultwarden/backup-vaultwarden.sh → BackupVaultWarden/backup-vaultwarden.sh
Executable file → Normal file
@@ -5,7 +5,7 @@ set -euo pipefail
|
||||
# Chemins fixes du script
|
||||
#######################################
|
||||
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
|
||||
ENV_FILE="/home/matt/vaultwarden/scripts/Scripts-Serveur/backup_vaultwarden/.env"
|
||||
ENV_FILE="/home/matt/vaultwarden/Malio-ops/BackupVaultWarden/.env"
|
||||
LOG_FILE="/var/log/vaultwarden_backup.log"
|
||||
|
||||
mkdir -p "$(dirname "$LOG_FILE")"
|
||||
@@ -45,9 +45,11 @@ set +a
|
||||
# Variables backup
|
||||
#######################################
|
||||
DATE="$(date +'%Y-%m-%d_%H-%M-%S')"
|
||||
BACKUP_NAME="vaultwarden-backup-${DATE}.tar.gz"
|
||||
BACKUP_PREFIX="vaultwarden-backup"
|
||||
BACKUP_NAME="${BACKUP_PREFIX}-${DATE}.tar.gz"
|
||||
LOCAL_BACKUP_DIR="$LOCAL_BACKUP"
|
||||
LOCAL_BACKUP_FILE="${LOCAL_BACKUP_DIR}/${BACKUP_NAME}"
|
||||
RETENTION_DAYS=10
|
||||
|
||||
SSH_OPTS=(-i "$SSH_KEY" -o IdentitiesOnly=yes -o BatchMode=yes -o ConnectTimeout=10)
|
||||
|
||||
@@ -66,13 +68,15 @@ discord_ping() {
|
||||
if [[ "$success" == "true" ]]; then
|
||||
icon="🟢"
|
||||
status_line="✅"
|
||||
ping=""
|
||||
else
|
||||
icon="🔴"
|
||||
status_line="❌"
|
||||
ping="@here "
|
||||
fi
|
||||
|
||||
local msg
|
||||
msg="**@here ${icon} Backup Vaultwarden**\n"
|
||||
msg="**${ping}Backup Vaultwarden ${icon}**\n"
|
||||
msg+="Backup: ${BACKUP_NAME}\n"
|
||||
msg+="Data transfer: ${status_line}\n"
|
||||
[[ -n "$details" ]] && msg+="Détails: ${details}"
|
||||
@@ -110,6 +114,8 @@ log "Destination distante : ${REMOTE_USER}@${REMOTE_HOST}:${REMOTE_DIR}"
|
||||
tar -czf "$LOCAL_BACKUP_FILE" -C "$(dirname "$DATA_DIR")" "$(basename "$DATA_DIR")" \
|
||||
|| fail "Erreur lors de la compression du dossier $DATA_DIR"
|
||||
|
||||
log "Backup local créé : $LOCAL_BACKUP_FILE"
|
||||
|
||||
#######################################
|
||||
# Création dossier distant
|
||||
#######################################
|
||||
@@ -122,6 +128,17 @@ ssh "${SSH_OPTS[@]}" "$REMOTE_USER@$REMOTE_HOST" "mkdir -p '$REMOTE_DIR'" \
|
||||
scp "${SSH_OPTS[@]}" "$LOCAL_BACKUP_FILE" "$REMOTE_USER@$REMOTE_HOST:$REMOTE_DIR/" \
|
||||
|| fail "Erreur lors de l'envoi du backup vers $REMOTE_HOST"
|
||||
|
||||
log "Backup envoyé sur $REMOTE_HOST:$REMOTE_DIR"
|
||||
|
||||
#######################################
|
||||
# Rotation distante - suppression > 10 jours
|
||||
#######################################
|
||||
ssh "${SSH_OPTS[@]}" "$REMOTE_USER@$REMOTE_HOST" \
|
||||
"find '$REMOTE_DIR' -type f -name '${BACKUP_PREFIX}-*.tar.gz' -mtime +$RETENTION_DAYS -delete" \
|
||||
|| fail "Erreur lors de la rotation distante des sauvegardes"
|
||||
|
||||
log "Rotation distante OK"
|
||||
|
||||
#######################################
|
||||
# Nettoyage local
|
||||
#######################################
|
||||
@@ -132,4 +149,4 @@ rm -f "$LOCAL_BACKUP_FILE" || fail "Impossible de supprimer le backup local $LOC
|
||||
#######################################
|
||||
log "Backup $BACKUP_NAME terminé et envoyé sur $REMOTE_HOST:$REMOTE_DIR"
|
||||
discord_ping "true" "Backup envoyé avec succès vers $REMOTE_HOST"
|
||||
echo "Backup $BACKUP_NAME terminé et envoyé sur $REMOTE_HOST:$REMOTE_DIR"
|
||||
echo "Backup $BACKUP_NAME terminé et envoyé sur $REMOTE_HOST:$REMOTE_DIR"
|
||||
40
CHANGELOG.md
Normal file
40
CHANGELOG.md
Normal file
@@ -0,0 +1,40 @@
|
||||
# Changelog
|
||||
|
||||
Liste des évolutions du projet Scripts Serveur
|
||||
|
||||
## [0.0.1]
|
||||
### Parameters
|
||||
Ajouter dans le fichier /RecetteScripts/.env
|
||||
SSH_TIMEOUT
|
||||
BACKUP_LOG_DIR
|
||||
APP_LOG_DIR
|
||||
DISCORD_WEBHOOK_URL
|
||||
DISCORD_PING
|
||||
CHECK_CONNECT_TIMEOUT
|
||||
CHECK_MAX_TIME
|
||||
APP_URLS
|
||||
|
||||
Ajouter dans le fichier /CheckStorage/.env
|
||||
WEBHOOK_URL
|
||||
|
||||
Ajouter dans le fichier /BackupVaultWarden/.env
|
||||
DATA_DIR
|
||||
LOCAL_BACKUP
|
||||
REMOTE_USER
|
||||
REMOTE_HOST
|
||||
REMOTE_DIR
|
||||
SSH_KEY
|
||||
|
||||
### Added
|
||||
* [#361] Script dump BDD
|
||||
* [#367] Avoir une notification discord quand les backup sont faites
|
||||
* [#368] Script pour check que les applis ne sont pas hors-ligne
|
||||
* first push
|
||||
* Reorganisation des fichiers et dossiers
|
||||
* [#372] Script de check si la machine a le stockage plein
|
||||
* [#378] Script Backup BDD Vaultwarden
|
||||
* [#381] Variabiliser tous les scripts
|
||||
* [#384] Fix Correctif
|
||||
### Changed
|
||||
|
||||
### Fixed
|
||||
212
CODE_REVIEW.md
Normal file
212
CODE_REVIEW.md
Normal file
@@ -0,0 +1,212 @@
|
||||
# Code Review - Scripts Serveur (MALIO)
|
||||
|
||||
**Date** : 2026-03-09
|
||||
**Reviewer** : Claude (Opus 4.6)
|
||||
**Scope** : Revue complète de tout le code du dépôt
|
||||
|
||||
---
|
||||
|
||||
**Note** : Le fichier `CheckStorage/.env` contient un webhook Discord en local mais n'est **pas commité** dans le dépôt (correctement ignoré par le `.gitignore`). Pas de fuite de secret.
|
||||
|
||||
---
|
||||
|
||||
## 1. BackupVaultWarden/backup-vaultwarden.sh
|
||||
|
||||
### Qualite globale : Bonne
|
||||
|
||||
Le script est bien structuré, utilise `set -euo pipefail`, et gère correctement les erreurs.
|
||||
|
||||
### Problemes
|
||||
|
||||
| Severite | Ligne | Description |
|
||||
|----------|-------|-------------|
|
||||
| **CRITIQUE** | 8 | Chemin `.env` en dur (`/home/matt/vaultwarden/scripts/...`) au lieu d'utiliser `$SCRIPT_DIR`. Ce script ne fonctionnera **que sur la machine de matt**. |
|
||||
| **HAUTE** | 80-83 | **Injection de code** dans le message Discord. La variable `$msg` est injectée directement dans du code Python via un heredoc. Si le contenu du backup contient des guillemets triples `"""` ou du code Python, il sera exécuté. |
|
||||
| **MOYENNE** | 7 | `SCRIPT_DIR` est calculé mais jamais utilisé (variable morte). |
|
||||
| **BASSE** | 36 | `WEBHOOK_URL` utilise `:=` (valeur par défaut vide) au lieu de `:-`. Ce n'est pas un bug mais c'est incohérent avec les autres variables qui utilisent `:?`. |
|
||||
|
||||
### Suggestions
|
||||
|
||||
- **Ligne 8** : Remplacer par `ENV_FILE="${SCRIPT_DIR}/.env"` comme dans les autres scripts.
|
||||
- **Ligne 80-83** : Utiliser `jq` ou `python3 -c` avec passage par argument au lieu d'interpoler dans un heredoc Python :
|
||||
```bash
|
||||
printf '%s' "$msg" | python3 -c 'import sys,json; print(json.dumps({"content": sys.stdin.read()}))' | curl ...
|
||||
```
|
||||
- Ajouter une rotation des backups distants (pas de purge des anciens backups actuellement).
|
||||
|
||||
---
|
||||
|
||||
## 2. CheckStorage/check-storage.sh
|
||||
|
||||
### Qualite globale : Faible
|
||||
|
||||
Ce script est le moins mature du dépôt. Pas de `set -euo pipefail`, pas de gestion d'erreurs, et des pratiques fragiles.
|
||||
|
||||
### Problemes
|
||||
|
||||
| Severite | Ligne | Description |
|
||||
|----------|-------|-------------|
|
||||
| **HAUTE** | 1 | Pas de `set -euo pipefail`. Le script continue silencieusement en cas d'erreur. |
|
||||
| **HAUTE** | 10 | Lecture du `.env` avec `grep | cut` au lieu de `source`. Fragile : ne supporte pas les valeurs avec `=`, les espaces, ou les guillemets. |
|
||||
| **HAUTE** | 39-45 | **Injection JSON** : le message Discord est construit par interpolation directe dans du JSON. Si une variable contient `"` ou `\`, le JSON sera invalide ou pire. |
|
||||
| **MOYENNE** | 10 | Chemin `.env` relatif sans `cd` vers le répertoire du script. Le script cassera s'il est exécuté depuis un autre répertoire (ex: via cron). |
|
||||
| **MOYENNE** | 37 | Pas de notification quand tout va bien (aucun message si usage < limite). Impossible de savoir si le cron fonctionne. |
|
||||
| **BASSE** | - | Pas de shebang `#!/usr/bin/env bash`, utilise `#!/bin/bash` directement (moins portable). |
|
||||
| **BASSE** | - | Pas de logging dans un fichier, seulement `echo` sur stdout. |
|
||||
|
||||
### Suggestions
|
||||
|
||||
- Aligner sur le pattern des scripts RecetteScripts : `set -euo pipefail`, `source .env`, `SCRIPT_DIR`, gestion d'erreurs.
|
||||
- Utiliser `jq` ou Python pour construire le JSON Discord de maniere sure.
|
||||
- Ajouter un chemin absolu vers le `.env` base sur `$SCRIPT_DIR`.
|
||||
- Ajouter un mode `--verbose` ou un log file.
|
||||
|
||||
---
|
||||
|
||||
## 3. RecetteScripts/backup-bdd-recette.sh
|
||||
|
||||
### Qualite globale : Tres bonne
|
||||
|
||||
C'est le script le plus mature du dépôt. Bien structure, bonne gestion d'erreurs, verrou d'execution, messages Discord granulaires.
|
||||
|
||||
### Problemes
|
||||
|
||||
| Severite | Ligne | Description |
|
||||
|----------|-------|-------------|
|
||||
| **HAUTE** | 92 | `export PGPASSWORD` : le mot de passe PostgreSQL est expose dans l'environnement. Tout process fils peut le lire (visible dans `/proc/*/environ`). Preferer un fichier `.pgpass` avec permissions 600. |
|
||||
| **HAUTE** | 106-107 | **Injection JSON** dans `discord_send()` : la variable `$msg` est interpolee directement dans le JSON curl. Meme probleme que les autres scripts. |
|
||||
| **MOYENNE** | 223 | Les noms de dossiers distants (`ferme`, `sirh`, `inventory`, `user`) sont en dur au lieu d'etre derives de `$DBS`. Si on ajoute une base dans `.env`, le dossier distant ne sera pas cree. |
|
||||
| **MOYENNE** | 237-239 | L'export des "roles" fait en realite un simple `SELECT rolname` : ca ne sauvegarde que les **noms** des roles, pas leurs privileges, mots de passe, ou attributs. Utiliser `pg_dumpall --roles-only` pour un vrai backup des roles. |
|
||||
| **BASSE** | 336 | `exit 2` en fin de script en cas d'erreur partielle : c'est bien, mais pas documente dans le README. |
|
||||
| **BASSE** | 85 | Le `TMP_DIR` est sous `/tmp` : sur un systeme multi-utilisateur, un autre user pourrait pre-creer le dossier (race condition / symlink attack). Utiliser `mktemp -d`. |
|
||||
|
||||
### Suggestions
|
||||
|
||||
- Remplacer `export PGPASSWORD` par un fichier `.pgpass`.
|
||||
- Deriver les dossiers distants de `$DBS_ARRAY` au lieu de les hardcoder.
|
||||
- Utiliser `pg_dumpall --roles-only` pour un vrai export des roles.
|
||||
- Utiliser `mktemp -d` pour le repertoire temporaire.
|
||||
|
||||
---
|
||||
|
||||
## 4. RecetteScripts/check-statut-recette.sh
|
||||
|
||||
### Qualite globale : Bonne
|
||||
|
||||
Script bien ecrit, bonne separation des responsabilites, gestion propre des erreurs curl.
|
||||
|
||||
### Problemes
|
||||
|
||||
| Severite | Ligne | Description |
|
||||
|----------|-------|-------------|
|
||||
| **HAUTE** | 92-94 | **Injection JSON** dans Discord (meme pattern que partout). |
|
||||
| **MOYENNE** | 1 | `set -u` sans `set -e`. Les erreurs non gerees ne stopperont pas le script. C'est voulu (le script doit continuer pour checker tous les sites), mais `set -o pipefail` manque. |
|
||||
| **MOYENNE** | 52 | Schema HTTP en dur (`http`). Pas de support HTTPS. Si les apps passent en HTTPS, le script retournera des redirections 301/302 au lieu de verifier le vrai endpoint. |
|
||||
| **BASSE** | 134 | Le `mktemp` pour stderr n'est pas nettoye en cas d'interruption (pas de `trap`). Fuite mineure de fichiers temp. |
|
||||
|
||||
### Suggestions
|
||||
|
||||
- Ajouter le support HTTPS (configurable par URL dans le `.env`, ou suivre les redirections avec `-L`).
|
||||
- Ajouter `set -o pipefail`.
|
||||
- Nettoyer le fichier `stderr` temporaire dans un `trap`.
|
||||
|
||||
---
|
||||
|
||||
## 5. Problemes transversaux
|
||||
|
||||
### 5.1 Injection JSON dans les notifications Discord
|
||||
|
||||
**Tous les scripts** construisent le payload JSON Discord par interpolation de chaines. C'est le probleme le plus repandu.
|
||||
|
||||
**Pattern actuel (dangereux)** :
|
||||
```bash
|
||||
curl -d "{\"content\":\"$msg\"}" "$WEBHOOK_URL"
|
||||
```
|
||||
|
||||
**Pattern corrige** :
|
||||
```bash
|
||||
jq -n --arg msg "$msg" '{content: $msg}' | curl -d @- ...
|
||||
```
|
||||
|
||||
Ou si `jq` n'est pas disponible :
|
||||
```bash
|
||||
python3 -c "import sys,json; print(json.dumps({'content': sys.argv[1]}))" "$msg" | curl -d @- ...
|
||||
```
|
||||
|
||||
### 5.2 Pas de rotation des sauvegardes
|
||||
|
||||
Aucun script ne gere la purge des anciens backups sur le serveur distant. L'espace disque distant finira par se remplir.
|
||||
|
||||
**Suggestion** : ajouter une commande SSH pour supprimer les backups de plus de N jours :
|
||||
```bash
|
||||
ssh "$REMOTE" "find '$REMOTE_DIR' -name '*.dump' -mtime +30 -delete"
|
||||
```
|
||||
|
||||
### 5.3 Incoherence de style entre les scripts
|
||||
|
||||
| Aspect | check-storage | backup-vaultwarden | backup-bdd-recette | check-statut-recette |
|
||||
|--------|--------------|--------------------|--------------------|---------------------|
|
||||
| `set -euo pipefail` | Non | Oui | Oui | Partiel (`set -u`) |
|
||||
| Chargement .env | `grep\|cut` | `source` (chemin dur) | `source` (SCRIPT_DIR) | `source` (SCRIPT_DIR) |
|
||||
| Logging | `echo` | `tee` + fichier | `tee` + fichier | `tee` + fichier |
|
||||
| Gestion erreurs | Aucune | `fail()` | Granulaire | `log_line()` |
|
||||
| Shebang | `#!/bin/bash` | `#!/usr/bin/env bash` | `#!/usr/bin/env bash` | `#!/usr/bin/env bash` |
|
||||
|
||||
`check-storage.sh` est clairement en retard sur les conventions adoptees dans les autres scripts.
|
||||
|
||||
### 5.4 README du BackupVaultWarden desynchronise
|
||||
|
||||
Le README de BackupVaultWarden decrit l'ancien code (lecture `.env` avec `grep | cut`) alors que le script actuel utilise `source`. La documentation ne correspond plus au code.
|
||||
|
||||
---
|
||||
|
||||
## 6. .gitignore
|
||||
|
||||
### Problemes
|
||||
|
||||
Le `.gitignore` est **trop complexe** et redondant. Les regles se contredisent :
|
||||
|
||||
```gitignore
|
||||
.env
|
||||
.env.*
|
||||
!.env.example
|
||||
!.env.exemple
|
||||
RecetteScripts/.env # redondant avec .env
|
||||
CheckStorage/.env # redondant avec .env
|
||||
```
|
||||
|
||||
Les regles fonctionnent correctement (les fichiers `.env` ne sont pas commites), mais la redondance rend le fichier difficile a maintenir.
|
||||
|
||||
**Suggestion** : simplifier le `.gitignore` :
|
||||
```gitignore
|
||||
# Secrets
|
||||
.env
|
||||
!.env.exemple
|
||||
!.env.example
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## 7. Resume et priorites
|
||||
|
||||
### Actions immediates (a faire maintenant)
|
||||
|
||||
1. Corriger le chemin `.env` en dur dans `backup-vaultwarden.sh` (ligne 8)
|
||||
2. Corriger l'injection JSON dans **tous** les scripts (utiliser `jq`)
|
||||
|
||||
### Actions a court terme
|
||||
|
||||
3. Remonter `check-storage.sh` au niveau des autres scripts (set -euo, source .env, SCRIPT_DIR, logging)
|
||||
4. Remplacer `export PGPASSWORD` par `.pgpass` dans `backup-bdd-recette.sh`
|
||||
5. Utiliser `pg_dumpall --roles-only` au lieu du simple `SELECT rolname`
|
||||
|
||||
### Actions a moyen terme
|
||||
|
||||
8. Ajouter la rotation des backups distants
|
||||
9. Ajouter le support HTTPS dans `check-statut-recette.sh`
|
||||
10. Mettre a jour le README de BackupVaultWarden
|
||||
11. Simplifier le `.gitignore`
|
||||
|
||||
---
|
||||
|
||||
*Revue generee par Claude (Opus 4.6) - Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>*
|
||||
6
CheckStorage/.env.exemple
Normal file
6
CheckStorage/.env.exemple
Normal file
@@ -0,0 +1,6 @@
|
||||
#############################################
|
||||
# DISCORD
|
||||
#############################################
|
||||
|
||||
# Webhook Discord pour notifications
|
||||
WEBHOOK_URL=
|
||||
@@ -20,13 +20,19 @@ La limite d'alerte est fixée à 70% d'utilisation, mais vous pouvez ajuster cet
|
||||
```
|
||||
|
||||
## Utilisation du script
|
||||
0. Copiez le fichier d'environnement exemple et modifiez les variables selon votre configuration :
|
||||
```bash
|
||||
cp .env.example .env
|
||||
nano .env
|
||||
```
|
||||
|
||||
1. Donnez les permissions d'exécution au script :
|
||||
```bash
|
||||
chmod +x check_storage.sh
|
||||
chmod +x check-storage.sh
|
||||
```
|
||||
2. Exécutez le script pour vérifier l'espace de stockage :
|
||||
```bash
|
||||
./check_storage.sh
|
||||
./check-storage.sh
|
||||
```
|
||||
|
||||
## Initialisé un cron pour exécuter le script régulièrement
|
||||
@@ -36,8 +42,8 @@ La limite d'alerte est fixée à 70% d'utilisation, mais vous pouvez ajuster cet
|
||||
```
|
||||
2. Ajoutez la ligne suivante pour exécuter le script tous les jours à 7h50 du matin :
|
||||
```bash
|
||||
50 7 * * * /chemin/vers/le/script/check_storage.sh
|
||||
50 7 * * * /chemin/vers/le/script/check-storage.sh
|
||||
```
|
||||
|
||||
## Avertissement
|
||||
Assurez-vous de remplacer `/chemin/vers/le/script/check_storage.sh` par le chemin réel où se trouve le script sur votre système.
|
||||
Assurez-vous de remplacer `/chemin/vers/le/script/check-storage.sh` par le chemin réel où se trouve le script sur votre système.
|
||||
69
CheckStorage/check-storage.sh
Normal file
69
CheckStorage/check-storage.sh
Normal file
@@ -0,0 +1,69 @@
|
||||
#!/bin/bash
|
||||
set -euo pipefail
|
||||
|
||||
###############################################################################
|
||||
# CHARGEMENT DU .env
|
||||
###############################################################################
|
||||
|
||||
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
|
||||
ENV_FILE="${SCRIPT_DIR}/.env"
|
||||
|
||||
if [[ ! -f "$ENV_FILE" ]]; then
|
||||
echo "ERROR: fichier .env introuvable : $ENV_FILE" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
set -a
|
||||
# shellcheck disable=SC1090
|
||||
source "$ENV_FILE"
|
||||
set +a
|
||||
|
||||
###############################################################################
|
||||
# CONFIGURATION
|
||||
###############################################################################
|
||||
|
||||
# Limite maximale d'utilisation du disque en pourcentage
|
||||
limit=70
|
||||
|
||||
###############################################################################
|
||||
# RÉCUPÉRATION DES INFORMATIONS DISQUE
|
||||
###############################################################################
|
||||
|
||||
read -r total_bytes used_bytes avail_bytes usage <<<"$(df -B1 / | awk 'NR==2 {gsub(/%/,"",$5); print $2, $3, $4, $5}')"
|
||||
|
||||
# Calcul du pourcentage d'espace libre
|
||||
free=$((100 - usage))
|
||||
|
||||
###############################################################################
|
||||
# CONVERSION EN GIGAOCTETS
|
||||
###############################################################################
|
||||
|
||||
used_gb=$(awk -v b="$used_bytes" 'BEGIN {printf "%.2f", b/1024/1024/1024}')
|
||||
total_gb=$(awk -v b="$total_bytes" 'BEGIN {printf "%.2f", b/1024/1024/1024}')
|
||||
avail_gb=$(awk -v b="$avail_bytes" 'BEGIN {printf "%.2f", b/1024/1024/1024}')
|
||||
|
||||
###############################################################################
|
||||
# VÉRIFICATION DU SEUIL D'UTILISATION
|
||||
###############################################################################
|
||||
|
||||
if [ "$usage" -ge "$limit" ]; then
|
||||
|
||||
msgLimit="@here\n**CHECK STOCKAGE :red_circle:**\nLimite autorisé : ${limit}%\nUtilisation actuelle: ${usage}%\nEspace restant: ${free}%\nUtilise / total: ${used_gb} GB / ${total_gb} GB\nDisponible: ${avail_gb} GB\nHeure: $(date)"
|
||||
|
||||
payload="$(jq -n --arg content "$msgLimit" '{content: $content}')"
|
||||
|
||||
curl -X POST \
|
||||
-H "Accept: application/json" \
|
||||
-H "Content-Type: application/json; charset=utf-8" \
|
||||
-d "$payload" \
|
||||
"$WEBHOOK_URL"
|
||||
|
||||
fi
|
||||
|
||||
###############################################################################
|
||||
# AFFICHAGE DES INFORMATIONS STOCKAGE
|
||||
###############################################################################
|
||||
|
||||
echo "Espace disponible : ${avail_gb} GB"
|
||||
echo "Espace utilise / espace total : ${used_gb} GB / ${total_gb} GB"
|
||||
echo "Name: ${HOSTNAME}"
|
||||
@@ -1,22 +0,0 @@
|
||||
#!/bin/bash
|
||||
limit=70
|
||||
# Mettre le lien de votre webhook Discord dans un .env
|
||||
WEBHOOK_URL=$(grep -E '^WEBHOOK_URL=' .env | cut -d '=' -f2-)
|
||||
|
||||
# Récupérer l'utilisation du disque en pourcentage
|
||||
usage=$(df -h / | awk 'NR==2 {gsub(/%/,"",$5); print $5}')
|
||||
# Calculer l'espace libre en pourcentage
|
||||
free=$((100 - usage))
|
||||
|
||||
# Si l'utilisation dépasse la limite, envoyer une alerte sur Discord
|
||||
if [ "$usage" -ge "$limit" ]; then
|
||||
msgLimit="@here\n**CHECK STOCKAGE :red_circle:**\nLimite autorisé : ${limit}% \nUtilisation actuelle: ${usage}%\nEspace restant: ${free}%\nHeure: $(date)"
|
||||
curl -X POST \
|
||||
-H "Accept: application/json" \
|
||||
-H "Content-Type: application/json; charset=utf-8" \
|
||||
-d "{\"content\":\"$msgLimit\"}" \
|
||||
"$WEBHOOK_URL"
|
||||
# Log de l'alerte
|
||||
echo "ALERTE >> ${usage}% d'utilisation, check fait le $(date)"
|
||||
echo "------------------------------------------------------------"
|
||||
fi
|
||||
38
README.md
38
README.md
@@ -1,4 +1,40 @@
|
||||
# Scripts Serveur MALIO
|
||||
# Malio-Ops MALIO
|
||||
Ce dépôt sert au **versionnement des scripts utilisés dans l’infrastructure du projet Ferme**.
|
||||
|
||||
L’objectif est de conserver un historique clair des scripts, suivre les évolutions et permettre leur amélioration progressive.
|
||||
|
||||
## Contenu du dépôt
|
||||
|
||||
Le dépôt peut contenir différents types de scripts utilisés pour l’exploitation technique :
|
||||
|
||||
* scripts de **backup PostgreSQL**
|
||||
* scripts de **monitoring des applications**
|
||||
* scripts **d’automatisation système**
|
||||
* scripts **d’administration ou de maintenance**
|
||||
|
||||
## Objectif
|
||||
|
||||
Ce dépôt permet de :
|
||||
|
||||
* suivre les **modifications des scripts dans le temps**
|
||||
* garder une **version stable et reproductible**
|
||||
* faciliter la **maintenance et les corrections**
|
||||
* centraliser les scripts utilisés sur les serveurs
|
||||
|
||||
## Organisation
|
||||
|
||||
Les évolutions importantes sont documentées dans le fichier :
|
||||
|
||||
```
|
||||
CHANGELOG.md
|
||||
```
|
||||
|
||||
Ce fichier décrit les nouvelles fonctionnalités, corrections et modifications apportées aux scripts.
|
||||
|
||||
## Remarque
|
||||
|
||||
Ce dépôt est dédié au **versionnement des scripts uniquement**.
|
||||
Les configurations sensibles (mots de passe, clés, variables d’environnement) ne doivent pas être stockées directement dans le dépôt et doivent être placées dans des fichiers `.env` locaux.
|
||||
|
||||
Ce projet contient des scripts pour la gestion et la maintenance des serveurs de MALIO.
|
||||
|
||||
|
||||
81
RecetteScripts/.env.exemple
Normal file
81
RecetteScripts/.env.exemple
Normal file
@@ -0,0 +1,81 @@
|
||||
#############################################
|
||||
# ENVIRONNEMENT
|
||||
#############################################
|
||||
|
||||
# Nom de l'environnement (ex: DEV / RECETTE / PROD)
|
||||
ENV_NAME=RECETTE
|
||||
|
||||
#############################################
|
||||
# POSTGRESQL
|
||||
#############################################
|
||||
|
||||
# Host PostgreSQL
|
||||
PGHOST=localhost
|
||||
|
||||
# Port PostgreSQL
|
||||
PGPORT=5432
|
||||
|
||||
# Utilisateur utilisé pour les dumps
|
||||
PGUSER=nom_de_user
|
||||
|
||||
# Mot de passe PostgreSQL
|
||||
PGPASSWORD=change_me_secure_password
|
||||
|
||||
# Bases à sauvegarder (séparées par espace)
|
||||
DBS="sirh inventory ferme"
|
||||
|
||||
#############################################
|
||||
# SERVEUR DE STOCKAGE DES BACKUPS
|
||||
#############################################
|
||||
|
||||
# Utilisateur du serveur distant
|
||||
BACKUP_REMOTE_USER=nom_de_user
|
||||
|
||||
# Host ou IP du serveur distant
|
||||
BACKUP_REMOTE_HOST=192.168.1.50
|
||||
|
||||
# Dossier distant pour stocker les backups
|
||||
BACKUP_REMOTE_DIR=/home/nom_de_user/backups/bdd-recette
|
||||
|
||||
#############################################
|
||||
# SSH
|
||||
#############################################
|
||||
|
||||
# Clé SSH utilisée pour envoyer les dumps
|
||||
SSH_KEY=/home/nom_de_user/.ssh/id_ed25519_backup
|
||||
|
||||
# Timeout SSH (secondes)
|
||||
SSH_TIMEOUT=10
|
||||
|
||||
#############################################
|
||||
# LOGS
|
||||
#############################################
|
||||
|
||||
# Dossier des logs backup
|
||||
BACKUP_LOG_DIR=/var/log/pg_backup
|
||||
|
||||
# Dossier logs monitoring apps
|
||||
APP_LOG_DIR=/var/log/app_health
|
||||
|
||||
#############################################
|
||||
# DISCORD
|
||||
#############################################
|
||||
|
||||
# Webhook Discord pour notifications
|
||||
DISCORD_WEBHOOK_URL=https://discord.com/api/webhooks/xxxxxxxxxxxxxxxx/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
|
||||
|
||||
# Ping en cas d'erreur
|
||||
DISCORD_PING=@here
|
||||
|
||||
#############################################
|
||||
# HEALTH CHECK APPS
|
||||
#############################################
|
||||
|
||||
# Timeout connexion HTTP
|
||||
CHECK_CONNECT_TIMEOUT=3
|
||||
|
||||
# Timeout total curl
|
||||
CHECK_MAX_TIME=8
|
||||
|
||||
# Applications à vérifier
|
||||
APP_URLS="ferme.example.local sirh.example.local inventory.example.local"
|
||||
121
RecetteScripts/README.md
Normal file
121
RecetteScripts/README.md
Normal file
@@ -0,0 +1,121 @@
|
||||
# Scripts Recette
|
||||
|
||||
Ce dossier contient les scripts utilisés pour l’environnement **RECETTE** du projet **Ferme**.
|
||||
|
||||
Les scripts permettent principalement :
|
||||
|
||||
* la **sauvegarde automatique des bases de données PostgreSQL**
|
||||
* la **vérification du statut des applications web**
|
||||
|
||||
---
|
||||
|
||||
# Scripts disponibles
|
||||
|
||||
## backup-bdd-recette.sh
|
||||
|
||||
Script permettant de réaliser une **sauvegarde des bases de données PostgreSQL**.
|
||||
|
||||
Fonctionnement :
|
||||
|
||||
* export des bases PostgreSQL définies dans la configuration
|
||||
* export des utilisateurs PostgreSQL
|
||||
* création de dumps au format PostgreSQL (`pg_dump -Fc`)
|
||||
* transfert des sauvegardes vers un serveur distant
|
||||
* génération de logs locaux
|
||||
* envoi de notifications Discord en cas de succès ou d’erreur
|
||||
|
||||
---
|
||||
|
||||
## check-statut-recette.sh
|
||||
|
||||
Script permettant de **vérifier la disponibilité des applications web**.
|
||||
|
||||
Le script effectue les vérifications suivantes :
|
||||
|
||||
* résolution DNS du site
|
||||
* connexion HTTP au service
|
||||
* vérification du code HTTP retourné
|
||||
|
||||
Une application est considérée :
|
||||
|
||||
* **OK** si le code HTTP est entre **200 et 399**
|
||||
* **DOWN** si la résolution DNS échoue ou si une erreur HTTP est détectée
|
||||
|
||||
Chaque vérification est enregistrée dans un **fichier de log** et une notification peut être envoyée sur **Discord**.
|
||||
|
||||
---
|
||||
|
||||
# Installation
|
||||
|
||||
1. Clonez le dépôt Git :
|
||||
|
||||
```bash
|
||||
git clone https://gitea.malio.fr/MALIO-DEV/Scripts-Serveur.git
|
||||
```
|
||||
|
||||
2. Accédez au dossier des scripts :
|
||||
|
||||
```bash
|
||||
cd Scripts-Serveur/RecetteScripts
|
||||
```
|
||||
|
||||
3. Copiez le fichier d’environnement :
|
||||
|
||||
```bash
|
||||
cp .env.example .env
|
||||
```
|
||||
|
||||
4. Modifiez les variables du fichier `.env` selon votre configuration.
|
||||
|
||||
---
|
||||
|
||||
# Utilisation
|
||||
|
||||
Donnez les permissions d’exécution aux scripts :
|
||||
|
||||
```bash
|
||||
chmod +x backup-bdd-recette.sh
|
||||
chmod +x check-statut-recette.sh
|
||||
```
|
||||
|
||||
Exécution manuelle :
|
||||
|
||||
```bash
|
||||
./backup-bdd-recette.sh
|
||||
./check-statut-recette.sh
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# Exécution automatique avec Cron
|
||||
|
||||
Ouvrez le crontab :
|
||||
|
||||
```bash
|
||||
crontab -e
|
||||
```
|
||||
|
||||
Exemple de planification :
|
||||
|
||||
Backup des bases tous les jours à 19h :
|
||||
|
||||
```bash
|
||||
0 19 * * * /chemin/vers/le/script/backup-bdd-recette.sh
|
||||
```
|
||||
|
||||
Vérification des applications tous les jours à 19h :
|
||||
|
||||
```bash
|
||||
0 19 * * * /chemin/vers/le/script/check-statut-recette.sh
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
# Avertissement
|
||||
|
||||
Assurez-vous que :
|
||||
|
||||
* PostgreSQL est accessible depuis la machine exécutant le script
|
||||
* la clé SSH pour le transfert des sauvegardes est configurée
|
||||
* les variables du fichier `.env` sont correctement renseignées
|
||||
* les commandes `curl`, `psql` et `pg_dump` sont installées sur le système
|
||||
376
RecetteScripts/backup-bdd-recette.sh
Normal file
376
RecetteScripts/backup-bdd-recette.sh
Normal file
@@ -0,0 +1,376 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
|
||||
###############################################################################
|
||||
# backup-bdd-recette.sh
|
||||
#
|
||||
# Ce script réalise une sauvegarde logique de plusieurs bases PostgreSQL
|
||||
# définies dans le fichier .env, exporte également la liste des rôles/users,
|
||||
# puis transfère l’ensemble vers une machine distante de stockage.
|
||||
#
|
||||
# Fonctionnement global :
|
||||
# 1. charge la configuration depuis le fichier .env ;
|
||||
# 2. vérifie les dépendances nécessaires ;
|
||||
# 3. prépare les chemins, logs et variables de connexion ;
|
||||
# 4. empêche l’exécution simultanée grâce à un verrou ;
|
||||
# 5. crée les dossiers de destination sur la machine distante ;
|
||||
# 6. exporte les rôles PostgreSQL ;
|
||||
# 7. dump chaque base au format personnalisé PostgreSQL ;
|
||||
# 8. transfère chaque fichier vers le serveur distant ;
|
||||
# 9. applique une rotation distante sur 10 jours ;
|
||||
# 10. envoie un bilan sur Discord :
|
||||
# - 1 message global si tout est OK ;
|
||||
# - en cas d’erreur partielle :
|
||||
# * USERS OK -> message simple ;
|
||||
# * USERS KO -> message détaillé ;
|
||||
# * DB OK -> message simple ;
|
||||
# * DB KO -> message détaillé.
|
||||
###############################################################################
|
||||
|
||||
#######################################
|
||||
# Chargement du .env
|
||||
#######################################
|
||||
|
||||
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
|
||||
ENV_FILE="${SCRIPT_DIR}/.env"
|
||||
|
||||
if [[ ! -f "$ENV_FILE" ]]; then
|
||||
echo "ERROR: fichier .env introuvable : $ENV_FILE" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
set -a
|
||||
# shellcheck disable=SC1090
|
||||
source "$ENV_FILE"
|
||||
set +a
|
||||
|
||||
#######################################
|
||||
# Vérification des variables requises
|
||||
#######################################
|
||||
|
||||
: "${ENV_NAME:?Variable ENV_NAME manquante}"
|
||||
: "${PGHOST:?Variable PGHOST manquante}"
|
||||
: "${PGPORT:?Variable PGPORT manquante}"
|
||||
: "${PGUSER:?Variable PGUSER manquante}"
|
||||
: "${PGPASSWORD:?Variable PGPASSWORD manquante}"
|
||||
: "${DBS:?Variable DBS manquante}"
|
||||
: "${BACKUP_REMOTE_USER:?Variable BACKUP_REMOTE_USER manquante}"
|
||||
: "${BACKUP_REMOTE_HOST:?Variable BACKUP_REMOTE_HOST manquante}"
|
||||
: "${BACKUP_REMOTE_DIR:?Variable BACKUP_REMOTE_DIR manquante}"
|
||||
: "${SSH_KEY:?Variable SSH_KEY manquante}"
|
||||
: "${SSH_TIMEOUT:?Variable SSH_TIMEOUT manquante}"
|
||||
: "${BACKUP_LOG_DIR:?Variable BACKUP_LOG_DIR manquante}"
|
||||
|
||||
#######################################
|
||||
# Configuration principale
|
||||
#######################################
|
||||
|
||||
read -r -a DBS_ARRAY <<< "$DBS"
|
||||
|
||||
IA_SSH="${BACKUP_REMOTE_USER}@${BACKUP_REMOTE_HOST}"
|
||||
IA_BASE_DIR="${BACKUP_REMOTE_DIR}"
|
||||
RETENTION_DAYS=10
|
||||
|
||||
SSH_OPTS=(
|
||||
-i "$SSH_KEY"
|
||||
-o IdentitiesOnly=yes
|
||||
-o BatchMode=yes
|
||||
-o ConnectTimeout="${SSH_TIMEOUT}"
|
||||
)
|
||||
|
||||
LOG_DIR="${BACKUP_LOG_DIR}"
|
||||
mkdir -p "$LOG_DIR"
|
||||
|
||||
TS="$(date +'%Y-%m-%d_%H-%M-%S')"
|
||||
BACKUP_DIR_NAME="backup_${TS}"
|
||||
LOG_FILE="${LOG_DIR}/${BACKUP_DIR_NAME}.log"
|
||||
|
||||
TMP_DIR="/tmp/pg_dump_${BACKUP_DIR_NAME}"
|
||||
mkdir -p "$TMP_DIR"
|
||||
|
||||
exec > >(tee -a "$LOG_FILE") 2>&1
|
||||
|
||||
log() { echo "---- $(date +'%Y-%m-%d %H:%M:%S') ---- $*"; }
|
||||
|
||||
export PGPASSWORD
|
||||
|
||||
#######################################
|
||||
# Configuration Discord
|
||||
#######################################
|
||||
|
||||
DISCORD_WEBHOOK_URL="${DISCORD_WEBHOOK_URL:-}"
|
||||
DISCORD_PING="${DISCORD_PING:-@here}"
|
||||
|
||||
discord_send() {
|
||||
local msg="$1"
|
||||
[[ -z "${DISCORD_WEBHOOK_URL:-}" ]] && return 0
|
||||
|
||||
local payload
|
||||
payload="$(jq -n --arg content "$msg" '{content: $content}')" || {
|
||||
log "ERROR: impossible de construire le payload JSON Discord"
|
||||
return 1
|
||||
}
|
||||
|
||||
curl -fsS \
|
||||
-H "Content-Type: application/json" \
|
||||
-d "$payload" \
|
||||
"$DISCORD_WEBHOOK_URL" >/dev/null || true
|
||||
}
|
||||
|
||||
#######################################
|
||||
# Message global OK
|
||||
#######################################
|
||||
|
||||
discord_msg_global_ok() {
|
||||
local msg="**BACKUP BDD ${ENV_NAME} 🟢**\n"
|
||||
msg+="Name: ${BACKUP_DIR_NAME}\n"
|
||||
msg+="Dumps transfer: ✅\n"
|
||||
msg+="Users transfer: ✅"
|
||||
|
||||
discord_send "$msg"
|
||||
}
|
||||
|
||||
#######################################
|
||||
# Messages USERS
|
||||
#######################################
|
||||
|
||||
discord_msg_users_ok_simple() {
|
||||
local msg="**BACKUP BDD ${ENV_NAME} 🟢**\n"
|
||||
msg+="Users backup validé"
|
||||
|
||||
discord_send "$msg"
|
||||
}
|
||||
|
||||
discord_msg_users_error() {
|
||||
local export_ok="$1"
|
||||
local transfer_ok="$2"
|
||||
local details="$3"
|
||||
|
||||
local export_disp transfer_disp
|
||||
export_disp=$([[ -n "$export_ok" ]] && echo "✅" || echo "❌")
|
||||
transfer_disp=$([[ -n "$transfer_ok" ]] && echo "✅" || echo "❌")
|
||||
|
||||
local msg="**${DISCORD_PING} BACKUP BDD ${ENV_NAME} 🔴**\n"
|
||||
msg+="Name: ${BACKUP_DIR_NAME}\n"
|
||||
msg+="Users export: ${export_disp}\n"
|
||||
msg+="Users transfer: ${transfer_disp}"
|
||||
|
||||
[[ -n "$details" ]] && msg+="\nDetails: ${details}"
|
||||
|
||||
discord_send "$msg"
|
||||
}
|
||||
|
||||
#######################################
|
||||
# Messages DB
|
||||
#######################################
|
||||
|
||||
discord_msg_db_ok_simple() {
|
||||
local db="$1"
|
||||
local msg="**BACKUP BDD ${ENV_NAME} 🟢**\n"
|
||||
msg+="Backup validé : ${db}"
|
||||
|
||||
discord_send "$msg"
|
||||
}
|
||||
|
||||
discord_msg_db_error() {
|
||||
local db="$1"
|
||||
local dump_ok="$2"
|
||||
local transfer_ok="$3"
|
||||
local details="$4"
|
||||
|
||||
local dump_disp transfer_disp
|
||||
dump_disp=$([[ -n "$dump_ok" ]] && echo "✅" || echo "❌")
|
||||
transfer_disp=$([[ -n "$transfer_ok" ]] && echo "✅" || echo "❌")
|
||||
|
||||
local msg="**${DISCORD_PING} BACKUP BDD ${ENV_NAME} 🔴**\n"
|
||||
msg+="Name: ${BACKUP_DIR_NAME}\n"
|
||||
msg+="Database: ${db}\n"
|
||||
msg+="Dump: ${dump_disp}\n"
|
||||
msg+="Transfer: ${transfer_disp}"
|
||||
|
||||
[[ -n "$details" ]] && msg+="\nDetails: ${details}"
|
||||
|
||||
discord_send "$msg"
|
||||
}
|
||||
|
||||
#######################################
|
||||
# Variables de statut globales
|
||||
#######################################
|
||||
|
||||
DUMPS_OK=true
|
||||
USERS_OK=true
|
||||
|
||||
USERS_EXPORT_OK=true
|
||||
USERS_TRANSFER_OK=true
|
||||
USERS_DETAILS=""
|
||||
|
||||
declare -A DB_DUMP_OK
|
||||
declare -A DB_TRANSFER_OK
|
||||
declare -A DB_DETAILS
|
||||
|
||||
#######################################
|
||||
# Verrou d’exécution
|
||||
#######################################
|
||||
|
||||
LOCK_DIR="/tmp/pg_multi_dump_stream.lock.d"
|
||||
|
||||
if ! mkdir "$LOCK_DIR" 2>/dev/null; then
|
||||
log "ERROR: Backup déjà en cours"
|
||||
discord_msg_users_error "" "" "Lock already exists"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
trap 'rm -rf "$LOCK_DIR"' EXIT
|
||||
|
||||
#######################################
|
||||
# Préparation du dossier distant
|
||||
#######################################
|
||||
|
||||
REMOTE_DIR="${IA_BASE_DIR}"
|
||||
|
||||
log "Creating remote directories"
|
||||
|
||||
if ! ssh "${SSH_OPTS[@]}" "$IA_SSH" "mkdir -p '${REMOTE_DIR}/ferme' '${REMOTE_DIR}/sirh' '${REMOTE_DIR}/inventory' '${REMOTE_DIR}/user'"; then
|
||||
log "ERROR: remote mkdir failed"
|
||||
discord_msg_users_error "" "" "Remote mkdir failed"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
#######################################
|
||||
# Export des rôles PostgreSQL
|
||||
#######################################
|
||||
|
||||
ROLES_FILE="${TMP_DIR}/user_${TS}.dump"
|
||||
|
||||
set +e
|
||||
|
||||
psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -Atq <<'SQL' > "$ROLES_FILE"
|
||||
SELECT rolname FROM pg_roles WHERE rolname !~ '^pg_';
|
||||
SQL
|
||||
|
||||
RET=$?
|
||||
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
USERS_OK=
|
||||
USERS_EXPORT_OK=
|
||||
USERS_DETAILS="roles export failed"
|
||||
fi
|
||||
|
||||
scp "${SSH_OPTS[@]}" "$ROLES_FILE" "$IA_SSH:${REMOTE_DIR}/user/"
|
||||
RET=$?
|
||||
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
USERS_OK=
|
||||
USERS_TRANSFER_OK=
|
||||
if [[ -n "$USERS_DETAILS" ]]; then
|
||||
USERS_DETAILS+=" | roles transfer failed"
|
||||
else
|
||||
USERS_DETAILS="roles transfer failed"
|
||||
fi
|
||||
fi
|
||||
|
||||
set -e
|
||||
|
||||
#######################################
|
||||
# Dump des bases
|
||||
#######################################
|
||||
|
||||
set +e
|
||||
|
||||
for DB in "${DBS_ARRAY[@]}"; do
|
||||
FILE="${TMP_DIR}/${DB}_${TS}.dump"
|
||||
|
||||
DB_DUMP_OK["$DB"]=true
|
||||
DB_TRANSFER_OK["$DB"]=true
|
||||
DB_DETAILS["$DB"]=""
|
||||
|
||||
log "Dump $DB"
|
||||
|
||||
pg_dump -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -Fc -d "$DB" -f "$FILE"
|
||||
RET=$?
|
||||
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
DUMPS_OK=
|
||||
DB_DUMP_OK["$DB"]=
|
||||
DB_TRANSFER_OK["$DB"]=
|
||||
DB_DETAILS["$DB"]="dump failed"
|
||||
continue
|
||||
fi
|
||||
|
||||
scp "${SSH_OPTS[@]}" "$FILE" "$IA_SSH:${REMOTE_DIR}/${DB}/"
|
||||
RET=$?
|
||||
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
DUMPS_OK=
|
||||
DB_TRANSFER_OK["$DB"]=
|
||||
DB_DETAILS["$DB"]="transfer failed"
|
||||
fi
|
||||
done
|
||||
|
||||
set -e
|
||||
|
||||
#######################################
|
||||
# Rotation distante
|
||||
#######################################
|
||||
|
||||
log "Starting remote rotation: delete backups older than ${RETENTION_DAYS} days"
|
||||
|
||||
set +e
|
||||
|
||||
ssh "${SSH_OPTS[@]}" "$IA_SSH" "find '${REMOTE_DIR}/user' -type f -name 'user_*.dump' -mtime +${RETENTION_DAYS} -delete"
|
||||
RET=$?
|
||||
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
log "ERROR: remote rotation failed for users"
|
||||
fi
|
||||
|
||||
for DB in "${DBS_ARRAY[@]}"; do
|
||||
ssh "${SSH_OPTS[@]}" "$IA_SSH" "find '${REMOTE_DIR}/${DB}' -type f -name '${DB}_*.dump' -mtime +${RETENTION_DAYS} -delete"
|
||||
RET=$?
|
||||
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
log "ERROR: remote rotation failed for ${DB}"
|
||||
else
|
||||
log "Remote rotation OK for ${DB}"
|
||||
fi
|
||||
done
|
||||
|
||||
set -e
|
||||
|
||||
log "Remote rotation finished"
|
||||
|
||||
#######################################
|
||||
# Nettoyage local
|
||||
#######################################
|
||||
|
||||
rm -rf "$TMP_DIR"
|
||||
|
||||
#######################################
|
||||
# Bilan final Discord
|
||||
#######################################
|
||||
|
||||
MODE_KO=
|
||||
|
||||
[[ -z "${DUMPS_OK:-}" ]] && MODE_KO=true
|
||||
[[ -z "${USERS_OK:-}" ]] && MODE_KO=true
|
||||
|
||||
if [[ -z "${MODE_KO:-}" ]]; then
|
||||
discord_msg_global_ok
|
||||
exit 0
|
||||
fi
|
||||
|
||||
if [[ -n "${USERS_EXPORT_OK:-}" && -n "${USERS_TRANSFER_OK:-}" ]]; then
|
||||
discord_msg_users_ok_simple
|
||||
else
|
||||
discord_msg_users_error "${USERS_EXPORT_OK:+true}" "${USERS_TRANSFER_OK:+true}" "$USERS_DETAILS"
|
||||
fi
|
||||
|
||||
for DB in "${DBS_ARRAY[@]}"; do
|
||||
if [[ -n "${DB_DUMP_OK[$DB]:-}" && -n "${DB_TRANSFER_OK[$DB]:-}" ]]; then
|
||||
discord_msg_db_ok_simple "$DB"
|
||||
else
|
||||
discord_msg_db_error "$DB" "${DB_DUMP_OK[$DB]:+true}" "${DB_TRANSFER_OK[$DB]:+true}" "${DB_DETAILS[$DB]}"
|
||||
fi
|
||||
done
|
||||
|
||||
exit 2
|
||||
82
check_statut_recette.sh → RecetteScripts/check-statut-recette.sh
Executable file → Normal file
82
check_statut_recette.sh → RecetteScripts/check-statut-recette.sh
Executable file → Normal file
@@ -1,30 +1,72 @@
|
||||
#!/usr/bin/env bash
|
||||
set -u
|
||||
set -uo pipefail
|
||||
|
||||
###############################################################################
|
||||
# check-statut-recette.sh
|
||||
#
|
||||
# Ce script vérifie la disponibilité de plusieurs applications web définies
|
||||
# dans le fichier .env.
|
||||
#
|
||||
# Fonctionnement global :
|
||||
# 1. charge la configuration depuis le fichier .env ;
|
||||
# 2. vérifie que le DNS du site est résolu ;
|
||||
# 3. effectue une requête HTTP avec curl ;
|
||||
# 4. analyse le code HTTP retourné ;
|
||||
# 5. écrit le résultat dans un fichier de log local ;
|
||||
# 6. envoie une notification Discord avec l’état du service.
|
||||
###############################################################################
|
||||
|
||||
#######################################
|
||||
# Chargement du .env
|
||||
#######################################
|
||||
|
||||
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
|
||||
ENV_FILE="${SCRIPT_DIR}/.env"
|
||||
|
||||
if [[ ! -f "$ENV_FILE" ]]; then
|
||||
echo "ERROR: fichier .env introuvable : $ENV_FILE" >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
set -a
|
||||
# shellcheck disable=SC1090
|
||||
source "$ENV_FILE"
|
||||
set +a
|
||||
|
||||
#######################################
|
||||
# Vérification des variables requises
|
||||
#######################################
|
||||
|
||||
: "${ENV_NAME:?Variable ENV_NAME manquante}"
|
||||
: "${APP_LOG_DIR:?Variable APP_LOG_DIR manquante}"
|
||||
: "${CHECK_CONNECT_TIMEOUT:?Variable CHECK_CONNECT_TIMEOUT manquante}"
|
||||
: "${CHECK_MAX_TIME:?Variable CHECK_MAX_TIME manquante}"
|
||||
: "${APP_URLS:?Variable APP_URLS manquante}"
|
||||
|
||||
#######################################
|
||||
# Sites à vérifier
|
||||
#######################################
|
||||
SITES=(
|
||||
"ferme.malio-dev.fr"
|
||||
"sirh.malio-dev.fr"
|
||||
"inventory.malio-dev.fr"
|
||||
)
|
||||
|
||||
read -r -a SITES <<< "$APP_URLS"
|
||||
|
||||
SCHEME="http"
|
||||
CONNECT_TIMEOUT=3
|
||||
MAX_TIME=8
|
||||
CONNECT_TIMEOUT="${CHECK_CONNECT_TIMEOUT}"
|
||||
MAX_TIME="${CHECK_MAX_TIME}"
|
||||
|
||||
#######################################
|
||||
# Logs
|
||||
#######################################
|
||||
LOG_DIR="/var/log/app_health"
|
||||
|
||||
LOG_DIR="${APP_LOG_DIR}"
|
||||
mkdir -p "$LOG_DIR"
|
||||
LOG_FILE="${LOG_DIR}/app_health_$(date +'%Y-%m-%d').log"
|
||||
|
||||
#######################################
|
||||
# Discord
|
||||
#######################################
|
||||
DISCORD_WEBHOOK_URL="https://discord.com/api/webhooks/1478379245842600007/tSxi3G6PbCn89pOdeqK34LR7c-GhXfT-lSCPolwBywJXcpa3ihL8rN4QRwsTjF6SS3w0"
|
||||
|
||||
DISCORD_WEBHOOK_URL="${DISCORD_WEBHOOK_URL:-}"
|
||||
DISCORD_PING="${DISCORD_PING:-@here}"
|
||||
|
||||
discord_ping() {
|
||||
local site="$1"
|
||||
@@ -33,41 +75,43 @@ discord_ping() {
|
||||
|
||||
[[ -z "${DISCORD_WEBHOOK_URL:-}" ]] && return 0
|
||||
|
||||
local color icon
|
||||
|
||||
local color icon ping_prefix=""
|
||||
if [[ "$status" == "OK" ]]; then
|
||||
color="🟢"
|
||||
icon="✅"
|
||||
else
|
||||
color="🔴"
|
||||
icon="❌"
|
||||
ping_prefix="${DISCORD_PING} "
|
||||
fi
|
||||
|
||||
local msg="**CHECK APP RECETTE $color**\n"
|
||||
local msg="**${ping_prefix}CHECK APP ${ENV_NAME} $color**\n"
|
||||
msg+="Application: ${site}\n"
|
||||
msg+="Status: ${icon}\n"
|
||||
msg+="Details: ${detail}"
|
||||
|
||||
local payload
|
||||
payload="$(jq -n --arg content "$msg" '{content: $content}')"
|
||||
|
||||
curl -fsS -H "Content-Type: application/json" \
|
||||
-d "{\"content\":\"$msg\"}" \
|
||||
-d "$payload" \
|
||||
"$DISCORD_WEBHOOK_URL" >/dev/null || true
|
||||
}
|
||||
|
||||
#######################################
|
||||
# Logging
|
||||
#######################################
|
||||
|
||||
log_line() {
|
||||
# 2026-03-04 14:12:33 | LEVEL | site | message
|
||||
printf "%s | %s | %s | %s\n" \
|
||||
"$(date +'%Y-%m-%d %H:%M:%S')" "$1" "$2" "$3" | tee -a "$LOG_FILE"
|
||||
|
||||
# Envoi Discord par application
|
||||
discord_ping "$2" "$1" "$3"
|
||||
}
|
||||
|
||||
#######################################
|
||||
# DNS
|
||||
#######################################
|
||||
|
||||
dns_ok() {
|
||||
getent hosts "$1" >/dev/null 2>&1
|
||||
}
|
||||
@@ -75,6 +119,7 @@ dns_ok() {
|
||||
#######################################
|
||||
# Check application
|
||||
#######################################
|
||||
|
||||
check_site() {
|
||||
|
||||
local host="$1"
|
||||
@@ -127,6 +172,7 @@ check_site() {
|
||||
#######################################
|
||||
# Main
|
||||
#######################################
|
||||
|
||||
main() {
|
||||
|
||||
local failures=0
|
||||
@@ -144,4 +190,4 @@ main() {
|
||||
exit 0
|
||||
}
|
||||
|
||||
main "$@"
|
||||
main "$@"
|
||||
210
backup_pg.sh
210
backup_pg.sh
@@ -1,210 +0,0 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
|
||||
#######################################
|
||||
# Configuration
|
||||
#######################################
|
||||
DBS=("sirh" "inventory" "ferme")
|
||||
|
||||
PGHOST="localhost"
|
||||
PGPORT="5432"
|
||||
PGUSER="backup_liot"
|
||||
PGPASSWORD="backup_liot"
|
||||
|
||||
IA_SSH="malio-b@192.168.0.179"
|
||||
IA_BASE_DIR="/home/malio-b/backups"
|
||||
|
||||
SSH_KEY="/home/malio/.ssh/id_ed25519_backup"
|
||||
SSH_OPTS=(-i "$SSH_KEY" -o IdentitiesOnly=yes -o BatchMode=yes -o ConnectTimeout=10)
|
||||
|
||||
LOG_DIR="/var/log/pg_backup"
|
||||
mkdir -p "$LOG_DIR"
|
||||
|
||||
TS="$(date +'%Y-%m-%d_%H-%M-%S')"
|
||||
BACKUP_DIR_NAME="backup_${TS}"
|
||||
LOG_FILE="${LOG_DIR}/${BACKUP_DIR_NAME}.log"
|
||||
|
||||
TMP_DIR="/tmp/pg_dump_${BACKUP_DIR_NAME}"
|
||||
mkdir -p "$TMP_DIR"
|
||||
|
||||
exec > >(tee -a "$LOG_FILE") 2>&1
|
||||
log() { echo "---- $(date +'%Y-%m-%d %H:%M:%S') ---- $*"; }
|
||||
|
||||
export PGPASSWORD
|
||||
|
||||
#######################################
|
||||
# Discord (Webhook)
|
||||
#######################################
|
||||
DISCORD_WEBHOOK_URL="https://discord.com/api/webhooks/1478503102888935506/YCtJM09QZiKNMiCe5u7vCQb52VcLjHAd9wwEsKNltlJVcy7sKvoMTOJkvEKOOrk-Wpkh"
|
||||
|
||||
discord_ping() {
|
||||
local details="${1:-}"
|
||||
|
||||
[[ -z "${DISCORD_WEBHOOK_URL:-}" ]] && return 0
|
||||
|
||||
local color dumps_display users_display
|
||||
if [[ -n "${DUMPS_OK:-}" && -n "${USERS_OK:-}" ]]; then
|
||||
color="🟢"
|
||||
else
|
||||
color="🔴"
|
||||
fi
|
||||
|
||||
dumps_display=$([[ -n "${DUMPS_OK:-}" ]] && echo "✅" || echo "❌")
|
||||
users_display=$([[ -n "${USERS_OK:-}" ]] && echo "✅" || echo "❌")
|
||||
|
||||
local msg="**@here BACKUP BDD RECETTE ${color}**\n"
|
||||
msg+="Name: ${BACKUP_DIR_NAME}\n"
|
||||
msg+="Dumps transfer: ${dumps_display}\n"
|
||||
msg+="Users transfer: ${users_display}\n"
|
||||
[[ -n "$details" ]] && msg+="Details: $details"
|
||||
|
||||
curl -fsS -H "Content-Type: application/json" \
|
||||
-d "{\"content\":\"$msg\"}" \
|
||||
"$DISCORD_WEBHOOK_URL" >/dev/null || true
|
||||
}
|
||||
|
||||
#######################################
|
||||
# Statuts init
|
||||
#######################################
|
||||
DUMPS_OK=true
|
||||
USERS_OK=true
|
||||
DUMP_ERRORS=""
|
||||
USER_ERRORS=""
|
||||
|
||||
#######################################
|
||||
# Lock (évite 2 backups en même temps)
|
||||
#######################################
|
||||
LOCK_DIR="/tmp/pg_multi_dump_stream.lock.d"
|
||||
if ! mkdir "$LOCK_DIR" 2>/dev/null; then
|
||||
log "ERROR: Backup déjà en cours (lock: $LOCK_DIR)"
|
||||
DUMPS_OK=
|
||||
USERS_OK=
|
||||
discord_ping "Lock exists: $LOCK_DIR"
|
||||
exit 1
|
||||
fi
|
||||
trap 'rm -rf "$LOCK_DIR"' EXIT
|
||||
|
||||
#######################################
|
||||
# Remote dir
|
||||
#######################################
|
||||
REMOTE_DIR="${IA_BASE_DIR}/${BACKUP_DIR_NAME}"
|
||||
|
||||
log "Starting backup process"
|
||||
log "Remote directory: ${REMOTE_DIR}"
|
||||
|
||||
log "Creating remote directory"
|
||||
if ! ssh "${SSH_OPTS[@]}" "$IA_SSH" "mkdir -p '${REMOTE_DIR}'"; then
|
||||
log "ERROR: Création dossier distant impossible: ${REMOTE_DIR}"
|
||||
DUMPS_OK=
|
||||
USERS_OK=
|
||||
discord_ping "Remote mkdir KO: ${REMOTE_DIR}"
|
||||
exit 1
|
||||
fi
|
||||
|
||||
#######################################
|
||||
# Export PostgreSQL roles (no passwords)
|
||||
#######################################
|
||||
ROLES_FILE="${TMP_DIR}/roles_${TS}.sql"
|
||||
log "Exporting PostgreSQL roles"
|
||||
|
||||
set +e
|
||||
psql -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -d postgres -Atq <<'SQL' > "$ROLES_FILE"
|
||||
SELECT
|
||||
format(
|
||||
'DO $$ BEGIN
|
||||
IF NOT EXISTS (SELECT 1 FROM pg_roles WHERE rolname = %L) THEN
|
||||
CREATE ROLE %I;
|
||||
END IF;
|
||||
END $$;',
|
||||
rolname, rolname
|
||||
)
|
||||
FROM pg_roles
|
||||
WHERE rolname !~ '^pg_'
|
||||
ORDER BY rolname;
|
||||
|
||||
SELECT
|
||||
format(
|
||||
'ALTER ROLE %I WITH %s%s%s%s%s%s%s%s;',
|
||||
rolname,
|
||||
CASE WHEN rolsuper THEN 'SUPERUSER ' ELSE 'NOSUPERUSER ' END,
|
||||
CASE WHEN rolinherit THEN 'INHERIT ' ELSE 'NOINHERIT ' END,
|
||||
CASE WHEN rolcreaterole THEN 'CREATEROLE ' ELSE 'NOCREATEROLE ' END,
|
||||
CASE WHEN rolcreatedb THEN 'CREATEDB ' ELSE 'NOCREATEDB ' END,
|
||||
CASE WHEN rolcanlogin THEN 'LOGIN ' ELSE 'NOLOGIN ' END,
|
||||
CASE WHEN rolreplication THEN 'REPLICATION ' ELSE 'NOREPLICATION ' END,
|
||||
CASE WHEN rolbypassrls THEN 'BYPASSRLS ' ELSE 'NOBYPASSRLS ' END,
|
||||
'CONNECTION LIMIT ' || rolconnlimit
|
||||
)
|
||||
FROM pg_roles
|
||||
WHERE rolname !~ '^pg_'
|
||||
ORDER BY rolname;
|
||||
SQL
|
||||
RET=$?
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
USERS_OK=
|
||||
USER_ERRORS+="roles_export "
|
||||
log "ERROR: Users export failed"
|
||||
else
|
||||
log "Roles export completed: $ROLES_FILE"
|
||||
fi
|
||||
set -e
|
||||
|
||||
log "Sending roles file to IA server"
|
||||
set +e
|
||||
scp "${SSH_OPTS[@]}" "$ROLES_FILE" "$IA_SSH:${REMOTE_DIR}/"
|
||||
RET=$?
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
USERS_OK=
|
||||
USER_ERRORS+="roles_scp "
|
||||
log "ERROR: Users transfer failed (roles file)"
|
||||
else
|
||||
log "Roles transfer completed"
|
||||
fi
|
||||
set -e
|
||||
|
||||
#######################################
|
||||
# Dump des bases + transfert (continue même si KO)
|
||||
#######################################
|
||||
set +e
|
||||
for DB in "${DBS[@]}"; do
|
||||
FILE="${TMP_DIR}/${DB}_${TS}.dump"
|
||||
|
||||
log "Dumping database: $DB"
|
||||
pg_dump -h "$PGHOST" -p "$PGPORT" -U "$PGUSER" -Fc --no-owner --no-acl -d "$DB" -f "$FILE"
|
||||
RET=$?
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
DUMPS_OK=
|
||||
DUMP_ERRORS+="${DB} "
|
||||
log "ERROR: Dump failed for $DB"
|
||||
continue
|
||||
fi
|
||||
log "Dump completed: $FILE"
|
||||
|
||||
log "Sending dump to IA server"
|
||||
scp "${SSH_OPTS[@]}" "$FILE" "$IA_SSH:${REMOTE_DIR}/"
|
||||
RET=$?
|
||||
if [[ $RET -ne 0 ]]; then
|
||||
DUMPS_OK=
|
||||
DUMP_ERRORS+="${DB}(scp) "
|
||||
log "ERROR: Transfer failed for $DB"
|
||||
continue
|
||||
fi
|
||||
log "Transfer completed for $DB"
|
||||
done
|
||||
set -e
|
||||
|
||||
#######################################
|
||||
# Nettoyage
|
||||
#######################################
|
||||
log "Cleaning temporary files"
|
||||
rm -rf "$TMP_DIR"
|
||||
|
||||
#######################################
|
||||
# Envoi message Discord (final)
|
||||
#######################################
|
||||
DETAILS=""
|
||||
[[ -z "${DUMPS_OK:-}" ]] && DETAILS+="Dumps KO: ${DUMP_ERRORS} "
|
||||
[[ -z "${USERS_OK:-}" ]] && DETAILS+="Users KO: ${USER_ERRORS} "
|
||||
discord_ping "$DETAILS"
|
||||
|
||||
log "Backup finished"
|
||||
@@ -1,6 +0,0 @@
|
||||
DATA_DIR=
|
||||
LOCAL_BACKUP=
|
||||
REMOTE_USER=
|
||||
REMOTE_HOST=
|
||||
REMOTE_DIR=
|
||||
SSH_KEY=
|
||||
3
backup_vaultwarden/.gitignore
vendored
3
backup_vaultwarden/.gitignore
vendored
@@ -1,3 +0,0 @@
|
||||
.env
|
||||
|
||||
backup.log
|
||||
@@ -1,116 +0,0 @@
|
||||
# FONCTIONNEMENT DU SCRIPT VAULTWARDEN
|
||||
Le script de backup de vaultwarden permet une sauvegard périodique des mots de passe et utilisateurs de celui-ci.
|
||||
|
||||
## INITIALISATION DES VARIABLES DE MANIÈRE SÉCURISÉ
|
||||
|
||||
1. Les informations sensibles ne sont pas stockées directement dans le script. Elles sont placées dans un fichier .env
|
||||
|
||||
```bash
|
||||
WEBHOOK_URL=...
|
||||
REMOTE_USER=...
|
||||
REMOTE_HOST=...
|
||||
SSH_KEY=...
|
||||
DATA_DIR=...
|
||||
```
|
||||
|
||||
2. on recupere les varibales dans le script
|
||||
```bash
|
||||
REMOTE_USER=$(grep -E '^REMOTE_USER=' .env | cut -d '=' -f2-)
|
||||
```
|
||||
|
||||
Explication:
|
||||
|
||||
- grep recherche la variable dans le fichier .env
|
||||
- cut récupère uniquement la valeur après =
|
||||
- REMOTE_USER="user" Le script récupère >> "user"
|
||||
|
||||
Cela permet:
|
||||
|
||||
- d’améliorer la sécurité
|
||||
- d’éviter de modifier le script si un paramètre change
|
||||
|
||||
## RÉCUPÉRATION DES DONNÉES
|
||||
|
||||
1. Le dossier data de Vaultwarden est dupliqué puis compressé afin de créer une archive :
|
||||
```bash
|
||||
tar -czf "$LOCAL_BACKUP" -C "$(dirname "$DATA_DIR")" "$(basename "$DATA_DIR")"
|
||||
```
|
||||
|
||||
2. Transfer vers le serveur de backup
|
||||
```bash
|
||||
scp "${SSH_OPTS[@]}" "$LOCAL_BACKUP" "$REMOTE_USER@$REMOTE_HOST:$REMOTE_DIR/"
|
||||
```
|
||||
La sauvegarde est envoyée vers une machine dédiée grâce à SCP. Pour éviter de saisir un mot de passe à chaque fois, une clé SSH est utilisée.
|
||||
|
||||
Cette clé SSH est générée sur la machine de backup et autorisée sur la machine Vaultwarden.
|
||||
|
||||
## NOTIFICATION DISCORD
|
||||
|
||||
Le script envoie une notification sur un salon Discord pour informer de l’état de la sauvegarde. Cela se fait grâce à un webhook Discord.
|
||||
|
||||
1. on défini le message
|
||||
```bash
|
||||
local msg="**@here Backup Vaultwarden $color**\n"
|
||||
msg+="Backup: ${BACKUP_NAME}\n"
|
||||
msg+="Data transfer: $dumps_display\n"
|
||||
[[ -n "$details" ]] && msg+="Details: $details"
|
||||
```
|
||||
|
||||
2. on envoie le message sur discord avec le message et le webhook
|
||||
```bash
|
||||
curl -fsS -H "Content-Type: application/json" \
|
||||
-d "{\"content\":\"$msg\"}" \
|
||||
"$DISCORD_WEBHOOK_URL"
|
||||
```
|
||||
Le message indique:
|
||||
|
||||
- si la sauvegarde a réussi 🟢
|
||||
- si elle a échoué 🔴
|
||||
- le nom du backup
|
||||
- les détails de l’erreur si nécessaire
|
||||
|
||||
## PLANIFICATION AVEC CRON
|
||||
|
||||
Le script est exécuté automatiquement chaque jour grâce à cron.
|
||||
|
||||
1. Ouvrez le crontab pour l'édition :
|
||||
```bash
|
||||
crontab -e
|
||||
```
|
||||
2. Ajoutez la ligne suivante pour exécuter le script tous les jours à 19h :
|
||||
```bash
|
||||
0 19 * * * /chemin/vers/le/script/check_storage.sh
|
||||
```
|
||||
|
||||
Signification:
|
||||
|
||||
- 0 minute 0
|
||||
- 19 19h
|
||||
- * tous les jours du mois
|
||||
- * tous les mois
|
||||
- * tous les jours de la semaine
|
||||
|
||||
Tous les jours à 19h, le script est exécuté et les logs sont enregistrés dans backup.log ce qui permet d’analyser les erreurs si un problème survient.
|
||||
|
||||
## NETTOYAGE
|
||||
|
||||
Une fois la sauvegarde envoyée sur la machine distante, le fichier temporaire est supprimé :
|
||||
|
||||
```bash
|
||||
rm -f "$LOCAL_BACKUP"
|
||||
```
|
||||
|
||||
Cela permet de garder le serveur propre et éviter de remplir le disque.
|
||||
|
||||
## RÉSUMÉ
|
||||
|
||||
Le script automatise complètement les sauvegardes Vaultwarden :
|
||||
|
||||
- sauvegarde du dossier data
|
||||
- compression et datation
|
||||
- transfert sécurisé via SSH
|
||||
- notification Discord
|
||||
- exécution automatique avec cron
|
||||
- sécurisation des paramètres via .env
|
||||
|
||||
Cela permet d’avoir une sauvegarde quotidienne fiable et surveillée.
|
||||
Reference in New Issue
Block a user