feat: Add variable name_suffix; Pass shellcheck; Discard useless variables from main script
This commit is contained in:
		
							
								
								
									
										6
									
								
								Makefile
									
									
									
									
									
								
							
							
						
						
									
										6
									
								
								Makefile
									
									
									
									
									
								
							@@ -23,8 +23,10 @@ tests:
 | 
			
		||||
	for test in $(tests_dir)/*.bats; do bats --verbose-run --print-output-on-failure "$$test"; done
 | 
			
		||||
 | 
			
		||||
lint:
 | 
			
		||||
	shellcheck $(src_dir)/boring-backup || true
 | 
			
		||||
	shellcheck $(src_dir)/lib/* || true
 | 
			
		||||
	shellcheck $(src_dir)/boring-backup
 | 
			
		||||
	shellcheck $(src_dir)/lib/*.sh
 | 
			
		||||
	shellcheck $(src_dir)/lib/handlers/sources/*.sh
 | 
			
		||||
	shellcheck $(src_dir)/lib/handlers/targets/*.sh
 | 
			
		||||
 | 
			
		||||
docs: builddir
 | 
			
		||||
	# See rst2man(1), rst2html(1), https://docutils.sourceforge.io/docs/index.html
 | 
			
		||||
 
 | 
			
		||||
@@ -20,7 +20,7 @@ backup files and databases.
 | 
			
		||||
Описание
 | 
			
		||||
--------
 | 
			
		||||
 | 
			
		||||
boring-backup - это расширяемая утилита для резервного копирования на основе сценариев Bash. По умолчанию предусмотрено создание резервных копий файлов с помощью ``tar`` и дампов баз данных MySQL/MariaDB и PostgreSQL.
 | 
			
		||||
boring-backup - это расширяемая утилита для резервного копирования на основе сценариев Bash.
 | 
			
		||||
 | 
			
		||||
Опции
 | 
			
		||||
-----
 | 
			
		||||
@@ -35,28 +35,26 @@ boring-backup - это расширяемая утилита для резерв
 | 
			
		||||
Быстрый старт
 | 
			
		||||
-------------
 | 
			
		||||
 | 
			
		||||
boring-backup можно рассматривать как небольшой фреймворк/библиотеку для создания сценариев резервного копирования. boring-backup не реализует собственный язык сценариев, а полагается на Bash. В любом варианте применения утилита требует написания сценария для выполнения бэкапа.
 | 
			
		||||
 | 
			
		||||
В сценариях можно использовать переменные и функции. Сценарий импортируется в основной скрипт с помощью команды ``source`` (см. ``bash``\(1) п. SHELL BUILTIN COMMANDS).
 | 
			
		||||
boring-backup можно рассматривать как фреймворк или библиотеку для создания сценариев резервного копирования. Сценарии должны содержать валидный код на Bash. Сценарий импортируется в основной скрипт с помощью команды ``source`` (см. ``bash``\(1) п. SHELL BUILTIN COMMANDS).
 | 
			
		||||
 | 
			
		||||
Простейший сценарий резервного копирования выглядит следующим образом::
 | 
			
		||||
 | 
			
		||||
    sources=('file:/home/user')
 | 
			
		||||
    targets=('file:/var/backup')
 | 
			
		||||
 | 
			
		||||
Здесь массивы `sources` и `targets` определяют точки или поинты (`points`) резервного копирования — источники (`sources`) и назначения (`targets`). Это основные сущности, с которыми работает boring-backup. Вот некоторые особенности поинтов:
 | 
			
		||||
Здесь массивы `sources` и `targets` определяют точки, они же поинты (`points`) резервного копирования: источники (`sources`) и назначения (`targets`). Это основные сущности, с которыми работает boring-backup. Вот некоторые особенности поинтов:
 | 
			
		||||
 | 
			
		||||
- Все поинты указываются в формате URI. Описание URI также есть в этой документации ниже.
 | 
			
		||||
- Все поинты указываются в формате URI.
 | 
			
		||||
- Поинты могут указывать как на локальные (размещённые на текущей машине), так и на удалённые (размещённые на удалённой машине) ресурсы.
 | 
			
		||||
- Можно указать как несколько источников, так и несколько назначений.
 | 
			
		||||
 | 
			
		||||
Для выполнения бэкапа директорий или отдельных файлов применяется схема URI `file`. В схеме `file` нельзя указать директорию, размещённую на удалённом хранилище (за исключением случая, когда удалённое хранилище примонтировано как файловая система), для этого используйте другие схемы. В примере выше будет выполнена резервная копия локальной директории /home/user в другую локальную директорию /var/backup. Поскольку в сценарии из примера нет ничего, кроме указания точек `sources` и `targets`, бэкап будет выполнен с параметрами по умолчанию: директория /home/user будет заархивирована с помощью утилиты ``tar``\(1), архив будет сжат с помощью утилиты ``gzip``\(1) и помещён в директорию /var/backup. Имя архива будет сложено из строки::
 | 
			
		||||
Для выполнения бэкапа директорий или отдельных файлов применяется схема URI `file`. В схеме `file` нельзя указать директорию, размещённую на удалённом хранилище (за исключением случая, когда удалённое хранилище примонтировано как файловая система), для этого используйте другие схемы. В примере выше будет выполнена резервная копия локальной директории /home/user в другую локальную директорию /var/backup. Поскольку в сценарии из примера нет ничего, кроме указания точек `sources` и `targets`, бэкап будет выполнен с параметрами по умолчанию: директория /home/user будет заархивирована с помощью утилиты ``tar``\(1) и помещён в директорию /var/backup. Имя архива будет сложено из строки::
 | 
			
		||||
 | 
			
		||||
    ${prefix}${name}${date_fmt}${name_ext}
 | 
			
		||||
    ${name_prefix}${name}${name_date_fmt}${name_suffix}${name_ext}
 | 
			
		||||
 | 
			
		||||
Описание переменных см. в разделе ПЕРЕМЕННЫЕ. Пример имени файла:: 
 | 
			
		||||
 | 
			
		||||
    example.sh_example_20220515-0953.tar.gz
 | 
			
		||||
    example.sh_example_2022.05.15-0953.tar
 | 
			
		||||
 | 
			
		||||
Обзор URI
 | 
			
		||||
---------
 | 
			
		||||
@@ -101,8 +99,9 @@ Perl 5::
 | 
			
		||||
``````````````````````````````````````````````````
 | 
			
		||||
 | 
			
		||||
file
 | 
			
		||||
    Может содержать путь к локальному файлу или директории. Файлы архивируются при помощи ``tar`` и по умолчанию сжимаются с помощью ``gzip``. Примеры::
 | 
			
		||||
    Может содержать путь к локальному файлу или директории. Файлы архивируются при помощи ``tar`` и по умолчанию не сжимаются. Cжатие архива может быть включено через переменную `compression`. Примеры::
 | 
			
		||||
 | 
			
		||||
        /var/www/www-root/data
 | 
			
		||||
        file:/var/www/html
 | 
			
		||||
        file:///home/jhon/cool_stuff.txt
 | 
			
		||||
 | 
			
		||||
@@ -115,17 +114,17 @@ mysql
 | 
			
		||||
 | 
			
		||||
        mysql://[username[:password]@]hostname[:port]/database
 | 
			
		||||
 | 
			
		||||
    С помощью утилиты ``mysqldump``\(1) формируется дамп в формате SQL, файл по умолчанию сжимается утилитой ``gzip``.
 | 
			
		||||
    С помощью утилиты ``mysqldump``\(1) формируется дамп в формате SQL. Файл по умолчанию не сжимается, но сжатие может быть включено через переменную `compression`.
 | 
			
		||||
 | 
			
		||||
    См. также ``handler::mysqldump``
 | 
			
		||||
 | 
			
		||||
postgres
 | 
			
		||||
    Аналогично `mysql`, но для PostgreSQL. Для создания дампа используется ``pg_dump``\(1), файлы по умолчанию сохраняются с расширением .psql.gz.
 | 
			
		||||
    Аналогично `mysql`, но для PostgreSQL. Для создания дампа используется ``pg_dump``\(1) с расширением .psql. Файл по умолчанию не сжимается, но сжатие может быть включено через переменную `compression`.
 | 
			
		||||
 | 
			
		||||
    См. также ``handler::pg_dump``
 | 
			
		||||
 | 
			
		||||
sqlite
 | 
			
		||||
    Схема для баз данных SQLite. Ничем не отличается от `file`, добавлена для наглядного обозначения, что источником является БД SQLite, а не иной файл.
 | 
			
		||||
    Схема для баз данных SQLite. Мало отличается от `file`, добавлена для наглядного обозначения, что источником является БД SQLite, а не иной файл.
 | 
			
		||||
 | 
			
		||||
    См. также ``handler::sqlite``
 | 
			
		||||
 | 
			
		||||
@@ -133,7 +132,7 @@ sqlite
 | 
			
		||||
``````````````````````````````````````````````````
 | 
			
		||||
 | 
			
		||||
file
 | 
			
		||||
    В контексте `targets` указывает директорию для сохранения бэкапов. В массиве `targets` обязательно должен быть хотя бы один поинт со схемой `file`. Этот поинт будет использован как основной и сохранён в переменные ``__main_target`` (содержит URI) и ``__main_target_path`` (path). Если в массиве присутствует несколько поинтов со схемой `file`, то в качестве основного будет выбран первый по порядку поинт. Все бэкапы первоначально будут сохраняться в директорию ``__main_target_path`` и затем копироваться в другой таргет с помощью соответствующего обработчика. В случае копировани из одной директории в другую используется утилита ``cp``\(1).
 | 
			
		||||
    В контексте `targets` указывает директорию для сохранения бэкапов. В массиве `targets` обязательно должен быть хотя бы один поинт со схемой `file`. Этот поинт будет использован как основной и сохранён в переменные ``__main_target`` (содержит URI) и ``__main_target_path`` (содержит компонент URI path). Если в массиве присутствует несколько поинтов со схемой `file`, то в качестве основного будет выбран первый по порядку поинт. Все бэкапы первоначально будут сохраняться в директорию ``__main_target_path`` и затем копироваться в другой таргет с помощью соответствующего обработчика. В случае копировани из одной директории в другую используется утилита ``cp``\(1).
 | 
			
		||||
 | 
			
		||||
    Избегайте указания в одном сценарии таргетов, которые ведут одновременно на примонтированный к локальной машине сетевой диск и другое удалённое хранилище. В таком случае архивы будут создаваться на сетевом диске и далее снова копироваться по сети, что будет очень медленно.
 | 
			
		||||
 | 
			
		||||
@@ -165,11 +164,11 @@ dav, davs
 | 
			
		||||
 | 
			
		||||
boring-backup предполагает, что для всех резервных копий необходимо создавать архивы. Поэтому вам нужно следить за тем, чтобы в локальном хранилище всегда хватало дискового пространства для создания новых архивов. boring-backup также не удаляет старые архивы и вам также надо позаботиться об удалении устаревших резервных копий. Изменить это поведение можно с помощью пользовательских функций в сценариях. В этом разделе речь пойдёт о поведении, которое установлено по умолчанию. См. функции ``builtin_backup``, ``process_sources``, ``process_targets``.
 | 
			
		||||
 | 
			
		||||
Базовая концепция строится на том, что существует несколько точек источников и несколько точек назначения. Создаётся резервная копия источника и копируется в точку назначения.
 | 
			
		||||
Базовая концепция строится на том, что существует несколько источников и несколько точек назначения. Создаётся резервная копия источника и копируется в точку назначения.
 | 
			
		||||
 | 
			
		||||
Для всех источников в сценарии выполняется локальная резервная копия. После этого локальная копия переносится в удалённые точки назначения, если они заданы. Копирование локального бэкапа будет осуществлёно столько раз, сколько точек назначения задано. В каждом сценарии обязательно должен быть задан хотя бы один источник и одна точка назначения. При этом в списке точек назначения обязательно должна присутствовать точка со схемой `file`. Именно в неё будут сохранены архивы.
 | 
			
		||||
 | 
			
		||||
Пример. Имеется следующий сценарий::
 | 
			
		||||
Например, имеется следующий сценарий::
 | 
			
		||||
 | 
			
		||||
    sources=(
 | 
			
		||||
        'mysql://wordpress:1jobrRRjtLYs@localhost/wordpress'
 | 
			
		||||
@@ -212,63 +211,72 @@ WebDAV
 | 
			
		||||
``backups``
 | 
			
		||||
    Массив со списком созданных бэкапов. Содержит абсолютные пути к файлам. Заполняется функциями-обработчиками `sources`.
 | 
			
		||||
 | 
			
		||||
    Тип: массив
 | 
			
		||||
    Умолчание: ()
 | 
			
		||||
    | Тип: массив
 | 
			
		||||
    | Умолчание: ()
 | 
			
		||||
 | 
			
		||||
``errors``
 | 
			
		||||
    Массив с текстами ошибок. Заполняется функцией ``err`` с опцией ``-a``.
 | 
			
		||||
 | 
			
		||||
    Тип: массив
 | 
			
		||||
    Умолчание: ()
 | 
			
		||||
    | Тип: массив
 | 
			
		||||
    | Умолчание: ()
 | 
			
		||||
 | 
			
		||||
``log_date_fmt``
 | 
			
		||||
    Формат даты в логе. См. ``date``\(1).
 | 
			
		||||
 | 
			
		||||
    Тип: строка
 | 
			
		||||
    Умолчание: %d/%b/%Y:%H:%M:%S %z
 | 
			
		||||
    | Тип: строка
 | 
			
		||||
    | Умолчание: %d/%b/%Y:%H:%M:%S %z
 | 
			
		||||
 | 
			
		||||
``name_prefix``
 | 
			
		||||
    Префикс имени файла. Может быть задан в скрипте.
 | 
			
		||||
 | 
			
		||||
    Тип: строка
 | 
			
		||||
    Умолчание: имя_скрипта\_
 | 
			
		||||
    | Тип: строка
 | 
			
		||||
    | Умолчание: имя_скрипта\_
 | 
			
		||||
 | 
			
		||||
``name``
 | 
			
		||||
    Соответствует имени архивируемой директории/файла полученного из `path` с помощью утилиты ``basename``\(1).
 | 
			
		||||
 | 
			
		||||
    Тип: строка
 | 
			
		||||
    Умолчание: нет
 | 
			
		||||
    | Тип: строка
 | 
			
		||||
    | Умолчание: нет
 | 
			
		||||
 | 
			
		||||
``name_date_fmt``
 | 
			
		||||
    Дата, интерпретируемая утилитой ``date``\(1).
 | 
			
		||||
 | 
			
		||||
    Тип: строка
 | 
			
		||||
    Умолчание: _%Y%m%d-%H%M
 | 
			
		||||
    | Тип: строка
 | 
			
		||||
    | Умолчание: _%Y%m%d
 | 
			
		||||
 | 
			
		||||
``name_suffix``
 | 
			
		||||
    Суффикс, добавляемый к имени файла перед расширением. Строка интерпретируется утилитой ``date``.
 | 
			
		||||
    
 | 
			
		||||
    | Тип: строка
 | 
			
		||||
    | Умолчание: -%H%M
 | 
			
		||||
 | 
			
		||||
``name_ext``
 | 
			
		||||
    Расширение имени файла, соответствующее формату архива.
 | 
			
		||||
 | 
			
		||||
    Тип: строка
 | 
			
		||||
    Умолчание: .tar.gz
 | 
			
		||||
    | Тип: строка
 | 
			
		||||
    | Умолчание: .tar.gz
 | 
			
		||||
 | 
			
		||||
``tar_options``
 | 
			
		||||
    Опции ``tar``. См. ``tar``\(1).
 | 
			
		||||
 | 
			
		||||
    Тип: строка
 | 
			
		||||
    Умолчание: -acf
 | 
			
		||||
    | Тип: строка
 | 
			
		||||
    | Умолчание: -acf
 | 
			
		||||
 | 
			
		||||
``tar_exclude``
 | 
			
		||||
    Список имён для опции ``tar`` ``--exclude``.
 | 
			
		||||
 | 
			
		||||
    Тип: массив
 | 
			
		||||
    Умолчание: нет
 | 
			
		||||
    | Тип: массив
 | 
			
		||||
    | Умолчание: нет
 | 
			
		||||
 | 
			
		||||
``compression``
 | 
			
		||||
    В контексте ``tar`` работа этой фичи базируется на опции ``tar`` ``--auto-compress``. Переменная может принимать значения, в соответствии с табилцей ниже. Если переменная имеет значение, отличное от перечисленныых, то будет использован ``gzip``.
 | 
			
		||||
    В контексте ``tar`` работа этой фичи базируется на опции ``tar`` ``--auto-compress``. Переменная может принимать значения, в соответствии с табилцей ниже. Если переменная имеет значение, отличное от перечисленныых, то будет использован ``gzip``. Если переменная пуста или не задана, то сжатие будет отключено.
 | 
			
		||||
    
 | 
			
		||||
    ======================== ================ ========
 | 
			
		||||
    Значение tar_compression Расширение файла Утилита
 | 
			
		||||
    ======================== ================ ========
 | 
			
		||||
    | Тип: строка
 | 
			
		||||
    | Умолчание: нет
 | 
			
		||||
 | 
			
		||||
    ==================== ================ ========
 | 
			
		||||
    Значение compression Расширение файла Утилита
 | 
			
		||||
    ==================== ================ ========
 | 
			
		||||
    gzip, gz             .tar.gz          gzip
 | 
			
		||||
    tgz                  .tgz             gzip
 | 
			
		||||
    taz                  .taz             gzip
 | 
			
		||||
@@ -285,7 +293,7 @@ WebDAV
 | 
			
		||||
    xz                   .tar.xz          xz
 | 
			
		||||
    zstd, zst            .tar.zst         zstd
 | 
			
		||||
    tzst                 .tzst            zstd
 | 
			
		||||
    ======================== ================ ========
 | 
			
		||||
    ==================== ================ ========
 | 
			
		||||
 | 
			
		||||
Функции
 | 
			
		||||
-------
 | 
			
		||||
 
 | 
			
		||||
@@ -20,21 +20,17 @@ __version='0.0.0'
 | 
			
		||||
__config=
 | 
			
		||||
__verbose=
 | 
			
		||||
__log_file='./log.txt'
 | 
			
		||||
__log_date_fmt='%d/%b/%Y:%H:%M:%S %z'
 | 
			
		||||
__pid_file='/tmp/boring-backup.pid'
 | 
			
		||||
__tar_options='-acf'
 | 
			
		||||
__tar_exclude=
 | 
			
		||||
__name_date_fmt='_%Y%m%d-%H%M'
 | 
			
		||||
__compression=
 | 
			
		||||
__errors_count=0
 | 
			
		||||
__errors_file='/tmp/boring-backup.errors'
 | 
			
		||||
 | 
			
		||||
echo $__errors_count > $__errors_file
 | 
			
		||||
echo "$__errors_count" > "$__errors_file"
 | 
			
		||||
 | 
			
		||||
LIBRARY="${LIBRARY:-./lib}"
 | 
			
		||||
 | 
			
		||||
# Source library
 | 
			
		||||
if [ -f "$LIBRARY/lib.sh" ]; then
 | 
			
		||||
    # shellcheck disable=SC1091
 | 
			
		||||
    . "$LIBRARY/lib.sh"
 | 
			
		||||
else
 | 
			
		||||
    echo "Error: Cannot source library from $LIBRARY" >&2
 | 
			
		||||
@@ -69,7 +65,7 @@ optval() {
 | 
			
		||||
    #
 | 
			
		||||
    # Parse --opt VAL and --opt=VAL options.
 | 
			
		||||
    # Requires 2 arguments: $1, $2.
 | 
			
		||||
    # Return variables:
 | 
			
		||||
    # Set variables:
 | 
			
		||||
    #   opt     option name.
 | 
			
		||||
    #   val     option value.
 | 
			
		||||
    #   sft     value for shift.
 | 
			
		||||
@@ -96,7 +92,8 @@ for args in "$@"; do
 | 
			
		||||
            set -- "$@" "$args";; # save long options
 | 
			
		||||
        -*)
 | 
			
		||||
            args="$(echo "${args:1}" | grep -o . | xargs -I {} echo -n '-{} ')"
 | 
			
		||||
            set -- "$@" $args;;
 | 
			
		||||
            # shellcheck disable=SC2086
 | 
			
		||||
            set -- "$@" $args;; # 'args' must be unquoted!
 | 
			
		||||
        *)
 | 
			
		||||
            set -- "$@" "$args";;  # save positional arguments
 | 
			
		||||
    esac
 | 
			
		||||
@@ -123,20 +120,22 @@ done
 | 
			
		||||
log "Backup STARTED"
 | 
			
		||||
 | 
			
		||||
# Check PID file
 | 
			
		||||
if [ -e $__pid_file ]; then
 | 
			
		||||
    if [ -z "$(ps ax -o pid | grep "$(cat $__pid_file)")" ]; then
 | 
			
		||||
        err "Process $(cat $__pid_file) died."
 | 
			
		||||
        rm $__pid_file
 | 
			
		||||
if [ -e "$__pid_file" ]; then
 | 
			
		||||
    # shellcheck disable=SC2009
 | 
			
		||||
    # shellcheck disable=SC2143
 | 
			
		||||
    if [ -z "$(ps ax -o pid | grep "$(cat "$__pid_file")")" ]; then
 | 
			
		||||
        err "Process $(cat "$__pid_file") died."
 | 
			
		||||
        rm "$__pid_file"
 | 
			
		||||
    else
 | 
			
		||||
        err -e "Process $(cat $__pid_file) still running.";
 | 
			
		||||
        err -e "Process $(cat "$__pid_file") still running.";
 | 
			
		||||
    fi
 | 
			
		||||
fi
 | 
			
		||||
 | 
			
		||||
# Touch PID file
 | 
			
		||||
echo $$ > $__pid_file
 | 
			
		||||
echo "$$" > "$__pid_file"
 | 
			
		||||
 | 
			
		||||
# Scripts counter.
 | 
			
		||||
__count=${#__args[@]}    # count
 | 
			
		||||
__count="${#__args[@]}"  # count
 | 
			
		||||
__iter=1                 # iterator
 | 
			
		||||
 | 
			
		||||
# Startup log.
 | 
			
		||||
@@ -144,18 +143,22 @@ date +'Start: %d %b %Y %T %z'
 | 
			
		||||
log -p "Library path: $LIBRARY"
 | 
			
		||||
log -p "Log file: $__log_file"
 | 
			
		||||
log -p "Configuration file: $([ "$__config" ] || echo not specified && echo "$__config")"
 | 
			
		||||
log "Scripts to process (${__count}): ${__args[@]}"
 | 
			
		||||
log "Scripts to process (${__count}): ${__args[*]}"
 | 
			
		||||
 | 
			
		||||
for script in "${__args[@]}"; do
 | 
			
		||||
    # Initialise variables
 | 
			
		||||
    __user_script="$script"
 | 
			
		||||
 | 
			
		||||
    # shellcheck disable=SC2034
 | 
			
		||||
    backups=()  # Array of created backups, contains full pathes
 | 
			
		||||
    # shellcheck disable=SC2034
 | 
			
		||||
    errors=()   # Array of error messages written by err() function
 | 
			
		||||
 | 
			
		||||
    # Source scripts
 | 
			
		||||
    source_script "$script"
 | 
			
		||||
 | 
			
		||||
    # Config can ovewrite script functions and variables
 | 
			
		||||
    # shellcheck source=/dev/null
 | 
			
		||||
    [ -n "$__config" ] && . "$__config"
 | 
			
		||||
 | 
			
		||||
    echo
 | 
			
		||||
@@ -209,7 +212,7 @@ if [[ "$(cat $__errors_file)" != '0' ]]; then
 | 
			
		||||
    echo
 | 
			
		||||
    log -p "Backup [Failed]: Process finished with $(cat $__errors_file) errors."\
 | 
			
		||||
        "See $__log_file for info."
 | 
			
		||||
    rm $__errors_file
 | 
			
		||||
    rm "$__errors_file"
 | 
			
		||||
else
 | 
			
		||||
    echo -e "\nBackup [Done]"
 | 
			
		||||
fi
 | 
			
		||||
@@ -217,4 +220,4 @@ fi
 | 
			
		||||
log "Backup FINISHED"
 | 
			
		||||
 | 
			
		||||
# Remove PID file
 | 
			
		||||
rm $__pid_file
 | 
			
		||||
rm "$__pid_file"
 | 
			
		||||
 
 | 
			
		||||
@@ -37,7 +37,9 @@ process_source() {
 | 
			
		||||
        mysql)  handler='handler::mysqldump';;
 | 
			
		||||
        postgres) handler='handler::pg_dump';;
 | 
			
		||||
        sqlite) handler='handler::sqlite';;
 | 
			
		||||
        *) echo "Error: $__user_script: Unsupported URI scheme: $scheme" >&2; exit 1;;
 | 
			
		||||
        *)  # shellcheck disable=SC2154
 | 
			
		||||
            # '__user_script' is assigned in main script.
 | 
			
		||||
            echo "Error: $__user_script: Unsupported URI scheme: $scheme" >&2; exit 1;;
 | 
			
		||||
    esac
 | 
			
		||||
 | 
			
		||||
    # Run handler function
 | 
			
		||||
@@ -84,10 +86,12 @@ builtin_backup() {
 | 
			
		||||
    #
 | 
			
		||||
    # Usage: builtin_backup
 | 
			
		||||
 | 
			
		||||
    # shellcheck disable=SC2154
 | 
			
		||||
    for source in "${sources[@]}"; do
 | 
			
		||||
        process_source "$source"
 | 
			
		||||
    done
 | 
			
		||||
 | 
			
		||||
    # shellcheck disable=SC2154
 | 
			
		||||
    for target in "${targets[@]}"; do
 | 
			
		||||
        process_target "$target"
 | 
			
		||||
    done
 | 
			
		||||
@@ -102,21 +106,15 @@ gen_backup_name() {
 | 
			
		||||
    #
 | 
			
		||||
    # Usage: gen_backup_name NAME_EXT
 | 
			
		||||
 | 
			
		||||
    local prefix
 | 
			
		||||
    local name
 | 
			
		||||
    local date_fmt
 | 
			
		||||
    local name_ext
 | 
			
		||||
 | 
			
		||||
    [ -n "$name_prefix" ] || { prefix="${__user_script}_"; }
 | 
			
		||||
    name="$(basename $path)" # 'path' is variable parsed from URI
 | 
			
		||||
    name_prefix="${name_prefix:-${__user_script}_}"
 | 
			
		||||
    # shellcheck disable=SC2154
 | 
			
		||||
    name="$(basename "$path")" # 'path' is variable parsed from URI
 | 
			
		||||
    name_ext="$1"
 | 
			
		||||
    name_date_fmt="${name_date_fmt:-_%Y.%m.%d}"
 | 
			
		||||
    name_suffix="${name_suffix:--%H%M}"
 | 
			
		||||
 | 
			
		||||
    # Overwrite __name_date_fmt
 | 
			
		||||
    if [ -n "$name_date_fmt" ]; then
 | 
			
		||||
        date_fmt="$name_date_fmt"
 | 
			
		||||
    else
 | 
			
		||||
        date_fmt="$__name_date_fmt"
 | 
			
		||||
    fi
 | 
			
		||||
 | 
			
		||||
    date +"${prefix}${name}${date_fmt}${name_ext}"
 | 
			
		||||
    date +"${name_prefix}${name}${name_date_fmt}${name_suffix}${name_ext}"
 | 
			
		||||
}
 | 
			
		||||
 
 | 
			
		||||
@@ -31,7 +31,7 @@ log() {
 | 
			
		||||
    [[ ! -t 0 ]] || [[ "$#" == 0 ]] && message="$(cat <&0)"
 | 
			
		||||
 | 
			
		||||
    # Set log date format
 | 
			
		||||
    [ "$log_date_fmt" ] || log_date_fmt="$__log_date_fmt"
 | 
			
		||||
    log_date_fmt="${log_date_fmt:-%d/%b/%Y:%H:%M:%S %z}"
 | 
			
		||||
 | 
			
		||||
    while (( "$#" )); do
 | 
			
		||||
        case "$1" in
 | 
			
		||||
@@ -44,7 +44,8 @@ log() {
 | 
			
		||||
    [[ "$print" == 1 ]] && echo -e "$message"
 | 
			
		||||
 | 
			
		||||
    while read -r line; do
 | 
			
		||||
        if [[ "$line" ]]; then
 | 
			
		||||
        if [ -n "$line" ]; then
 | 
			
		||||
            # shellcheck disable=SC2154
 | 
			
		||||
            printf '[%s] %s\n' "$(date +"$log_date_fmt")" "$line" >> "$__log_file"
 | 
			
		||||
        fi
 | 
			
		||||
    done <<< "$(sed -r 's/\x1B\[(([0-9]+)(;[0-9]+)*)?[m,K,H,f,J]//g' <<< "$message")"
 | 
			
		||||
@@ -69,7 +70,8 @@ err() {
 | 
			
		||||
        case "$args" in
 | 
			
		||||
            -*)
 | 
			
		||||
                args="$(echo "${args:1}" | grep -o . | xargs -I {} echo -n '-{} ')"
 | 
			
		||||
                set -- "$@" $args;;
 | 
			
		||||
                # shellcheck disable=SC2086
 | 
			
		||||
                set -- "$@" $args;; # 'args' must be unquoted!
 | 
			
		||||
            *)
 | 
			
		||||
                set -- "$@" "$args";;  # save positional arguments
 | 
			
		||||
        esac
 | 
			
		||||
@@ -100,9 +102,10 @@ err() {
 | 
			
		||||
    # Exit
 | 
			
		||||
    if [ "$errexit" ]; then
 | 
			
		||||
        # Count errors for backup recap
 | 
			
		||||
        __errors_count="$(cat $__errors_file)"
 | 
			
		||||
        # shellcheck disable=SC2154
 | 
			
		||||
        __errors_count="$(cat "$__errors_file")"
 | 
			
		||||
        ((__errors_count++)) || true
 | 
			
		||||
        echo $__errors_count > "$__errors_file"
 | 
			
		||||
        echo "$__errors_count" > "$__errors_file"
 | 
			
		||||
 | 
			
		||||
        log -p "Backup ERROR: Exiting with previous errors" >&2; exit 1
 | 
			
		||||
    fi
 | 
			
		||||
@@ -113,7 +116,8 @@ try() {
 | 
			
		||||
    #
 | 
			
		||||
    # Usage: try COMMAND
 | 
			
		||||
 | 
			
		||||
    if eval "$@" 2>> "$__log_file"; then
 | 
			
		||||
    # https://www.shellcheck.net/wiki/SC2294
 | 
			
		||||
    if "$@" 2>> "$__log_file"; then
 | 
			
		||||
        return 0 # Success
 | 
			
		||||
    else
 | 
			
		||||
        # Count errors
 | 
			
		||||
@@ -168,6 +172,11 @@ set_compression() {
 | 
			
		||||
        xz)         file_ext='.xz';      compr_util='xz';;
 | 
			
		||||
        zstd|zst)   file_ext='.zst';     compr_util='zstd';;
 | 
			
		||||
        tzst)       file_ext='.zst';     compr_util='zstd';;
 | 
			
		||||
        *)          file_ext='';        compr_util='';;  # No compression
 | 
			
		||||
        *)  # No compression
 | 
			
		||||
            # shellcheck disable=SC2034
 | 
			
		||||
            file_ext=''
 | 
			
		||||
            # shellcheck disable=SC2034
 | 
			
		||||
            compr_util=''
 | 
			
		||||
            ;;
 | 
			
		||||
    esac
 | 
			
		||||
}
 | 
			
		||||
 
 | 
			
		||||
@@ -32,12 +32,14 @@ handler::mysqldump() {
 | 
			
		||||
    local file_ext
 | 
			
		||||
 | 
			
		||||
    uri="$1"
 | 
			
		||||
    # shellcheck disable=SC2154
 | 
			
		||||
    dst_path="$__main_target_path"
 | 
			
		||||
 | 
			
		||||
    parse_uri "$uri"
 | 
			
		||||
 | 
			
		||||
    [ -z "$port" ] && port=3306  # Set default MySQL port.
 | 
			
		||||
 | 
			
		||||
    # shellcheck disable=SC2154
 | 
			
		||||
    [ -n "$__verbose" ] && echo "Dumping database '${path##*/}'"\
 | 
			
		||||
        "owned by ${username}@${hostname} ..." | log -p
 | 
			
		||||
 | 
			
		||||
@@ -61,7 +63,10 @@ handler::mysqldump() {
 | 
			
		||||
        compr_cmd="cat"
 | 
			
		||||
    fi
 | 
			
		||||
 | 
			
		||||
    mysqldump_opts="${mysqldump_opts:-}"
 | 
			
		||||
 | 
			
		||||
    # NOTE! mysqldump_opts and compr_cmd variables must be unquoted!
 | 
			
		||||
    # shellcheck disable=SC2086,SC2154
 | 
			
		||||
    try mysqldump $mysqldump_opts \
 | 
			
		||||
        --host="$hostname" \
 | 
			
		||||
        --port="$port" \
 | 
			
		||||
@@ -76,33 +81,32 @@ handler::mysqldump() {
 | 
			
		||||
    fi
 | 
			
		||||
}
 | 
			
		||||
 | 
			
		||||
# POSTGRESQL vvv
 | 
			
		||||
 | 
			
		||||
bk_dump_postgresql() {
 | 
			
		||||
    # Do PostgreSQL dump.
 | 
			
		||||
 | 
			
		||||
    bk_log "Dumping database '${path##*/}' owned by ${user}@${host} (PostgreSQL) ..."
 | 
			
		||||
 | 
			
		||||
    dump_name="$entry_local"/"$(bk_get_name "$db_name" .psql.gz)"
 | 
			
		||||
    [ "$port" ] || port=5432  # Set default PostgreSQL port.
 | 
			
		||||
    export PGPASSWORD="$password"
 | 
			
		||||
 | 
			
		||||
    pg_dump \
 | 
			
		||||
        --host="$host" \
 | 
			
		||||
        --port="$port" \
 | 
			
		||||
        --dbname="${path##*/}" \
 | 
			
		||||
        --username="$user" \
 | 
			
		||||
        --no-password | gzip -c > "$dump_name" |& bk_log
 | 
			
		||||
 | 
			
		||||
    unset PGPASSWORD
 | 
			
		||||
 | 
			
		||||
    if [ -s "$dump_name" ]; then
 | 
			
		||||
        bk_log "Dumping database '${path##*/}' owned by ${user}@${host} (PostgreSQL) [Done]"
 | 
			
		||||
        bk_log "Dump saved as: $dump_name"
 | 
			
		||||
        bk_upload_file "$dump_name"
 | 
			
		||||
 | 
			
		||||
    else
 | 
			
		||||
        rm "$dump_name"
 | 
			
		||||
        bk_err "Something went wrong. Dump size is 0 bytes. Removing $dump_name"
 | 
			
		||||
    fi
 | 
			
		||||
}
 | 
			
		||||
# POSTGRESQL
 | 
			
		||||
#bk_dump_postgresql() {
 | 
			
		||||
#    # Do PostgreSQL dump.
 | 
			
		||||
#
 | 
			
		||||
#    bk_log "Dumping database '${path##*/}' owned by ${user}@${host} (PostgreSQL) ..."
 | 
			
		||||
#
 | 
			
		||||
#    dump_name="$entry_local"/"$(bk_get_name "$db_name" .psql.gz)"
 | 
			
		||||
#    [ "$port" ] || port=5432  # Set default PostgreSQL port.
 | 
			
		||||
#    export PGPASSWORD="$password"
 | 
			
		||||
#
 | 
			
		||||
#    pg_dump \
 | 
			
		||||
#        --host="$host" \
 | 
			
		||||
#        --port="$port" \
 | 
			
		||||
#        --dbname="${path##*/}" \
 | 
			
		||||
#        --username="$user" \
 | 
			
		||||
#        --no-password | gzip -c > "$dump_name" |& bk_log
 | 
			
		||||
#
 | 
			
		||||
#    unset PGPASSWORD
 | 
			
		||||
#
 | 
			
		||||
#    if [ -s "$dump_name" ]; then
 | 
			
		||||
#        bk_log "Dumping database '${path##*/}' owned by ${user}@${host} (PostgreSQL) [Done]"
 | 
			
		||||
#        bk_log "Dump saved as: $dump_name"
 | 
			
		||||
#        bk_upload_file "$dump_name"
 | 
			
		||||
#
 | 
			
		||||
#    else
 | 
			
		||||
#        rm "$dump_name"
 | 
			
		||||
#        bk_err "Something went wrong. Dump size is 0 bytes. Removing $dump_name"
 | 
			
		||||
#    fi
 | 
			
		||||
#}
 | 
			
		||||
 
 | 
			
		||||
@@ -26,16 +26,17 @@ handler::tar() {
 | 
			
		||||
    local uri
 | 
			
		||||
    local src_path
 | 
			
		||||
    local dst_path
 | 
			
		||||
    local opts
 | 
			
		||||
    local archive
 | 
			
		||||
    local exclude
 | 
			
		||||
    local file_ext
 | 
			
		||||
 | 
			
		||||
    uri="$1"
 | 
			
		||||
    # shellcheck disable=SC2154
 | 
			
		||||
    dst_path="$__main_target_path"
 | 
			
		||||
 | 
			
		||||
    parse_uri "$uri"
 | 
			
		||||
 | 
			
		||||
    # shellcheck disable=SC2154
 | 
			
		||||
    if [ -f "$path" ] || [ -d "$path" ]; then
 | 
			
		||||
        src_path="$path"
 | 
			
		||||
    else
 | 
			
		||||
@@ -51,15 +52,8 @@ handler::tar() {
 | 
			
		||||
    # Exit if tar is not installed
 | 
			
		||||
    is_installed tar
 | 
			
		||||
 | 
			
		||||
    # Overwrire __tar_options
 | 
			
		||||
    if [ -n "$tar_options" ]; then
 | 
			
		||||
        opts="$tar_options"
 | 
			
		||||
    else
 | 
			
		||||
        opts="$__tar_options"
 | 
			
		||||
    fi
 | 
			
		||||
 | 
			
		||||
    # Overwrite __tar_exclude
 | 
			
		||||
    if [ "$tar_exclude" ]; then
 | 
			
		||||
    # Set tar_exclude
 | 
			
		||||
    if [ -n "$tar_exclude" ]; then
 | 
			
		||||
        for item in "${tar_exclude[@]}"; do
 | 
			
		||||
            exclude+=" --exclude $item"
 | 
			
		||||
        done
 | 
			
		||||
@@ -67,6 +61,9 @@ handler::tar() {
 | 
			
		||||
        exclude=
 | 
			
		||||
    fi
 | 
			
		||||
 | 
			
		||||
    # Set options
 | 
			
		||||
    tar_options="${tar_options:--acf}"
 | 
			
		||||
 | 
			
		||||
    # Select filename extension by compression type.
 | 
			
		||||
    if [ "$compression" ]; then
 | 
			
		||||
        # Make sure for the `--auto-compress` is enabled in __tar_options
 | 
			
		||||
@@ -99,14 +96,14 @@ handler::tar() {
 | 
			
		||||
    [ "$__verbose" ] && {
 | 
			
		||||
        echo "Source path: $src_path"
 | 
			
		||||
        echo "Destination path: $dst_path"
 | 
			
		||||
        echo "Run command: tar $exclude $opts $archive $src_path"
 | 
			
		||||
        echo "Run command: tar $exclude $tar_options $archive $src_path"
 | 
			
		||||
    }
 | 
			
		||||
 | 
			
		||||
    log "Archiving $src_path to $archive ..."
 | 
			
		||||
    log "Run command: tar $exclude $opts $archive $src_path"
 | 
			
		||||
    log "Run command: tar $exclude $tar_options $archive $src_path"
 | 
			
		||||
 | 
			
		||||
    # Run tar
 | 
			
		||||
    try tar "$exclude" "$opts" "$archive" "$src_path"
 | 
			
		||||
    try tar "$exclude" "$tar_options" "$archive" "$src_path"
 | 
			
		||||
 | 
			
		||||
    # Append path to 'backups' array
 | 
			
		||||
    backups+=("$archive")
 | 
			
		||||
 
 | 
			
		||||
@@ -29,6 +29,7 @@ handler::cp() {
 | 
			
		||||
 | 
			
		||||
    uri="$1"
 | 
			
		||||
 | 
			
		||||
    # shellcheck disable=SC2154
 | 
			
		||||
    if [[ "$uri" == "$__main_target" ]]; then
 | 
			
		||||
        : # Do nothing. Source and destination is the same
 | 
			
		||||
        log "Nothing to do: Source and destination is the same: $__main_target"
 | 
			
		||||
@@ -36,6 +37,7 @@ handler::cp() {
 | 
			
		||||
        # Copy backups to another destination
 | 
			
		||||
        parse_uri "$uri"
 | 
			
		||||
 | 
			
		||||
        # shellcheck disable=SC2154
 | 
			
		||||
        if [ -f "$path" ] || [ -d "$path" ]; then
 | 
			
		||||
            dst_path="$path"
 | 
			
		||||
        else
 | 
			
		||||
@@ -46,6 +48,7 @@ handler::cp() {
 | 
			
		||||
        [ "$__verbose" ] && echo "Destination path: $dst_path"
 | 
			
		||||
 | 
			
		||||
        # Copy files preserving metadata
 | 
			
		||||
        # shellcheck disable=SC2154
 | 
			
		||||
        for backup in "${backups[@]}"; do
 | 
			
		||||
            log "Copying file $backup to $dst_path ..."
 | 
			
		||||
            log "Run command: cp --archive $backup $dst_path"
 | 
			
		||||
 
 | 
			
		||||
@@ -1,4 +1,5 @@
 | 
			
		||||
#!/usr/bin/env bash
 | 
			
		||||
# shellcheck disable=SC1091
 | 
			
		||||
 | 
			
		||||
# lib.sh - source scripts.
 | 
			
		||||
# Copyright (c) 2022 ge <https://nixhacks.net/>
 | 
			
		||||
 
 | 
			
		||||
@@ -35,7 +35,8 @@ validate_sources() {
 | 
			
		||||
 | 
			
		||||
        case "$scheme" in
 | 
			
		||||
            file|mysql|postgres|sqlite) : ;; # do nothing, this is OK
 | 
			
		||||
            *) echo "Error: $__user_script: Unsupported URI scheme: $scheme" >&2; exit 1;;
 | 
			
		||||
            *)  # shellcheck disable=SC2154
 | 
			
		||||
                echo "Error: $__user_script: Unsupported URI scheme: $scheme" >&2; exit 1;;
 | 
			
		||||
        esac
 | 
			
		||||
    done
 | 
			
		||||
}
 | 
			
		||||
@@ -78,6 +79,7 @@ validate_targets() {
 | 
			
		||||
        __main_target="${file_targets[0]}"
 | 
			
		||||
        # Fail if __main_target's path is not a directory
 | 
			
		||||
        parse_uri "$__main_target"
 | 
			
		||||
        # shellcheck disable=SC2154
 | 
			
		||||
        if [ -d "$path" ]; then
 | 
			
		||||
            __main_target_path="$path"
 | 
			
		||||
        else
 | 
			
		||||
@@ -99,24 +101,25 @@ source_script() {
 | 
			
		||||
        echo "Error: No such file: $script" >&2; exit 1
 | 
			
		||||
    fi
 | 
			
		||||
 | 
			
		||||
    # Dry run script, check syntax. See set(1p)
 | 
			
		||||
    # Dry run script, check syntax. See manpage set(1)
 | 
			
		||||
    if ! bash -n "$script"; then
 | 
			
		||||
        echo Error: $__user_script: Please check your syntax >&2; exit 1
 | 
			
		||||
        echo "Error: $__user_script: Please check your syntax" >&2; exit 1
 | 
			
		||||
    fi
 | 
			
		||||
 | 
			
		||||
    # Source script
 | 
			
		||||
    . "$@"
 | 
			
		||||
    # shellcheck disable=SC1090
 | 
			
		||||
    . "$script"
 | 
			
		||||
 | 
			
		||||
    # Check required variables
 | 
			
		||||
    if [[ "$sources" ]]; then
 | 
			
		||||
    if [ -n "$sources" ]; then
 | 
			
		||||
        validate_sources "${sources[@]}"
 | 
			
		||||
    else
 | 
			
		||||
        echo Error: $__user_script: sources array is not set >&2; exit 1
 | 
			
		||||
        echo "Error: $__user_script: sources array is not set" >&2; exit 1
 | 
			
		||||
    fi
 | 
			
		||||
 | 
			
		||||
    if [[ "$targets" ]]; then
 | 
			
		||||
    if [ -n "$targets" ]; then
 | 
			
		||||
        validate_targets "${targets[@]}"
 | 
			
		||||
    else
 | 
			
		||||
        echo Error: $__user_script: targets array is not set >&2; exit 1
 | 
			
		||||
        echo "Error: $__user_script: targets array is not set" >&2; exit 1
 | 
			
		||||
    fi
 | 
			
		||||
}
 | 
			
		||||
 
 | 
			
		||||
@@ -23,7 +23,7 @@ parse_uri() {
 | 
			
		||||
    # URL-encoded passwords supported.
 | 
			
		||||
    #
 | 
			
		||||
    # Usage: parse_uri URI
 | 
			
		||||
    # Return variables:
 | 
			
		||||
    # Set variables:
 | 
			
		||||
    #   scheme
 | 
			
		||||
    #   username
 | 
			
		||||
    #   password
 | 
			
		||||
@@ -113,6 +113,7 @@ parse_uri() {
 | 
			
		||||
            port=
 | 
			
		||||
        fi
 | 
			
		||||
    else
 | 
			
		||||
        # shellcheck disable=SC2034
 | 
			
		||||
        hostname="$host"
 | 
			
		||||
        port=
 | 
			
		||||
    fi
 | 
			
		||||
@@ -122,6 +123,7 @@ parse_uri() {
 | 
			
		||||
        username="${userinfo%:*}"
 | 
			
		||||
        password="${userinfo#*:}"
 | 
			
		||||
    else
 | 
			
		||||
        # shellcheck disable=SC2034
 | 
			
		||||
        username="$userinfo"
 | 
			
		||||
        password=
 | 
			
		||||
    fi
 | 
			
		||||
 
 | 
			
		||||
		Reference in New Issue
	
	Block a user