Bash Советы - Bash Scripting | Linux

🔥 Регулярки для админов — Часть 2 Сегодня поговорим про замену и обработку данных с помощью sed 1. Маскирование конфиденциальных данных (пароли, токены) sed -E 's/(password|token)=\S+/\1=***HIDDEN***/g' config.txt Что делает: - Находит password=что-то или token=что-то. - Заменяет значение на ***HIDDEN***. 2. Удалить все цифры из файла sed -E 's/[0-9]+//g' file.txt Что делает: - [] — диапазон символов. - + — одно или больше вхождений. 3. Быстро поменять домен в конфиге sed -E 's/(server_name\s+).*/\1newdomain.com/' /etc/nginx/sites-available/site.conf Что делает: - Захватывает server_name и всё после него. - Заменяет домен на newdomain.com. 4. Удалить строки, содержащие определённые слова sed -E '/(DEBUG|TRACE)/d' app.log Что делает: - /(...)/d — удаляет строки, содержащие DEBUG или TRACE. 👉 @bash_srv

🚀 Подборка полезных IT каналов в Max Системное администрирование, DevOps 📌 https://max.ru/i_odmin Все для системного администратора https://max.ru/bash_srv Bash Советы https://max.ru/sysadminof Книги для админов, полезные материалы https://max.ru/i_odmin_book Библиотека Системного Администратора https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др. 1C разработка 📌 https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С Программирование C++📌 https://max.ru/cpp_lib Библиотека C/C++ разработчика Программирование Python 📌 https://max.ru/python_of Python академия. https://max.ru/BookPython Библиотека Python разработчика Java разработка 📌 https://max.ru/bookjava Библиотека Java разработчика GitHub Сообщество 📌 https://max.ru/githublib Интересное из GitHub Базы данных (Data Base) 📌 https://max.ru/database_info Все про базы данных Фронтенд разработка 📌 https://max.ru/frontend_1 Подборки для frontend разработчиков Библиотеки 📌 https://max.ru/programmist_of Книги по программированию https://max.ru/proglb Библиотека программиста https://max.ru/bfbook Книги для программистов Программирование 📌 https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻 Шутки программистов 📌 https://max.ru/itumor Шутки программистов Защита, взлом, безопасность 📌 https://max.ru/thehaking Канал о кибербезопасности https://max.ru/xakkep_1 Хакер Free Книги, статьи для дизайнеров 📌 https://max.ru/odesigners Статьи, книги для дизайнеров Математика 📌 https://max.ru/Pomatematike Канал по математике https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике Вакансии 📌 https://max.ru/progjob Вакансии в IT Мир технологий 📌 https://max.ru/mir_teh Канал для любознательных Бонус 📌 https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга https://max.ru/mockva_life Свежие новости Москвы

🔍 Поиск текста во множестве файлов — быстро и точно! Если нужно найти, где в проекте встречается определённая строка (например, DB_PASSWORD), не лезь в каждый файл руками! Используй мощную связку grep: grep -rnw '/путь/к/папке' -e 'DB_PASSWORD' 📌 Пояснение: * -r — рекурсивный поиск по подкаталогам. * -n — показать номер строки. * -w — искать точное слово (не подстроку). * -e — указывает, что дальше идёт выражение для поиска. 💡 Хочешь исключить определённые директории, например .git? grep -rnw --exclude-dir={.git,node_modules} '/путь/к/папке' -e 'DB_PASSWORD' Незаменимо при отладке конфигов и аудите секрета в коде! 😉 👉 @bash_srv

💡 Быстрый поиск и замена в куче файлов Нужно массово заменить строку в сотне конфигов? Вот скрипт: #!/bin/bash # автор: https://t.me/bash_srv # Директория для поиска DIR="/etc/nginx" # Что ищем SEARCH="server_name old.example.com" # На что меняем REPLACE="server_name new.example.com" # Ищем и заменяем grep -rl "$SEARCH" "$DIR" | xargs sed -i "s|$SEARCH|$REPLACE|g" echo "✅ Замена '$SEARCH' на '$REPLACE' выполнена в $DIR" Как это работает: grep -rl — ищет файлы с нужной строкой xargs sed -i — делает замену прямо в них 🔥 Очень удобно для правки конфигов и скриптов пачками. 👉 @bash_srv

🔍 10 полезных регулярных выражений для админов Регулярки — мощный инструмент для поиска и обработки текста в Linux. # 1. Найти все IP-адреса в файле grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' file.log # 2. Найти строки с email-адресами grep -E '[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}' file.txt # 3. Удалить пустые строки sed -i '/^$/d' file.txt # 4. Найти строки, начинающиеся с # grep -E '^#' file.conf # 5. Найти строки, не содержащие слово ERROR grep -Ev 'ERROR' file.log # 6. Заменить все цифры на символ * sed -E 's/[0-9]/*/g' file.txt # 7. Удалить комментарии и пустые строки grep -Ev '^\s*#|^\s*$' file.conf # 8. Найти все URL grep -Eo 'https?://[^ ]+' file.txt # 9. Найти строки длиной больше 100 символов grep -E '.{100,}' file.txt # 10. Извлечь доменные имена из email grep -Eo '@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}' file.txt 💡Тестируйте регулярки в реальном времени с grep -E или онлайн-сервисами типа regex101.com. 👉 @bash_srv

🔥 Регулярки для админов 1. Быстро найти IP-адреса в логе grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' /var/log/nginx/access.log Что делает: - Ищет шаблон “число.число.число.число” — IPv4-адрес. - -o выводит только совпадения, без лишнего текста. 2. Удалить пустые строки и комментарии из конфигов grep -Ev '^\s*#|^\s*$' /etc/nginx/nginx.conf Что делает: - ^\s*# — строки, начинающиеся с # (комментарии). - ^\s*$ — пустые строки. 3. Найти строки с ошибками в логах grep -Ei 'error|fail|critical' /var/log/syslog Что делает: - Ищет ключевые слова ошибок без учёта регистра. - Можно расширить список слов через |. 👉 @bash_srv

🧠 Регулярки на практике: как вытащить IP-адреса из логов Когда нужно быстро достать все IP-адреса из логов — тебе на помощь приходит grep + регулярные выражения 💪 Пример: grep -oE '\b([0-9]{1,3}\.){3}[0-9]{1,3}\b' /var/log/nginx/access.log 🔍 Что делает: -o — выводит только совпадения, без строки целиком -E — расширенные регулярки \b([0-9]{1,3}\.){3}[0-9]{1,3}\b — паттерн для IPv4 📌 Пример вывода: 192.168.0.1 10.0.0.55 172.16.100.7 🛡️ Хочешь избавиться от дубликатов? grep -oE '\b([0-9]{1,3}\.){3}[0-9]{1,3}\b' /var/log/nginx/access.log | sort -u 📁 Подходит для Apache, Nginx, sshd и других логов, где есть IP. 👉 @bash_srv

🔐 Проверка пароля на сложность 🧪 Когда нужно быстро проверить, достаточно ли сложный пароль (длина, буквы, цифры, спецсимволы) — используйте вот такой bash-однострочник: read -s -p "Введите пароль: " pass; echo; [[ ${#pass} -ge 8 && "$pass" =~ [A-Z] && "$pass" =~ [a-z] && "$pass" =~ [0-9] && "$pass" =~ [^a-zA-Z0-9] ]] && echo "✅ Надёжный пароль" || echo "❌ Слабый пароль" 📋 Проверка включает: - минимум 8 символов - заглавные буквы - строчные буквы - цифры - спецсимволы 🛡 Удобно использовать в скриптах или при создании новых пользователей вручную. 👀 Если хотите использовать это в скрипте без отображения ввода — read -s уже всё делает за вас. 👉 @bash_srv

🔥 Предупреждение о переполнении дисков + топ “пожирателей” места Данный ниже скрипт проверит заполнение всех ФС (кроме tmpfs/devtmpfs/squashfs/overlay), и если порог превышен - пришлёт сводку с ТОП директориями по размеру. Поддерживает уведомления в Telegram (через Bot API) или просто вывод в консоль. Функционал ✅ Проверяет все реальные файловые системы ✅ Порог заполнения настраивается (THRESHOLD, по умолчанию 85%) ✅ Показывает TOP-N самых “тяжёлых” директорий на проблемном разделе (TOPN, по умолчанию 5) ✅ Исключения по mountpoint через EXCLUDE_REGEX (например, Docker) ✅ Уведомления в Telegram, если задать TELEGRAM_BOT_TOKEN и TELEGRAM_CHAT_ID #!/usr/bin/env bash # автор: https://t.me/bash_srv set -Eeuo pipefail # Настройки (можно переопределять переменными окружения) THRESHOLD="${THRESHOLD:-85}" # % использования ФС, начиная с которого тревожим TOPN="${TOPN:-5}" # сколько топ-директорий показать EXCLUDE_REGEX="${EXCLUDE_REGEX:-^(/sys|/proc|/run|/snap|/var/lib/docker|/var/lib/containers)}" # Исключаем псевдо-ФС DF_TYPES=(-x tmpfs -x devtmpfs -x squashfs -x overlay) notify() { local msg="$1" if [[ -n "${TELEGRAM_BOT_TOKEN:-}" && -n "${TELEGRAM_CHAT_ID:-}" ]]; then curl -sS -X POST "https://api.telegram.org/bot${TELEGRAM_BOT_TOKEN}/sendMessage" \ -d "chat_id=${TELEGRAM_CHAT_ID}" \ --data-urlencode "text=${msg}" >/dev/null || true else echo "$msg" fi } alerts=() # Читаем: while read -r mnt use; do [[ "$mnt" =~ $EXCLUDE_REGEX ]] && continue use="${use%\%}" if (( use >= THRESHOLD )); then # du в мегабайтах по границам ФС (-x), глубина 1, сортировка по размеру top=$(du -x -m --max-depth=1 "$mnt" 2>/dev/null | sort -nr | head -n "$TOPN" \ | awk '{printf " %6d MB %s\n",$1,$2}') alerts+=("⚠️ ФС $mnt занята на ${use}%%. Топ ${TOPN} директорий:\n${top}") fi done < <(df -P "${DF_TYPES[@]}" | awk 'NR>1{print $(NF), $(NF-1)}') if ((${#alerts[@]})); then host=$(hostname -f 2>/dev/null || hostname) ts=$(date '+%F %T %Z') msg="🚨 Диск почти заполнен: ${host}\n${ts}\nПорог: ${THRESHOLD}%%\n\n$(printf "%s\n\n" "${alerts[@]}")" notify "$msg" else echo "✅ Все файловые системы ниже ${THRESHOLD}%." fi Установка sudo install -m 0755 df_guard.sh /usr/local/bin/df_guard.sh Примеры запуска - Раз в 15 минут, тревожим после 90%, показываем TOP-3 и шлём в Telegram: # В crontab (root) */15 * * * * THRESHOLD=90 TOPN=3 TELEGRAM_BOT_TOKEN=123:ABC TELEGRAM_CHAT_ID=123456 \ nice -n 10 ionice -c3 /usr/local/bin/df_guard.sh - Исключаем Docker и снапшоты: EXCLUDE_REGEX='^(/var/lib/docker|/mnt/snapshots)' df_guard.sh - Для больших ФС du может крутиться дольше - добавьте nice/ionice, как в примере. - Хотите человеческие единицы? Замените -m на -h и уберите выравнивание в awk. - Если сервер за NAT/без выхода в интернет - уведомления уйдут в stdout и попадут в системную почту cron. 👉 @bash_srv

📈Скрипт показывает, какие каталоги выросли с прошлого запуска Скрипт ниже делает снимок размеров каталогов (через du), а при следующем запуске покажет топ приростов - кто вырос и на сколько. #!/usr/bin/env bash # автор: https://t.me/bash_srv set -Eeuo pipefail usage() { cat <<'HELP' Usage: du-delta.sh [-p PATH] [-d DEPTH] [-n TOP] [-t THRESH] [-s STATE_DIR] -p PATH Корень анализа (по умолчанию /) -d DEPTH Глубина du (по умолчанию 2) -n TOP Сколько строк показать (по умолчанию 15) -t THRESH Порог роста (например 100M, 1G; по умолчанию 100M) -s STATE_DIR Директория состояния (по умолчанию /var/lib/du-delta) -h Помощь Прим.: требуются права на чтение анализируемых каталогов. HELP } PATH_TO="/" DEPTH=2 TOP=15 THRESH="100M" STATE_DIR="/var/lib/du-delta" while getopts ":p:d:n:t:s:h" opt; do case "$opt" in p) PATH_TO="$OPTARG" ;; d) DEPTH="$OPTARG" ;; n) TOP="$OPTARG" ;; t) THRESH="$OPTARG" ;; s) STATE_DIR="$OPTARG" ;; h) usage; exit 0 ;; \?) echo "Неизвестный параметр: -$OPTARG" >&2; usage; exit 1 ;; :) echo "Параметру -$OPTARG нужно значение" >&2; exit 1 ;; esac done to_bytes() { local v="$1" if command -v numfmt >/dev/null 2>&1; then numfmt --from=iec "$v" else awk -v s="$v" 'BEGIN{ n=s; sub(/[KkMmGgTtPp][Bb]?$/,"",n); u=""; if (match(s,/[KkMmGgTtPp]/)) u=substr(s,RSTART,1); m=1; if(u=="K"||u=="k") m=1024; else if(u=="M"||u=="m") m=1024^2; else if(u=="G"||u=="g") m=1024^3; else if(u=="T"||u=="t") m=1024^4; else if(u=="P"||u=="p") m=1024^5; printf "%d", n*m }' fi } human() { local b="$1" if command -v numfmt >/dev/null 2>&1; then numfmt --to=iec --suffix=B "$b" else awk -v b="$b" 'function h(x, a,i){ split("B KiB MiB GiB TiB PiB",a," "); for(i=1; x>=1024 && i<6; i++) x/=1024; return sprintf("%.1f %s", x, a[i]) } BEGIN{print h(b)}' fi } # Определяем совместимый ключ глубины для du if du -d 0 / >/dev/null 2>&1; then DU_DEPTH=(-d "$DEPTH") else DU_DEPTH=(--max-depth="$DEPTH") fi mkdir -p "$STATE_DIR" chmod 700 "$STATE_DIR" # Имя снапшота зависит от пути и глубины safe_name="$(echo "$PATH_TO" | sed 's|/|_|g; s|^_$|root|')_d${DEPTH}.tsv" SNAP_FILE="$STATE_DIR/$safe_name" tmp_cur="$(mktemp)" trap 'rm -f "$tmp_cur"' EXIT # Снимок текущих размеров: "path \t bytes" # -B1: байты, -x: не вылезать на другие ФС, --apparent-size: по желанию (коммент ниже) # Уберите --apparent-size, если хотите считать выделенные блоки, а не логический размер. du -B1 "${DU_DEPTH[@]}" -x --apparent-size "$PATH_TO" 2>/dev/null \ | awk 'BEGIN{OFS="\t"} {sz=$1; $1=""; sub(/^[ \t]+/,""); print $0, sz}' \ | sort -k1,1 > "$tmp_cur" # Если есть предыдущий снимок — считаем дельты THRESH_BYTES="$(to_bytes "$THRESH")" printf "📈 Топ %d приростов в %s (глубина %d, порог %s):\n" \ "$TOP" "$PATH_TO" "$DEPTH" "$THRESH" if [[ -s "$SNAP_FILE" ]]; then awk -F'\t' -v th="$THRESH_BYTES" ' NR==FNR { prev[$1]=$2; next } { cur=$2+0; p=(($1 in prev)?prev[$1]+0:0); d=cur-p; if (d>=th) { print $1 "\t" d } } ' "$SNAP_FILE" "$tmp_cur" \ | sort -k2,2nr \ | head -n "$TOP" \ | awk -F'\t' '{printf " + %-8s %s\n", "'"$(human "$2")"'", $1}' \ || true else echo " (первый запуск — снимаю базовую метрику, сравнивать не с чем)" fi # Обновляем снимок mv -f "$tmp_cur" "$SNAP_FILE" - Быстрый запуск вручную: sudo bash du-delta.sh -p /var -d 3 -t 200M -n 20 - Повесить на cron (каждые 6 часов) и писать в syslog: */6 * * * * root /usr/local/sbin/du-delta.sh -p / -d 3 -t 200M -n 20 | logger -t du-delta Хочешь логический размер файлов (как видит ls -l) - оставляй --apparent-size. Нужен именно занятый на диске объём - убери этот флаг. 💡 Начни с -d 2 для обзора верхних уровней, потом точечно спускайся глубже по «подозрительным» каталогам. 👉 @bash_srv