SQL Portal | Базы Данных

В копилку тренажёров: sqltutor.ru Годный онлайн-тренажёр для запросов. Простой интерфейс, полностью на русском, все задачи бесплатные, есть теоретические разделы, регистрация по желанию 👉 @SQLPortal

LangChain Community Spotlight: text2sql Агентный text-to-SQL SDK, построенный на Deep Agents из LangChain, который автономно исследует схемы, пишет запросы и сам себя корректирует — достигая 100% точности на бенчмарке Spider без использования извлечения с дополнением генерации или предрассчитанных схем. Посмотреть: https://github.com/Text2SqlAgent/text2sql-framework 👉 @SQLPortal

JSON и JSONB удобны, когда нужно просто складывать схемно-нефиксированные данные, но иногда требуется добавить контроль структуры. Можно использовать расширение pg_jsonschema, чтобы задать схему и валидировать содержимое. Это даёт больше контроля над форматом данных в таких колонках. 👉 @SQLPortal

🚫 Никогда не используй COUNT для проверки существования Если нужно просто проверить, существует ли запись, не используй COUNT() с фильтром (WHERE)

    
        SELECT COUNT(*)
FROM users
WHERE email = 'http://thisemaildontexist.com';{}
    

Проблема в том, что COUNT(*) отвечает на другой вопрос — считает количество строк, подходящих под условие, хотя нужна только проверка наличия хотя бы одной. При использовании COUNT(*) база может просканировать все подходящие строки, чтобы посчитать итог. Даже если совпадение найдено сразу, выполнение может продолжиться, потому что запрошен полный подсчёт. На больших таблицах это лишняя работа. Вместо COUNT() используй EXISTS

    
        SELECT EXISTS (
    SELECT 1
    FROM users
    WHERE email = 'http://thisemaildontexist.com'
);{}
    

👉 @SQLPortal

SQL Joins cheatsheet 👉 @SQLPortal

pgstattuple - Расширения Postgres, которые у тебя уже есть Что делает: проверяет раздувание таблиц и индексов Как включить:

    
        CREATE EXTENSION pgstattuple;{}
    

Как использовать: select * from pgstattuple или писать свои запросы, чтобы смотреть таблицы, количество «живых» и «мертвых» строк и процент. Процент «мертвых» и свободных строк в таблицах Postgres

    
        SELECT
  relname AS table_name,
  pg_size_pretty(pg_relation_size(relid)) AS table_size,
  (pgstattuple(relid)).dead_tuple_percent AS dead_pct,
  (pgstattuple(relid)).free_percent AS free_pct
FROM pg_catalog.pg_stat_user_tables
ORDER BY dead_pct DESC;{}
    

👉 @SQLPortal

Современный редактор SQL и баз данных PostgreSQL https://github.com/cin12211/orca-q 👉 @SQLPortal

Расширение Postgres, которое у вас уже есть: pg_visibility. Оно отслеживает, какие страницы таблиц полностью видимы для транзакций, а какие содержат строки, которые ещё не были обработаны VACUUM. Используйте его, чтобы диагностировать, почему медленно работают сканирования только по индексу, проверить, успевает ли VACUUM, и мониторить заморозку строк и циклическое переполнение xID. Какой процент страниц видим и заморожен

    
        SELECT
  c.relpages AS total_pages,
  s.all_visible,
  s.all_frozen,
  round(100.0 * s.all_visible / NULLIF(c.relpages, 0), 1) AS pct_visible,
  round(100.0 * s.all_frozen / NULLIF(c.relpages, 0), 1) AS pct_frozen
FROM pg_class c
CROSS JOIN LATERAL pg_visibility_map_summary(c.oid) s
WHERE c.relname = 'employees';{}
    

👉 @SQLPortal

В SQL есть разные уровни 📍Стиль 1

    
        SELECT
 COUNT(CASE 
 WHEN days_lost = 1 THEN NULL 
 ELSE days_lost 
 END
 ) AS count_of_days_lost
FROM safety;{}
    

Преимущества — Явно видно, что происходит — Очень гибкий, подходит для сложной логики Недостатки — Многословный, добавляет шум — Часто используется там, где можно проще 📍Стиль 2

    
        SELECT
 COUNT(NULLIF(days_lost, 1)) AS count_of_days_lost
FROM safety;{}
    

Преимущества — Коротко и аккуратно для простых условий — Меньше шаблонного кода по сравнению с CASE Недостатки — Хуже читается для новичков — Ограничен простыми проверками на равенство 📍Стиль 3

    
        SELECT
 COUNT(*) FILTER (WHERE days_lost != 1) AS count_of_days_lost
FROM safety;{}
    

Преимущества — Читаемо, намерение выражено напрямую — Логика отделена от агрегации — Удобно при нескольких условиях Недостатки — Поддерживается не во всех диалектах SQL — Менее распространен среди разработчиков 👉 @SQLPortal

Термины в Data engineering, которые нужно знать ETL — извлечение, трансформация, загрузка. Очистка до сохранения. ELT — извлечение, загрузка, трансформация. Очистка внутри хранилища. CDC — отслеживание изменений данных. Перенос только новых изменений. DAG — граф воркфлоу. Задачи + зависимости. OLAP — системы, ориентированные на аналитику. Оптимизированы под инсайты. SLA — соглашение об уровне сервиса. Доступность и производительность. Data Lake — хранилище сырых данных. Любой формат, любой объем. Medallion Architecture — Bronze → Silver → Gold. Слои качества данных. Reverse ETL — хранилище → бизнес-инструменты. Данные обратно в приложения. 👉 @SQLPortal