SQL Community

🚀 Postgres 18 получил нативную поддержку UUID v7! 🔑 Что такое UUID? UUID (Universally Unique Identifier) — это уникальный идентификатор, который часто используют вместо автоинкрементных ID. Пример: 550e8400-e29b-41d4-a716-446655440000. ✨ Почему именно v7: - Основан на времени → значения идут по порядку - Меньше нагрузки на индексы - Быстрее вставка и чтение записей - Оптимально для высоконагруженных систем ⚡ Итог: базы на PostgreSQL станут быстрее и стабильнее при работе с большими объёмами данных.

🔥 7 бесплатных интерактивов для аналитиков Эти сервисы — не просто игрушки, а мощные симуляторы, которые помогают прокачивать аналитику через практику. Они отлично подходят для подготовки к собеседованиям, изучения новых концепций или просто для того, чтобы «залипнуть» с пользой. Вот подборка, в которую я сам возвращаюсь снова и снова: 1️⃣ Симулятор стартапа — teachmegrow.com 2️⃣ A/B-тесты на практике — lukasvermeer.nl/confidence 3️⃣ Эволюция доверия — notdotteam.github.io/trust 4️⃣ UX-игра на внимательность — cantunsee.space 5️⃣ UX Arcade — uxcel.com/arcade 6️⃣ Вероятности и статистика на пальцах — seeing-theory.brown.edu 7️⃣ Алгоритмы в картинках — visualgo.net 💡 Сохраняйте, проходите и делитесь с коллегами — это реально полезный интерактив.

Яндекс Лицей объявляет набор на бесплатный курс по большим данных. Он для школьников, студентов техникумов и колледжей, от 13 до 20 лет. За 3 месяца научитесь проектировать распределенные вычисления, анализировать данные, делать выводы и визуализировать их в DataLens. После обучения получите сертификат, который даёт дополнительные баллы при поступление в некоторые вузы и больше шансов поступить на другие курсы Яндекс Лицея. Переходим по ссылке, регистрируемся и проходим отбор до 23 сентября

📦 AM (Application Manager) — универсальная база и решение для управления всеми AppImage и портативными приложениями в GNU/Linux! AM упрощает жизнь пользователям Linux, позволяя: - 🔹 Интегрировать AppImages в систему или локально (с флагом `--user`) - 🔹 Управлять приложениями прямо из командной строки - 🔹 Автоматически добавлять программы в меню приложений - 🔹 Обновлять установленные AppImages и даже собирать их «на лету» как AUR-хелпер 🛠️ Как работает AM: 1. Создаёт базовые каталоги и скрипт удаления 2. Загружает пакет 3. Создаёт файл версии и скрипт обновления 4. При необходимости извлекает иконки и `.desktop`-файлы для удобной интеграции И всё это максимально просто и быстро — без лишних зависимостей и громоздких менеджеров. 👉 Репозиторий: https://github.com/ivan-hc/AM

🖥 Полный гайд по реальным SQL-вопросам с собеседований Введение. Собеседования на позиции, связанные с данными (аналитики, инженеры, ученые данных), всё чаще включают нестандартные и продвинутые вопросы по SQL. Большие технологические компании (Google, Amazon и др.) предъявляют высокие требования: важна не только правильность запроса, но и умение оптимизировать его и разбираться в реальных бизнес-данных[1][2]. В этом гайде мы разберем категории наиболее распространенных сложных SQL-задач с реальных собеседований – от платформ вроде DataLemur, LeetCode, StrataScratch – и подробно поясним решения. Каждая задача сопровождена анализом: условие, оптимальный подход, используемые SQL-конструкции, возможные ошибки и финальное решение (для PostgreSQL и MySQL, с указанием различий где необходимо). В конце добавлен отдельный раздел о современных базах данных, включая векторные БД (Pinecone, Weaviate, Milvus и др.), с примерами того, что могут спросить про них на собеседовании и как выглядят SQL-подобные запросы для работы с векторами. 📌 Читать гайд

⚡️ Топ-10 наиболее популярных опенсорсных баз данных: на заметку разработчику 1️⃣ MySQL 2️⃣ PostgreSQL 3️⃣ MariaDB 4️⃣ Apache Cassandra 5️⃣ Neo4j 6️⃣ SQLite 7️⃣ CockroachDB 8️⃣ Redis 9️⃣ MongoDB 🔟 Couchbase #инфографика

📊 Анализ Данных Alibaba: Оптимизация Хранения Сжатых Файлов Введение В Alibaba, где ежедневно генерируются петабайты данных, эффективное хранение критически важно. Оно не только снижает затраты, но и ускоряет работу систем. Сегодня мы разберём задачу по оптимизации хранения сжатых файлов, имитирующую реальные сценарии Alibaba. 🎯 Цель — определить сжатые файлы и рассчитать общую экономию памяти. Постановка Задачи Дана таблица files со столбцами: - file_id — идентификатор файла - file_type — тип файла - file_size — исходный размер в байтах - compressed_size — размер после сжатия (`NULL`, если файл не сжат) Задачи: 1. Найти все сжатые файлы (`compressed_size IS NOT NULL`). 2. Для каждого сжатого файла вывести file_id и file_type. 3. Вычислить и вывести общую экономию места: экономия = file_size - compressed_size. Пример Данных | file_id | file_type | file_size | compressed_size | |---------|-----------|-----------|-----------------| | 1 | image | 1000 | 600 | | 2 | video | 5000 | NULL | | 3 | document | 200 | 100 | | 4 | image | 1500 | 700 | Решение 🔹 Шаг 1. Идентификация Сжатых Файлов Фильтруем только те строки, где compressed_size не равен NULL:

    
        
SELECT
    file_id,
    file_type
FROM
    files
WHERE
    compressed_size IS NOT NULL;
{}
    

Результат для примера: file_id file_type 1 image 3 document 4 image 🔹 Шаг 2. Вычисление Общей Экономии Места Суммируем разницу между исходным и сжатым размером:

    
        
SELECT
    SUM(file_size - compressed_size) AS total_space_saved
FROM
    files
WHERE
    compressed_size IS NOT NULL;
{}
    

Промежуточные расчёты: - Файл 1: 1000 - 600 = 400 - Файл 3: 200 - 100 = 100 - Файл 4: 1500 - 700 = 800 Общая экономия: 400 + 100 + 800 = 1300 Результат запроса: - total_space_saved: 1300 Итоговое Решение Обычно на платформах типа DataLemur ожидаются два отдельных запроса: 1. Список сжатых файлов

    
        
SELECT
    file_id,
    file_type
FROM
    files
WHERE
    compressed_size IS NOT NULL;
{}
    

2. Общая экономия

    
        
SELECT
    SUM(file_size - compressed_size) AS total_space_saved
FROM
    files
WHERE
    compressed_size IS NOT NULL;
{}
    

💰 В чем плюс такой методики — меньше данных → меньше расходов на хранение и трафик. В масштабе Alibaba это миллионы долларов. 📊 Мониторинг эффективности — можно оценить, насколько хорошо работают алгоритмы сжатия. 📦 Планирование ёмкости — точный прогноз потребностей в хранилище. ⚡ Повышение производительности — сжатые файлы быстрее передаются и обрабатываются. Эта задача показывает, как простые SQL-запросы решают ключевые задачи оптимизации Big Data. Понимание подобных принципов помогает инженерам данных: - рационально использовать ресурсы, - снижать расходы, - повышать эффективность работы систем. 📌 Задача

⚙️ pgschema — Terraform-подобный инструмент для Postgres Разработчики выкатили pgschema — утилиту для декларативных миграций схемы в Postgres. Теперь можно описывать схему как “источник правды”, сравнивать её с текущей и применять изменения безопасно — как в Terraform. 🟢 Главное - dump — снимаем слепок схемы - plan — видим diff и список изменений - apply — применяем миграции с контролем блокировок и таймаутов - Поддержка Postgres 14-17 - Transaction-adaptive исполнение и dry-run режим ✨ Зачем нужно - Порядок в быстро меняющейся схеме - Прозрачные миграции через CI/CD - Контроль DDL-операций без неожиданных простоев - Удобно для gitops и командной разработки 👉 Репозиторий: https://github.com/pgschema/pgschema @golang_google