Sql анализ данных. Data science

⚡️ Pytest совет: экономим время на тестах с большими данными Если в тестах используется тяжёлый датасет, важно правильно выбрать scope для фикстуры. ❌ По умолчанию (`scope="function"`) данные будут загружаться заново для каждого теста. Это тратит ресурсы и замедляет выполнение. ✅ С scope="session" датасет загружается один раз и переиспользуется во всех тестах. Это ускоряет процесс и снижает нагрузку. Используйте session scope для больших и неизменяемых данных, чтобы тесты работали быстрее и стабильнее.

🔍 Marker — инструмент от Datalab.to, который быстро и точно превращает документы в Markdown + JSON Что умеет Marker: - Поддержка PDF, изображений, PPTX, DOCX, XLSX, HTML, EPUB и др. - Форматирует таблицы, формы, уравнения, математические выражения, ссылки, кодовые блоки. - Извлекает изображения из документов. - Убирает колонтитулы, заголовки, другие артефакты форматирования. - Есть бета-версия для “структурированного извлечения” на основе схемы JSON. - Можно включить LLM-модуль, чтобы повысить точность в сложных местах (например, объединение таблиц, корректное форматирование). Преимущества: - Быстрота + точность по сравнению с конкурентами (Mathpix, Llamaparse и др.). - Работает и без LLM, но с флагом --use_llm становится ещё лучше. - Можно запускать локально, на серверах, GPU / CPU, использовать параллельную обработку. Ограничения и нюансы: - Сложные макеты и вложенные таблицы / формы ещё не всегда обрабатываются идеально. - Иногда требуется OCR, особенно если PDF плохо “разложен” на текст. Кому полезно: - Тем, кто работает с научными статьями, отчётами, бухгалтерскими документами, презентациями и хочет автоматизировать преобразование в читаемый формат. - Для RAG-pipelines, документации и любых задач, где надо извлечь структуру и контент. https://github.com/datalab-to/marker

Центральные украинские СМИ:

— В ВСУ сейчас очень много случаев самовольного оставления части из учебных центров. Часто мобилизованные симулируют болезнь, чтобы попасть в больницу и сбежать домой. Десятки тысяч мобилизованных, ушли, даже не доехали до фронта. — Многие военные использовали СЗЧ как способ перевода в другие подразделения в обход обычной процедуры, особенно в Нацгвардию, где перейти было сложно обычным путём. — Иногда командирам невыгодно сообщать о СЗЧ и дезертирстве, потому что они сами отпускают подчинённых домой в обмен на банковскую карту, куда ежемесячно поступают выплаты. Некоторые даже добавляют «мертвые души» в боевые распоряжения, чтобы получить премию. — Проблема СЗЧ и дезертирства остаётся масштабной: по официальным данным, около 300 тысяч военнослужащих дезертировали из армии.

🔥 no-code база данных, которая сама превращает SQL в Airtable-стиль интерфейс Что умеет: - Подключается к MySQL, Postgres, SQLite, MSSQL и сразу показывает данные в виде удобных таблиц - Делает представления: таблицы, календари, канбан, формы, Гантт - Генерирует готовые REST и GraphQL API прямо поверх базы - Делится видами: публично или под паролем, поддерживает загрузку файлов и картинок - Настраивает роли и доступ до уровня отдельного столбца Плюс интеграции со Slack, Discord, мессенджерами, почтой и десятками сервисов. По сути — Airtable, но напрямую поверх твоей базы. https://github.com/nocodb/nocodb

🧩 SQL полезный приём Нужно выбрать из таблицы записи с максимальным или минимальным значением по группе? Вместо вложенных подзапросов удобно использовать оконные функции. Пример: найти для каждого пользователя его последний заказ.

    
        
WITH ranked AS (
    SELECT 
        user_id,
        order_id,
        order_date,
        ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY order_date DESC) AS rn
    FROM orders
)
SELECT user_id, order_id, order_date
FROM ranked
WHERE rn = 1;
{}
    

📌 Как это работает: PARTITION BY user_id делит данные по пользователям ORDER BY order_date DESC сортирует заказы от нового к старому ROW_NUMBER() присваивает каждой записи номер в рамках группы WHERE rn = 1 берёт только последний заказ для каждого пользователя 💡 Такой подход легко адаптируется: можно выбирать первый/последний элемент в группе, топ-N значений или фильтровать дубликаты. @sqlhub

Твой шанс прокачаться в ИТ, получить карьерный буст и побороться за призовой фонд 10 250 000 рублей 💰 Успей зарегистрироваться до 20 октября. МТС приглашает на True Tech Champ — всероссийский чемпионат по программированию. Соревнование будет проходить в двух треках. Трек 1. Алгоритмический. Индивидуальный зачет [призовой фонд 2 750 000 рублей] Реши задачи, которые помогут прокачаться в работе с алгоритмами и структурами данных. Похожие задания встречаются на собеседованиях в МТС и других крупных компаниях. До 240 лучших участников попадут в финал и сразятся в лайв-кодинге. Трек 2. Программирование роботов. Командный формат [призовой фонд 7 500 000 рублей] Проведи робота по виртуальному лабиринту, затем управляй им дистанционно на офлайн-полигоне, а в финале — пройди испытания на реальной площадке и выбей соперников с платформы. Организаторы отправят командам финалистов по одному роботу Waveshare Cobra Flex для кастомизации. После соревнований они останутся у участников в качестве подарка. 📍 Зрелищный шоу-финал с ИИ-технологиями, кодерскими челленджами и выступлениями международных и российских спикеров пройдет 21 ноября в МТС Live Холл. 🎁 Регистрация участников до 20 октября на сайте.

🧩 SQL полезный приём Нужно выбрать из таблицы записи с максимальным или минимальным значением по группе? Вместо вложенных подзапросов удобно использовать оконные функции. Пример: найти для каждого пользователя его последний заказ.

    
        
WITH ranked AS (
    SELECT 
        user_id,
        order_id,
        order_date,
        ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY order_date DESC) AS rn
    FROM orders
)
SELECT user_id, order_id, order_date
FROM ranked
WHERE rn = 1;
{}
    

📌 Как это работает: PARTITION BY user_id делит данные по пользователям ORDER BY order_date DESC сортирует заказы от нового к старому ROW_NUMBER() присваивает каждой записи номер в рамках группы WHERE rn = 1 берёт только последний заказ для каждого пользователя 💡 Такой подход легко адаптируется: можно выбирать первый/последний элемент в группе, топ-N значений или фильтровать дубликаты. @sqlhub

💡 SQL trick: уникальные значения прямо в агрегатах Иногда нужно посчитать уникальные значения по каждому пользователю. Мало кто знает, что для этого есть COUNT(DISTINCT ...).

    
        
SELECT 
    customer_id,
    COUNT(DISTINCT product_id) AS unique_products
FROM orders
GROUP BY customer_id;
{}
    

🔎 Такой запрос покажет, сколько разных товаров купил каждый клиент. Работает не только с COUNT(), но и с SUM(DISTINCT ...) или AVG(DISTINCT ...). @sqlhub

Нужен один «топ-элемент» на группу без оконных функций и лишних джойнов? В PostgreSQL есть недооценённый приём: DISTINCT ON. Он берёт первую строку в каждой группе по указанным полям, какую именно, ты задаёшь через ORDER BY. Так за один проход можно выбрать, например, последний заказ клиента, самую дорогую позицию в категории или актуальную запись по состоянию. Важно: в ORDER BY сначала идут поля из DISTINCT ON, а следом — критерий «топа» (например, created_at DESC). Для скорости добавь составной индекс в том же порядке (ключи группировки → поле сортировки).

    
        
-- Возьмём по 1 строке на группу (g1, g2), выбирая «лучшую» по metric DESC
SELECT DISTINCT ON (g1, g2) *
FROM some_table
ORDER BY g1, g2, metric DESC;

-- Пример: последний заказ каждого пользователя
SELECT DISTINCT ON (o.user_id)
       o.user_id, o.id AS order_id, o.created_at, o.total
FROM orders o
ORDER BY o.user_id, o.created_at DESC;

-- Рекомендуемый индекс для скорости (соответствует ORDER BY)
CREATE INDEX ON orders (user_id, created_at DESC);

-- Ещё пример: самая дорогая товарная позиция в категории
SELECT DISTINCT ON (p.category_id)
       p.category_id, p.id, p.price
FROM products p
ORDER BY p.category_id, p.price DESC;

-- Индекс под этот запрос
CREATE INDEX ON products (category_id, price DESC);{}
    

@sqlhub

Прикольно придумано