Sql базы данных

🖥 Шардирование в базах данных: обзор концепции Шардирование или шардинг - это принцип проектирования базы данных, при котором данные разбиваются на части и размещаются на разных шардах. Интерактивный лонгрид по шардированию баз данных. В нем разобрано все - от принципов работы шардов и причин, зачем это вообще нужно, до тонкостей проектирования и типовых ошибок. Каждый раздел сопровождается интерактивными диаграммами, с которыми можно экспериментировать прямо в статье. Отличный материал, чтобы прокачать понимание распределённых БД на выходных 💡 Статья: https://planetscale.com/blog/database-sharding Видео: https://www.youtube.com/watch?v=R2ML2jLs3_U

🖥 Полный гайд: защита от SQL-инъекций для разработчиков SQL-инъекции остаются одной из самых частых и опасных уязвимостей в веб-приложениях. Ошибка в одном запросе — и злоумышленник получает доступ к базе данных, паролям и пользовательским данным. В этом материале — полный практический разбор: как именно происходят SQL-инъекции, какие ошибки разработчиков к ним приводят, как их распознать в коде и главное — как защититься. Разберём реальные примеры на Python, PHP и Go, посмотрим, как атакующий «взламывает» запрос, и научимся писать безопасный код с параметризованными запросами и ORM. Это не теория, а руководство, которое поможет понять уязвимость изнутри и навсегда закрыть её в своих проектах. 👉 Читать гайд

🤖 Авито готовит к запуску собственного ИИ-ассистента «Ави» Технологическая платформа Авито подала заявку на регистрацию товарного знака для своего интеллектуального ассистента — «Ави», сообщает «Коммерсант». 🧩 Что умеет «Ави» построен на базе большой языковой модели и умеет вести живой диалог с пользователем. Он не просто отвечает на вопросы — ассистент помогает разобраться в деталях покупки, уточняет цели и критерии выбора, советует подходящие предложения и объясняет различия между ними. Фактически, это персональный консультант внутри платформы, который знает рынок лучше любого менеджера. 💡 Почему это важно Крупные компании одна за другой внедряют собственные ИИ-решения — это уже не эксперимент, а стратегия. Такие ассистенты позволяют: • собирать контекст из разговоров с пользователями, • повышать вовлеченность и лояльность, • увеличивать продажи. Эксперты оценивают вложения в проект примерно в 500 млн рублей. Но для Авито эти траты — часть планомерного развития: компания уже заявляла о планах инвестировать в развитие генеративного ИИ около 12 млрд рублей и к 2028 году заработать более 21 млрд на новых технологиях. Собственные модели компании уже можно оценить в деле — Авито выпустила две нейросети: • A-Vibe — текстовая LLM, • A-Vision — мультимодальная модель, работающая с текстом и изображениями. Их успех говорит сам за себя: A-Vibe за первую неделю собрала 1400+ скачиваний и попала в топ трендовых моделей на Hugging Face. 🚀 Что дальше Сейчас «Ави» проходит тесты в разных категориях площадки. В планах — уже в следующем году запустить универсальную версию, которая сможет работать во всех вертикалях Авито.

Не пропустите! 05 ноября в 20:00 пройдет бесплатный урок по теме “PostgreSQL для администраторов и разработчиков” по теме “Работа с json в PostgreSQL: давно не просто текст.” Запись: https://otus.pw/9EAE/ JSON в PostgreSQL — это не временное хак-решение, это инструмент, который меняет подход к хранению данных. Он позволяет хранить гибкие, меняющиеся структуры прямо в таблице и при этом использовать мощь SQL: фильтрацию, индексы и транзакции.  На уроке вы увидите, как использовать JSON/JSONB так, чтобы не терять скорость и предсказуемость, но объединять удобство JSON-формата с производительностью и гарантиями PostgreSQL.  Рассмотрим:  - работу с типами данных JSON и JSONB в PostgreSQL.  - изучим операторы и функции для работы с JSON-документами.  - определим применение индексов и функций для повышения производительности при работе с JSONB.  Какие результаты на выходе:  - научитесь выбирать между реляционной моделью и использованием JSON в конкретном кейсе;  - получите готовые примеры и шаблоны запросов для использования в проектах.  Записывайтесь на вебинар и получит спец. предложение на обучение: https://otus.pw/9EAE/?erid=2W5zFGUaPy2 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

⚡️ Вышел pgbalancer 1.0 - интеллектуальный балансировщик нагрузки для PostgreSQL Представлен первый стабильный релиз pgbalancer 1.0 — балансировщика нагрузки для PostgreSQL, построенного на основе pgpool-II с существенными доработками. Проект позиционируется как решение с элементами адаптивной маршрутизации запросов, управляемое через REST API и поддерживающее MQTT для потоковой передачи событий в реальном времени. Ключевые особенности: • Управление пулом соединений и распределение нагрузки между репликами PostgreSQL; •Поддержка HTTP/REST для конфигурации и мониторинга; • Интеграция с MQTT для стриминга метрик и событий; • Реализация на языке C с сохранением производительности оригинального pgpool-II; • Распространяется под открытой лицензией PostgreSQL. https://www.pgelephant.com/pgbalancer

🚀 Удобный инструмент для миграции схем PostgreSQL pgschema — это CLI утилита, которая упрощает процесс миграции схем в PostgreSQL, используя декларативный подход, похожий на Terraform. Она позволяет создавать, редактировать и применять изменения к схемам, обеспечивая контроль над миграциями без необходимости в дополнительных таблицах. 🚀 Основные моменты: - Декларативное управление схемами PostgreSQL - Поддержка всех основных объектов и версий PostgreSQL - Генерация плана миграции с предварительным просмотром изменений - Прямое взаимодействие с файлами схем и базой данных без временных БД 📌 GitHub: https://github.com/pgschema/pgschema #go

🚀 Современный ORM и генератор SQL для C++20 sqlgen — это типобезопасный ORM и генератор SQL, вдохновленный SQLAlchemy и Diesel. Он обеспечивает компоновку запросов с проверкой типов на этапе компиляции и защитой от SQL-инъекций, что делает его идеальным для создания надежных ETL-пайплайнов. 🚀Основные моменты: - 🔒 Компиляция с проверкой схем таблиц и запросов - 🛡️ Защита от SQL-инъекций с параметризованными запросами - 🔄 Удобный интерфейс для составления сложных запросов - 🚀 Высокая производительность с пакетными операциями - 📦 Поддержка PostgreSQL и SQLite 📌 GitHub: https://github.com/getml/sqlgen #cpp

⚡️ Pytest совет: экономим время на тестах с большими данными Если в тестах используется тяжёлый датасет, важно правильно выбрать scope для фикстуры. ❌ По умолчанию (`scope="function"`) данные будут загружаться заново для каждого теста. Это тратит ресурсы и замедляет выполнение. ✅ С scope="session" датасет загружается один раз и переиспользуется во всех тестах. Это ускоряет процесс и снижает нагрузку. Используйте session scope для больших и неизменяемых данных, чтобы тесты работали быстрее и стабильнее.

🔍 Marker — инструмент от Datalab.to, который быстро и точно превращает документы в Markdown + JSON Что умеет Marker: - Поддержка PDF, изображений, PPTX, DOCX, XLSX, HTML, EPUB и др. - Форматирует таблицы, формы, уравнения, математические выражения, ссылки, кодовые блоки. - Извлекает изображения из документов. - Убирает колонтитулы, заголовки, другие артефакты форматирования. - Есть бета-версия для “структурированного извлечения” на основе схемы JSON. - Можно включить LLM-модуль, чтобы повысить точность в сложных местах (например, объединение таблиц, корректное форматирование). Преимущества: - Быстрота + точность по сравнению с конкурентами (Mathpix, Llamaparse и др.). - Работает и без LLM, но с флагом --use_llm становится ещё лучше. - Можно запускать локально, на серверах, GPU / CPU, использовать параллельную обработку. Ограничения и нюансы: - Сложные макеты и вложенные таблицы / формы ещё не всегда обрабатываются идеально. - Иногда требуется OCR, особенно если PDF плохо “разложен” на текст. Кому полезно: - Тем, кто работает с научными статьями, отчётами, бухгалтерскими документами, презентациями и хочет автоматизировать преобразование в читаемый формат. - Для RAG-pipelines, документации и любых задач, где надо извлечь структуру и контент. https://github.com/datalab-to/marker