Backend

🤔 Как обнаружить самые затратные запросы? Обнаружение самых затратных запросов важно для оптимизации производительности базы данных. Затратные запросы могут потреблять больше ресурсов, чем необходимо, что приводит к увеличению времени выполнения, нагрузке на сервер и замедлению работы системы. Существует несколько подходов и инструментов для выявления таких запросов. 🚩Включение логирования медленных запросов (Slow Query Logging) Многие системы управления базами данных (СУБД) поддерживают логирование запросов, выполнение которых занимает больше определённого времени. 🟠MySQL Используйте slow_query_log. Активировать лог:

    
        SET GLOBAL slow_query_log = 'ON';
SET GLOBAL long_query_time = 1; -- Время выполнения в секундах{}
    

🟠PostgreSQL Включите log_min_duration_statement.

    
        SET log_min_duration_statement = 1000; -- Логировать запросы, выполняющиеся более 1 секунды{}
    

🚩Использование EXPLAIN или ANALYZE Эти команды дают подробный план выполнения запросов, показывая, как база данных интерпретирует их. MySQL

    
        EXPLAIN SELECT * FROM orders WHERE status = 'pending';{}
    

PostgreSQL

    
        EXPLAIN (ANALYZE, BUFFERS) SELECT * FROM orders WHERE status = 'pending';{}
    

🚩Использование системных представлений и мониторинга запросов 🟠MySQL Используйте таблицу performance_schema для анализа запросов.

    
        SELECT * FROM performance_schema.events_statements_summary_by_digest
ORDER BY SUM_TIMER_WAIT DESC LIMIT 10;{}
    

🟠PostgreSQL Используйте расширение pg_stat_statements.

    
        CREATE EXTENSION pg_stat_statements;{}
    

Получите информацию

    
        SELECT query, calls, total_time, mean_time
FROM pg_stat_statements
ORDER BY total_time DESC
LIMIT 10;{}
    

🚩Мониторинг с использованием внешних инструментов 🟠New Relic Проводит анализ SQL-запросов, показывая самые медленные. 🟠Datadog Позволяет отслеживать производительность запросов в реальном времени. 🟠SolarWinds DPA (Database Performance Analyzer) Специализированный инструмент для анализа производительности баз данных. 🚩Оптимизация индексов 🟠MySQL

    
        SELECT * FROM sys.schema_unused_indexes;{}
    

🟠PostgreSQL Проверьте в плане выполнения запросов (EXPLAIN), используются ли индексы. 🚩Нагрузочное тестирование (Load Testing) Используйте нагрузочные тесты, чтобы выявить запросы, создающие "бутылочные горлышки": 🟠Apache JMeter Симулирует многопоточную нагрузку на базу данных. 🟠Gatling Анализирует производительность системы под высокой нагрузкой. 🚩Анализ трассировки запросов Включите трассировку (например, в MySQL — SHOW PROFILE):

    
        SET profiling = 1;
SELECT * FROM orders WHERE status = 'pending';
SHOW PROFILE FOR QUERY 1;{}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Что такое виртуальное окружение? Это изолированная среда для выполнения программного кода, которая позволяет создавать независимые друг от друга пространства для различных проектов. В каждом таком окружении могут быть установлены специфические для проекта зависимости (библиотеки, пакеты), которые не будут пересекаться с зависимостями других проектов. 🚩Зачем нужно 🟠Изоляция зависимостей В разных проектах могут использоваться различные версии одних и тех же библиотек. Виртуальные окружения позволяют избежать конфликтов версий, создавая изолированные пространства для каждого проекта. 🟠Упрощение управления зависимостями Легко установить, обновить или удалить зависимости без риска повлиять на другие проекты. Это особенно полезно при работе над проектами с долгим жизненным циклом, где могут возникать проблемы совместимости. 🟠Повышение безопасности Изоляция окружения помогает ограничить доступ к критически важным системным ресурсам и защищает основную систему от потенциально вредоносного кода. 🟠Удобство разработки и тестирования Виртуальные окружения позволяют разработчикам легко переключаться между проектами и их зависимостями, что упрощает процесс тестирования и отладки. 🟠Совместимость и переносимость Проекты с виртуальными окружениями легче перенести на другие системы или передать другим разработчикам. Достаточно скопировать окружение вместе с проектом, чтобы получить полностью функционирующую копию. 🚩Как используется 🟠venv Встроенный модуль в Python, позволяющий создавать легковесные виртуальные окружения. 🟠virtualenv Более функциональный инструмент, особенно полезный для старых версий Python. 🟠conda Инструмент, который управляет как пакетами, так и виртуальными окружениями, поддерживающий не только Python, но и другие языки программирования. 1⃣Создание окружения Команда для создания нового окружения (например, python -m venv env для venv). 2⃣Активация окружения Команда для активации окружения (например, source env/bin/activate на Unix-подобных системах или .\env\Scripts\activate на Windows). 3⃣Установка зависимостей Использование менеджера пакетов (например, pip) для установки необходимых библиотек. 4⃣Деактивация окружения Команда для выхода из окружения (например, deactivate). Ставь 👍 и забирай 📚 Базу знаний

🤔 Что означает принцип open closed? Принцип "открытости/закрытости" (Open/Closed Principle, OCP) — это один из пяти принципов SOLID, разработанных для создания устойчивого и легко поддерживаемого кода в объектно-ориентированном программировании. Принцип был предложен Бертраном Мейером в 1988 году и заключается в следующем: 🚩Что это означает 🟠Открыты для расширения Поведение класса можно расширить, добавив новый код. Это достигается путем создания новых классов, которые наследуют или композируют существующие классы, или путем использования интерфейсов и абстрактных классов. 🟠Закрыты для модификации Существующий код класса не должен изменяться. Это помогает избежать ошибок, которые могут возникнуть при изменении уже протестированного и проверенного кода. Без соблюдения принципа OCP

    
        public class Shape {
    public void drawCircle() {
        // рисуем круг
    }

    public void drawSquare() {
        // рисуем квадрат
    }
}

public class GraphicEditor {
    private Shape shape;

    public GraphicEditor(Shape shape) {
        this.shape = shape;
    }

    public void draw(String shapeType) {
        if (shapeType.equals("circle")) {
            shape.drawCircle();
        } else if (shapeType.equals("square")) {
            shape.drawSquare();
        }
    }
}{}
    

С соблюдением принципа OCP

    
        public interface Shape {
    void draw();
}

public class Circle implements Shape {
    @Override
    public void draw() {
        // рисуем круг
    }
}

public class Square implements Shape {
    @Override
    public void draw() {
        // рисуем квадрат
    }
}

public class GraphicEditor {
    private Shape shape;

    public GraphicEditor(Shape shape) {
        this.shape = shape;
    }

    public void draw() {
        shape.draw();
    }
}{}
    

🚩Плюсы ➕Повышение гибкости Система становится более гибкой и расширяемой, так как новые функциональности добавляются без изменения существующего кода. ➕Уменьшение количества ошибок Снижается вероятность введения ошибок в существующий код, так как изменения сосредоточены в новых классах. ➕Упрощение тестирования Легче тестировать новые компоненты отдельно, не затрагивая и не изменяя существующие. Ставь 👍 и забирай 📚 Базу знаний

🤔 Что такое rest api? Это архитектурный стиль для создания веб-сервисов, который использует стандартные HTTP методы и принципы для взаимодействия между клиентом и сервером. REST API предоставляет набор операций для создания, чтения, обновления и удаления ресурсов, представленных в виде URL. 🚩Основные принципы REST API 🟠Клиент-серверная архитектура Клиент и сервер отделены друг от друга. Клиент запрашивает ресурсы, сервер обрабатывает запросы и возвращает ресурсы или статус операции. 🟠Бесподсессионное взаимодействие (stateless) Каждое взаимодействие между клиентом и сервером независимое. Сервер не хранит состояние клиента между запросами. Вся необходимая информация для выполнения запроса должна быть предоставлена в каждом запросе. 🟠Кеширование Ответы сервера могут быть кешированы клиентом или промежуточными звеньями (прокси-серверами) для повышения производительности и снижения нагрузки на сервер. 🟠Единый интерфейс (Uniform Interface) Универсальный интерфейс упрощает взаимодействие между клиентом и сервером. Основные методы HTTP (GET, POST, PUT, DELETE) используются для выполнения операций с ресурсами. 🟠Многоуровневая система REST API может быть организован в виде многоуровневой системы, где компоненты выполняют разные задачи (например, балансировка нагрузки, кеширование, защита и т.д.). 🟠Представление ресурсов (Representations) Ресурсы представляются в виде различных форматов (обычно JSON или XML). Клиент и сервер могут договариваться о формате данных через заголовки HTTP (например, Content-Type и Accept). 🚩Основные методы HTTP в REST API 🟠GET Извлечение данных с сервера. Например, получение информации о пользователе. 🟠POST Отправка данных на сервер для создания нового ресурса. Например, создание новой учетной записи пользователя. 🟠PUT Обновление существующего ресурса на сервере. Например, обновление информации о пользователе. 🟠DELETE Удаление ресурса с сервера. Например, удаление учетной записи пользователя. 🟠PATCH Частичное обновление ресурса на сервере. Например, изменение только email пользователя. 🚩Примеры запроса и ответа Запрос на создание нового пользователя (POST /users)

    
        POST /users HTTP/1.1
Host: example.com
Content-Type: application/json
{
    "name": "John Doe",
    "email": "john.doe@example.com"
}{}
    

Ответ на успешное создание пользователя

    
        HTTP/1.1 201 Created
Content-Type: application/json
{
    "id": 1,
    "name": "John Doe",
    "email": "john.doe@example.com"
}{}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Логика предметной области в хранимых процедурах: плюсы и минусы Это исполняемый код (например, SQL-скрипты), который хранится и выполняется непосредственно в базе данных. Разработка бизнес-логики внутри хранимых процедур является спорной практикой. Она имеет как преимущества, так и недостатки в зависимости от требований системы, архитектуры и команды разработки. 🚩Плюсы ➕Повышение производительности Хранимые процедуры выполняются на сервере базы данных, что уменьшает накладные расходы на передачу данных между приложением и базой. Обработка больших объёмов данных становится быстрее, так как нет необходимости отправлять их в приложение и обратно. ➕Централизация бизнес-логики Вся логика предметной области сосредоточена в одном месте (в БД), что облегчает контроль доступа и выполнение важных операций. Удобно для многослойных систем, где несколько клиентских приложений используют одну базу данных. ➕Снижение нагрузки на сетевой канал Вместо передачи большого количества SQL-запросов между сервером базы данных и приложением, выполняется один вызов процедуры. ➕Повышение безопасности Системы могут ограничить доступ к таблицам и предоставить доступ только к хранимым процедурам, что снижает риск несанкционированного доступа. Встроенные механизмы контроля прав доступа (например, в PostgreSQL и Oracle). ➕Языковые возможности БД Современные СУБД поддерживают процедурные языки, такие как PL/pgSQL (PostgreSQL), T-SQL (SQL Server) или PL/SQL (Oracle), которые предоставляют функции, циклы и исключения, что позволяет реализовать сложную логику. ➕Миграция между системами При необходимости переноса части функциональности между разными приложениями (например, Web-приложением и мобильным клиентом) логика в БД остаётся неизменной. 🚩Минусы ➖Сложность поддержки и сопровождения Хранимые процедуры часто сложны для чтения, отладки и тестирования по сравнению с кодом на языке программирования (например, Java, C#, Python). Версионный контроль затруднён, так как БД не всегда удобно интегрируется с системами контроля версий (Git). ➖Жёсткая зависимость от БД Логика, написанная в хранимых процедурах, привязывает систему к конкретной СУБД (например, Oracle или SQL Server). Переход на другую БД становится дорогостоящим и трудоёмким. ➖Отсутствие масштабируемости Сервер базы данных становится "узким местом" системы. Если бизнес-логика выполняется только на сервере БД, это может привести к перегрузке, особенно при высоком трафике. ➖Ограниченные возможности тестирования Инструменты для юнит-тестирования и автоматизированного тестирования хранимых процедур менее развиты, чем для традиционного кода приложений. Тестирование бизнес-логики требует специальной инфраструктуры (например, отдельной тестовой БД). ➖Смешение слоёв архитектуры Внедрение логики в БД нарушает принципы многослойной архитектуры, такие как Separation of Concerns (разделение ответственности). Логика бизнес-уровня смешивается с уровнем данных. ➖Меньшая гибкость разработки Разработка и деплой изменений в хранимых процедурах требуют взаимодействия с базой данных, что замедляет процесс внедрения обновлений. Изменения в хранимых процедурах могут повлиять на производительность всей системы. ➖Зависимость от разработчиков БД Написание и оптимизация хранимых процедур требуют специфических навыков SQL и понимания особенностей СУБД. Не все разработчики владеют этими навыками. 🚩Когда стоит использовать? 🟠Производительность критична Если необходимо минимизировать сетевые вызовы и максимально эффективно обрабатывать большие объёмы данных. 🟠Централизация логики Если бизнес-логика должна быть единой для нескольких клиентов (например, мобильного приложения, веб-сервиса). 🟠Ограничение доступа Если безопасность и контроль доступа являются приоритетом. 🟠Проекты с жёсткой привязкой к БД Например, для старых систем или проектов, где миграция на новую архитектуру невозможна. Ставь 👍 и забирай 📚 Базу знаний

🤔 Что такое HTTP и HTTPs? HTTP (HyperText Transfer Protocol) — это протокол прикладного уровня для передачи гипертекста между клиентом (например, веб-браузером) и сервером. Он является основой для обмена данными в веб-пространстве и используется для передачи HTML-документов, изображений, видео и других ресурсов. 🚩Как работает HTTP 🟠Запрос-ответ HTTP работает по модели запрос-ответ, где клиент отправляет запрос серверу, а сервер возвращает ответ. Запросы и ответы состоят из трех основных частей: Стартовая строка: Определяет метод запроса (например, GET, POST) и URI (Uniform Resource Identifier). Заголовки: Несут метаданные, такие как тип контента, длина контента, информация о сессии и т. д. Тело: Содержит данные, отправляемые в запросе или ответе (например, данные формы, JSON). 🟠Методы HTTP Основные методы включают: GET: Запрашивает данные с сервера. POST: Отправляет данные на сервер для создания или обновления ресурса. PUT: Обновляет существующий ресурс. DELETE: Удаляет ресурс. HEAD: Запрашивает только заголовки без тела ответа. OPTIONS: Запрашивает информацию о возможностях сервера для определенного ресурса. 🟠Статусы ответа Сервер отвечает статусными кодами, которые показывают результат обработки запроса. Например: 200 OK: Запрос успешно обработан. 404 Not Found: Ресурс не найден. 500 Internal Server Error: Внутренняя ошибка сервера. 🚩HTTPS (HyperText Transfer Protocol Secure) HTTPS (HyperText Transfer Protocol Secure) — это расширение HTTP, которое использует шифрование для защиты данных, передаваемых между клиентом и сервером. HTTPS обеспечивает конфиденциальность, целостность и аутентификацию данных. 🚩Как работает HTTPS 🟠Шифрование HTTPS использует протоколы SSL (Secure Sockets Layer) или его более современную версию TLS (Transport Layer Security) для шифрования данных. Это предотвращает перехват и чтение данных третьими лицами. 🟠Аутентификация Серверы, использующие HTTPS, имеют цифровые сертификаты, которые проверяются клиентом. Это гарантирует, что клиент общается с подлинным сервером, а не с мошенником. 🟠Целостность данных Шифрование также обеспечивает целостность данных, предотвращая их изменение или подмену во время передачи. 🚩Как установить HTTPS 1⃣Получение сертификата Для использования HTTPS владелец сайта должен получить цифровой сертификат от доверенного центра сертификации (CA). 2⃣Настройка сервера Установите сертификат на сервере и настройте его для использования HTTPS. 3⃣Перенаправление трафика Обеспечьте перенаправление HTTP-трафика на HTTPS для повышения безопасности. 🚩Преимущества HTTPS ➕Безопасность Защищает данные от перехвата и изменения. ➕Доверие пользователей Пользователи больше доверяют сайтам с HTTPS, что может повысить их активность и лояльность. ➕SEO Поисковые системы, такие как Google, предпочитают сайты с HTTPS, что может улучшить их ранжирование в результатах поиска. Ставь 👍 и забирай 📚 Базу знаний

🤔 Что такое транзакция? Транзакция в контексте баз данных - это последовательность операций, выполняемых как единое целое. Она должна быть полностью выполнена или полностью отменена, чтобы обеспечить целостность и консистентность данных. Основные свойства транзакции определяются набором правил, известных как ACID: 🚩ACID свойства 🟠Atomicity (Атомарность): Транзакция либо выполняется полностью, либо не выполняется вовсе. Если происходит ошибка, все операции транзакции откатываются. Например, в банковской системе перевод денег между счетами требует списания суммы с одного счета и зачисления на другой. Если одна из операций не выполнится, другая также должна быть отменена. 🟠Consistency (Консистентность): После завершения транзакции данные должны оставаться в согласованном состоянии, соответствующем всем определенным правилам и ограничениям. В инвентарной системе при добавлении нового товара должна проверяться допустимость всех значений, таких как положительное количество и правильная категория. 🟠Isolation (Изоляция): Выполнение транзакций изолировано друг от друга, так что параллельные транзакции не влияют на промежуточные состояния друг друга. Если две транзакции пытаются изменить одни и те же данные, одна из них должна завершиться до того, как другая начнет свои изменения, чтобы избежать конфликтов. 🟠Durability (Долговечность): После завершения транзакции её результаты сохраняются даже в случае сбоя системы. Если транзакция по записи данных в базу данных завершилась успешно, данные останутся сохраненными даже после перезагрузки сервера. 🚩Этапы выполнения транзакции 1⃣начало выполнения транзакции. 2⃣Выполняются все необходимые операции (вставка, обновление, удаление и т.д.). 3⃣Если все операции выполнены успешно, изменения фиксируются. 4⃣Если произошла ошибка, все изменения отменяются, возвращая базу данных в исходное состояние. 🚩Применение транзакций 🟠Обеспечивают целостность операций перевода денежных средств. 🟠Гарантируют корректное обновление информации о заказах и инвентаре. 🟠Обеспечивают корректность резервирования мест или ресурсов. Ставь 👍 и забирай 📚 Базу знаний

🤔 Что такое SOAP? Это протокол для обмена структурированными сообщениями в распределённых вычислительных средах. Он основан на XML и используется для передачи данных между различными приложениями через сеть, часто по протоколу HTTP или SMTP. 🚩Основные характеристики 🟠Протокол на основе XML SOAP сообщения формируются в формате XML, что обеспечивает независимость от платформы и языка программирования. 🟠Стандартизованное сообщение SOAP сообщение состоит из обязательных и необязательных элементов: Envelope: Определяет начало и конец сообщения. Header: Опциональный элемент, содержащий метаинформацию о сообщении. Body: Основное содержимое сообщения, включающее данные и команды. Fault: Опциональный элемент для обработки ошибок. 🟠Транспортные протоколы Чаще всего используется с HTTP/HTTPS, но может работать и с другими протоколами, такими как SMTP. 🟠Расширяемость SOAP легко расширяется, позволяя добавлять дополнительные функциональные возможности через заголовки и другие элементы. 🟠Независимость от платформы и языка SOAP может быть использован в любой среде и на любом языке программирования, что обеспечивает высокую совместимость между различными системами.

    
        <soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/" xmlns:example="http://example.com/">
   <soapenv:Header/>
   <soapenv:Body>
      <example:getExampleRequest>
         <example:parameter1>Value1</example:parameter1>
         <example:parameter2>Value2</example:parameter2>
      </example:getExampleRequest>
   </soapenv:Body>
</soapenv:Envelope>{}
    

🚩Плюсы ➕Независимость от платформы и языка SOAP может взаимодействовать с любыми системами, поддерживающими XML и HTTP/SMTP. ➕Строгое соблюдение стандартов SOAP основывается на строгих стандартах, что обеспечивает надежность и предсказуемость взаимодействия. ➕Расширяемость Легко адаптируется для специфических потребностей через расширения и заголовки. ➕Встроенная обработка ошибок Использует элемент Fault для детальной обработки и передачи ошибок. ➕Поддержка сложных операций Подходит для сложных операций и распределённых транзакций. 🚩Минусы ➖Сложность SOAP-сообщения могут быть сложными и громоздкими из-за использования XML. ➖Производительность Использование XML увеличивает объем передаваемых данных, что может снизить производительность. ➖Оверхед Требует дополнительных ресурсов для обработки и передачи XML-сообщений. Ставь 👍 и забирай 📚 Базу знаний

🤔 В чем суть принципа REST? Суть принципа REST (Representational State Transfer) заключается в том, чтобы предоставить простой, масштабируемый и гибкий способ взаимодействия между клиентом и сервером через веб. Основные принципы REST включают: 🟠Клиент-серверная архитектура Клиент и сервер разделены, что позволяет независимое развитие и масштабирование обеих сторон. Клиент делает запросы, а сервер обрабатывает их и возвращает ответы. 🟠Бесподсессионное взаимодействие (stateless) Каждый запрос от клиента к серверу должен содержать всю необходимую информацию для его обработки. Сервер не сохраняет состояние между запросами. 🟠Кешируемость Ответы на запросы могут быть помечены как кешируемые или не кешируемые. Это позволяет клиентам сохранять копии ответов и уменьшать количество запросов к серверу. 🟠Единый интерфейс (Uniform Interface) Определяет единые методы взаимодействия с ресурсами: GET: Получение ресурса. POST: Создание нового ресурса. PUT: Обновление ресурса. DELETE: Удаление ресурса. 🟠Многоуровневая система Архитектура может быть построена из нескольких слоев, что повышает гибкость и возможность кэширования. 🟠Представление ресурсов (Representations) Ресурсы могут представляться в различных форматах (например, JSON, XML). Клиент и сервер договариваются о формате через заголовки HTTP. Ставь 👍 и забирай 📚 Базу знаний

Зарплата 207.000р у Middle-разработчика в Яндекс «В день уходит несколько часов на созвоны, в остальное время закрываю задачки из спринта, редко перерабатываю. У компании топовый офис, но с коллективом как-то не заладилось. Радуюсь классному ДМС и стабильной зарплате» - middle разработчик из Яндекса. Бигтех по-русски - канал с реальными зарплатами и историями IT-специалистов российского БигТеха. Там уже опубликованы рассказы программистов Альфа-банка, Сбера и Тинькофф 🤯 Читайте: @bigtech_russia