Backend

🤔 Что такое git ? Это распределённая система контроля версий, разработанная Линусом Торвальдсом в 2005 году. Она предназначена для отслеживания изменений в исходном коде во время разработки программного обеспечения. Git позволяет нескольким разработчикам работать над одним и тем же проектом одновременно, не опасаясь потерять работу или перезаписать изменения друг друга. 🚩Основные понятия и функции 🟠Репозиторий (Repository) Это хранилище для проекта, в котором хранятся все файлы и история их изменений. 🟠Коммит (Commit) Зафиксированный снимок текущего состояния файлов в репозитории. Коммиты образуют историю изменений проекта. 🟠Ветвь (Branch) Отдельная линия разработки. Ветви позволяют параллельно работать над разными функциями или исправлениями без вмешательства в основную кодовую базу. 🟠Слияние (Merge) Процесс объединения изменений из одной ветви в другую. Обычно используется для интеграции новых функций или исправлений из отдельных ветвей в основную ветвь. 🟠Клон (Clone) Создание копии удалённого репозитория на локальной машине разработчика. 🟠Форк (Fork) Создание копии чужого репозитория (обычно на платформе вроде GitHub) для внесения собственных изменений без воздействия на оригинальный проект. 🟠Запрос на слияние (Pull Request или Merge Request) Запрос на включение изменений из одной ветви в другую, часто используемый в коллаборативных платформах (например, GitHub, GitLab). 🟠Ремот (Remote) Удалённый репозиторий, который может быть связан с локальным репозиторием. Основные команды взаимодействуют с ним для синхронизации данных. 🚩Основные команды 🟠git init Создание нового локального репозитория. 🟠git clone [URL] Клонирование удалённого репозитория на локальную машину. 🟠git add [файл/папка] Добавление изменений в индекс (стадия подготовки к коммиту). 🟠git commit -m "Сообщение" Создание коммита с заданным сообщением. 🟠git status Проверка состояния файлов в рабочем каталоге и индексе. 🟠git log Просмотр истории коммитов. 🟠git branch Управление ветвями (создание, просмотр, удаление). 🟠git checkout [ветка/коммит] Переключение между ветвями или возврат к определённому коммиту. 🟠git merge [ветка] Слияние указанной ветки с текущей. 🟠git pull Получение изменений из удалённого репозитория и слияние с текущей веткой. 🟠git push Отправка изменений из локального репозитория в удалённый. Ставь 👍 и забирай 📚 Базу знаний

🤔 Когда ROC AUC будет плохо определять качество классификатора ? ROC AUC (Receiver Operating Characteristic - Area Under Curve) является популярной метрикой для оценки качества бинарного классификатора. Однако, в некоторых ситуациях использование ROC AUC может быть неэффективным или вводящим в заблуждение. 🟠Сильно несбалансированные данные При сильном дисбалансе классов, где один класс существенно преобладает над другим, ROC AUC может давать завышенные оценки качества модели. Это происходит потому, что ROC AUC учитывает как истинно положительные, так и ложно положительные сработки, но при этом не всегда отражает способность модели предсказывать редкий класс. 🟠Различная стоимость ошибок Если ошибки различных типов (ложно положительные и ложно отрицательные) имеют разную стоимость, ROC AUC может неадекватно отражать качество модели. В таких случаях более подходящей метрикой может быть Precision-Recall Curve или специфическая метрика, учитывающая стоимость ошибок. 🟠Малое количество положительных примеров При малом количестве положительных примеров (класса 1), ROC AUC может стать менее надежной, так как небольшое изменение в предсказаниях может существенно повлиять на значение метрики. В таких случаях Precision-Recall Curve и PR AUC могут предоставить более надежную оценку. 🟠Нестабильность при малых выборках Может быть нестабильной и сильно зависеть от конкретного набора данных, особенно при небольших выборках. Это может привести к значительным колебаниям в оценках качества модели.

    
        import numpy as np
import pandas as pd
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import roc_auc_score, precision_recall_curve, auc

# Создание несбалансированного набора данных
X, y = make_classification(n_samples=1000, n_features=20, n_informative=2, n_redundant=10,
                           n_clusters_per_class=1, weights=[0.99], flip_y=0, random_state=42)

# Разделение на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Обучение модели логистической регрессии
model = LogisticRegression()
model.fit(X_train, y_train)

# Предсказание вероятностей
y_scores = model.predict_proba(X_test)[:, 1]

# Вычисление ROC AUC
roc_auc = roc_auc_score(y_test, y_scores)

# Вычисление Precision-Recall AUC
precision, recall, _ = precision_recall_curve(y_test, y_scores)
pr_auc = auc(recall, precision)

print(f"ROC AUC: {roc_auc}")
print(f"Precision-Recall AUC: {pr_auc}"){}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Чем отличаются LEFT JOIN от INNER JOIN? Это два типа соединений (joins) в языке SQL, которые используются для объединения строк из двух или более таблиц на основе связанных столбцов. Основное различие между ними заключается в том, какие строки включаются в результирующий набор данных. 🚩INNER JOIN Возвращает только те строки, которые имеют совпадающие значения в обеих таблицах, участвующих в соединении. Возвращает строки, где существует совпадение значений в обоих таблицах. Если нет совпадающих значений, строка не будет включена в результирующий набор.

    
        SELECT Employees.name, Departments.department_name
FROM Employees
INNER JOIN Departments ON Employees.department_id = Departments.id;{}
    

🚩LEFT JOIN Возвращает все строки из левой таблицы (первой таблицы в запросе) и соответствующие строки из правой таблицы. Если в правой таблице нет совпадающих строк, в результирующем наборе будут NULL значения для столбцов правой таблицы. Возвращает все строки из левой таблицы и соответствующие строки из правой таблицы. Если в правой таблице нет соответствия, возвращаются NULL значения для правой таблицы.

    
        SELECT Employees.name, Departments.department_name
FROM Employees
LEFT JOIN Departments ON Employees.department_id = Departments.id;{}
    

🚩Сравнение 🟠INNER JOIN Возвращает только совпадающие строки. Если нет совпадений, строки не включаются в результат. 🟠LEFT JOIN Возвращает все строки из левой таблицы. Включает совпадающие строки из правой таблицы. Если нет совпадений, строки из правой таблицы будут заполнены NULL значениями. Ставь 👍 и забирай 📚 Базу знаний

🤔 Какие бывают ограничения в Базе Данных? Это правила, которые применяются к данным в таблице для обеспечения точности и целостности данных. Эти ограничения помогают управлять данными и предотвращать вставку или обновление неверных данных. Вот основные типы ограничений: 🟠NOT NULL Обеспечивает, что столбец не может содержать NULL значения. Это ограничение гарантирует, что данные всегда будут присутствовать в этом столбце.

    
        CREATE TABLE employees (
    emp_id INT,
    name VARCHAR(100) NOT NULL
);{}
    

🟠UNIQUE Обеспечивает, что все значения в столбце или группе столбцов уникальны. Это ограничение предотвращает дублирование данных.

    
        CREATE TABLE employees (
    emp_id INT UNIQUE,
    email VARCHAR(100) UNIQUE
);{}
    

🟠PRIMARY KEY Сочетает в себе ограничения NOT NULL и UNIQUE. Обеспечивает уникальную идентификацию каждой строки в таблице. В таблице может быть только один первичный ключ.

    
        CREATE TABLE employees (
    emp_id INT PRIMARY KEY,
    name VARCHAR(100) NOT NULL
);{}
    

🟠FOREIGN KEY Обеспечивает ссылочную целостность между таблицами. Столбец с внешним ключом (или группа столбцов) ссылается на первичный ключ или уникальный ключ в другой таблице.

    
        CREATE TABLE departments (
    dept_id INT PRIMARY KEY,
    dept_name VARCHAR(100)
);

CREATE TABLE employees (
    emp_id INT PRIMARY KEY,
    name VARCHAR(100) NOT NULL,
    dept_id INT,
    FOREIGN KEY (dept_id) REFERENCES departments(dept_id)
);{}
    

🟠CHECK Обеспечивает, что значения в столбце соответствуют заданному условию. Это ограничение проверяет данные при вставке или обновлении.

    
        CREATE TABLE employees (
    emp_id INT,
    name VARCHAR(100),
    salary DECIMAL(10, 2),
    CHECK (salary > 0)
);{}
    

🟠DEFAULT Устанавливает значение по умолчанию для столбца, если при вставке строки значение для этого столбца не указано.

    
        CREATE TABLE employees (
    emp_id INT,
    name VARCHAR(100),
    hire_date DATE DEFAULT CURRENT_DATE
);{}
    

🟠INDEX Создает индекс на один или несколько столбцов таблицы для ускорения поиска данных. Хотя индекс не является ограничением в строгом смысле, он помогает оптимизировать запросы к базе данных.

    
        CREATE INDEX idx_name ON employees(name);{}
    

Пример создания таблицы с различными ограничениями

    
        CREATE TABLE employees (
    emp_id INT PRIMARY KEY,
    name VARCHAR(100) NOT NULL,
    email VARCHAR(100) UNIQUE,
    dept_id INT,
    salary DECIMAL(10, 2) CHECK (salary > 0),
    hire_date DATE DEFAULT CURRENT_DATE,
    FOREIGN KEY (dept_id) REFERENCES departments(dept_id)
);{}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Каким образом можно найти "медленный запрос" и проанализировать его в PostgreSQL? 🚩Методы и инструменты. 🟠Включение журналирования медленных запросов Настройка параметров конфигурации PostgreSQL для журналирования медленных запросов позволяет отслеживать запросы, выполнение которых занимает много времени. 1⃣Откройте файл конфигурации PostgreSQL (postgresql.conf). 2⃣Настройте следующие параметры:

    
        # Включить логирование всех запросов
log_statement = 'all'

# Либо логирование только медленных запросов
log_min_duration_statement = 1000  # Логировать запросы, выполнение которых заняло более 1000 мс (1 секунда){}
    

3⃣Перезапустите сервер PostgreSQL для применения изменений:

    
        sudo systemctl restart postgresql{}
    

🟠Использование инструмента `pg_stat_statements` Расширение pg_stat_statements позволяет собирать статистику по выполненным запросам и предоставляет информацию о частоте, времени выполнения и других характеристиках запросов. 1⃣Включите расширение в postgresql.conf:

    
        shared_preload_libraries = 'pg_stat_statements'{}
    

2⃣Перезапустите сервер PostgreSQL:

    
        sudo systemctl restart postgresql{}
    

3⃣Создайте расширение в нужной базе данных:

    
        CREATE EXTENSION pg_stat_statements;{}
    

4⃣Используйте запрос для получения информации о медленных запросах:

    
        SELECT
  query,
  calls,
  total_time,
  mean_time,
  stddev_time,
  rows,
  min_time,
  max_time
FROM
  pg_stat_statements
ORDER BY
  total_time DESC
LIMIT 10;{}
    

🟠Анализ запросов с помощью `EXPLAIN` и `EXPLAIN ANALYZE` Команды EXPLAIN и EXPLAIN ANALYZE позволяют понять, как PostgreSQL планирует и выполняет запросы, предоставляя детальную информацию о плане выполнения. 1⃣Выполните команду EXPLAIN для запроса:

    
        EXPLAIN SELECT * FROM my_table WHERE id = 1;{}
    

2⃣Выполните команду EXPLAIN ANALYZE для запроса:

    
        EXPLAIN ANALYZE SELECT * FROM my_table WHERE id = 1;{}
    

3⃣Анализируйте выходные данные, чтобы понять, какие операции занимают больше всего времени (например, полное сканирование таблицы, узкие места при соединении таблиц и т.д.). 🟠Использование системных представлений и утилит pg_stat_activity: Показывает текущую активность базы данных, включая выполняемые запросы и их состояние.

    
        SELECT
  pid,
  usename,
  state,
  query,
  now() - query_start AS duration
FROM
  pg_stat_activity
WHERE
  state != 'idle'
ORDER BY
  duration DESC;{}
    

pg_locks: Отображает информацию о текущих блокировках в базе данных.

    
        SELECT * FROM pg_locks;{}
    

1⃣Индексы: Убедитесь, что для часто используемых условий WHERE и JOIN существуют соответствующие индексы. 2⃣Переписывание запросов: Попробуйте переписать запросы для улучшения их производительности. 3⃣Материализованные представления: Используйте материализованные представления для часто выполняемых сложных запросов. 4⃣Конфигурация сервера: Настройте параметры конфигурации PostgreSQL для оптимизации производительности (например, work_mem, shared_buffers, maintenance_work_mem). Ставь 👍 и забирай 📚 Базу знаний

🤔 В чем разница между SQL lite и Express SQL? Это две разные системы управления базами данных (СУБД), каждая из которых имеет свои уникальные особенности, применения и случаи использования. 🟠Архитектура SQLite Встраиваемая СУБД: SQLite - это библиотека, которая встраивается непосредственно в приложение. Она не требует отдельного сервера для работы. Без сервера: Работает без необходимости запуска серверного процесса, что упрощает установку и настройку. Файловая система: Все данные хранятся в одном файле базы данных на диске. SQL Server Express Серверная СУБД: SQL Server Express - это урезанная версия Microsoft SQL Server, требующая установки и запуска серверного процесса. Клиент-серверная архитектура: Клиенты подключаются к серверу базы данных через сеть. Разделенные файлы данных и логов: Данные и логи хранятся в отдельных файлах. 🟠Производительность и масштабируемость SQLite Легковесная и быстрая: Подходит для приложений с небольшими или средними объемами данных и низкими требованиями к многопользовательскому доступу. Ограниченная многопользовательская поддержка: Поддерживает ограниченное количество одновременных пользователей, так как блокировки осуществляются на уровне файла. SQL Server Express Масштабируемость: Подходит для приложений с высокими требованиями к производительности и поддерживает значительное количество одновременных пользователей. Многопользовательская поддержка: Обеспечивает управление многопользовательским доступом и параллельностью транзакций. 🟠Функциональные возможности SQLite: Основные возможности SQL: Поддерживает основные команды SQL, такие как SELECT, INSERT, UPDATE, DELETE. Ограниченные возможности: Отсутствие многих расширенных функций, таких как триггеры, хранимые процедуры, сложные типы данных и транзакции с несколькими заявлениями. SQL Server Express: Расширенные возможности: Поддержка триггеров, хранимых процедур, полнотекстового поиска, транзакций и других продвинутых функций. Ограничения по сравнению с полной версией: SQL Server Express имеет ограничения по объему базы данных (до 10 ГБ на одну базу данных) и по использованию ресурсов (до 1 ГБ ОЗУ и 1 процессор). 🟠Установка и развертывание SQLite: Простота установки: Не требует установки, просто включается как библиотека в приложение. Легкость развертывания: Так как данные хранятся в одном файле, перемещение базы данных сводится к копированию этого файла. SQL Server Express: Требует установки: Необходимо установить серверную часть, что может включать несколько шагов настройки. Администрирование: Требует определенного уровня администрирования для настройки безопасности, резервного копирования и восстановления данных. 🟠Случаи использования SQLite: Мобильные приложения: Часто используется в мобильных приложениях (например, Android и iOS) для локального хранения данных. Встроенные системы: Подходит для встроенных систем и IoT устройств. Прототипирование и тестирование: Удобен для быстрого создания прототипов и тестирования. SQL Server Express: Веб-приложения: Хорошо подходит для небольших веб-приложений и сервисов, особенно на платформе Windows. Настольные приложения: Используется в настольных приложениях, требующих мощной базы данных. Учебные цели: Часто используется в образовательных целях для обучения работе с SQL Server. Ставь 👍 и забирай 📚 Базу знаний

🤔 Что такое чистый код? Это понятие в программировании, обозначающее код, который легко читать, понимать и поддерживать. Принципы чистого кода помогают разработчикам создавать качественные и устойчивые к изменениям программы. Вот основные характеристики и принципы чистого кода: 🚩Основные характеристики чистого кода 🟠Читаемость Код должен быть понятным и легким для чтения другими разработчиками. Имена переменных, функций и классов должны быть осмысленными и описательными. 🟠Простота Код должен быть простым и ясным, избегая излишней сложности. Это делает его более понятным и легким в поддержке. 🟠Последовательность Следование единому стилю кодирования и соглашениям по наименованию. Это упрощает чтение и понимание кода. 🟠Минимум избыточности Избегание дублирования кода, что способствует его упрощению и уменьшению ошибок. 🟠Модульность Разделение кода на независимые модули или компоненты, которые можно разрабатывать, тестировать и поддерживать отдельно. 🟠Тестируемость Код должен быть легким для тестирования. Хорошо написанный код обычно легко покрыть юнит-тестами. 🚩Принципы чистого кода 🟠Именование Имена переменных, функций и классов должны быть осмысленными и описывать их назначение.

    
        int age; // Понятно, что переменная хранит возраст{}
    

🟠Функции Функции должны быть короткими и выполнять одну задачу.

    
             void calculateAndPrintTotal() {
         int total = calculateTotal();
         printTotal(total);
     }{}
    

🟠Комментарии Комментарии должны объяснять, почему был написан определенный код, а не что он делает. Хорошо написанный код должен быть самодокументируемым.

    
        // Calculate the total price including tax
int totalPrice = calculateTotalPrice();{}
    

🟠Форматирование Единый стиль форматирования делает код более читабельным. Используйте отступы, пробелы и пустые строки для улучшения структуры кода.

    
             if (isValid) {
         process();
     } else {
         handleError();
     }{}
    

🟠Обработка ошибок Обработка ошибок должна быть понятной и не загромождать основной код.

    
             try {
         processFile(file);
     } catch (IOException e) {
         logError(e);
     }{}
    

🟠Магические числа и строки Избегайте использования магических чисел и строк. Вместо этого используйте константы с осмысленными именами.

    
        static final int MAX_USERS = 100;{}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Назови четыре уровня изоляции транзакций? 🚩Уровни изоляции 🟠Read Uncommitted (Чтение незафиксированных данных) Транзакция может читать данные, измененные другой транзакцией, даже если та еще не зафиксирована. Грязные чтения, неповторимые чтения и фантомные чтения. Редко используется на практике из-за высокого риска неконсистентных данных. 🟠Read Committed (Чтение зафиксированных данных) Транзакция видит только те изменения, которые были зафиксированы другими транзакциями. Незафиксированные изменения не видны. Неповторимые чтения и фантомные чтения. Широко используется, обеспечивает баланс между производительностью и консистентностью данных. 🟠Repeatable Read (Повторяемое чтение) Гарантирует, что если транзакция повторно читает данные, она получит те же самые значения, даже если другие транзакции изменяют данные. Фантомные чтения. Используется, когда требуется более высокий уровень консистентности данных, но допускаются фантомные чтения. 🟠Serializable (Сериализуемый) Обеспечивает максимальный уровень изоляции. Транзакции выполняются так, как если бы они были сериализованы, то есть последовательно. Нет. Обеспечивает наивысшую консистентность данных, но может значительно снижать производительность из-за блокировок и задержек. 🚩Аномалии 🟠Грязное чтение (Dirty Read) Происходит, когда транзакция читает данные, измененные другой транзакцией, которая еще не зафиксирована. Уровень Read Uncommitted допускает эту аномалию. 🟠Неповторимое чтение (Non-repeatable Read) Происходит, когда транзакция читает те же данные несколько раз и получает разные значения из-за фиксации изменений другой транзакцией. Уровни Read Committed и выше предотвращают грязные чтения, но Read Committed допускает неповторимые чтения. 🟠Фантомное чтение (Phantom Read) Происходит, когда транзакция выполняет одно и то же запрос несколько раз и видит разные наборы строк из-за вставки, обновления или удаления данных другой транзакцией. Уровень Repeatable Read предотвращает неповторимые чтения, но допускает фантомные чтения. Уровень Serializable предотвращает все три аномалии. Ставь 👍 и забирай 📚 Базу знаний

🔥Стажировки и вакансии для IT специалистов - Вакансии которых нет на джоб-агрегаторах - Только прямые контакты HR в Telegram 🤖 ML & DS 👩‍💻 DevOps 👨‍✈️ ИБ & OSINT 👣 Go 👩‍💻 Mobile 👩‍💻 C# 👩‍💻 Node.js 👩‍💻 Python 🔎 QA 👩‍💻 Java 👩‍💻 UX/UI 👩‍💻 Frontend 🖼️ PHP 📋 Analyst 💼 1C 🖥 SQL 👩‍💻 IT HR Пока другие листают джоб-сайты — ты уже пишешь HR в Telegram.

🤔 В чем разница char и varchar в SQL ? Это два типа данных в SQL, которые используются для хранения строковых данных. Основные различия между ними касаются способа хранения данных и управления памятью. 🚩`CHAR` (Fixed-length Character Data) 🟠Фиксированная длина CHAR(n) хранит строки фиксированной длины n. Если строка короче, она дополняется пробелами до указанной длины. 🟠Использование памяти Использует фиксированное количество памяти, равное указанной длине n, независимо от фактической длины строки. 🟠Производительность Может быть быстрее в некоторых случаях, так как длина строк фиксирована и известна заранее, что упрощает управление памятью. 🟠Пример использования Подходит для хранения данных, которые всегда имеют одинаковую длину, например, коды стран, идентификаторы и т.д.

    
        CREATE TABLE example (
    fixed_char CHAR(10)
);{}
    

🚩`VARCHAR` (Variable-length Character Data) 🟠Переменная длина VARCHAR(n) хранит строки переменной длины, где n — это максимальная длина строки. Реальная длина строки определяется по количеству символов в ней. 🟠Использование памяти Использует только столько памяти, сколько необходимо для хранения фактической длины строки, плюс дополнительные байты для хранения информации о длине строки. 🟠Производительность Может быть менее эффективным в некоторых случаях по сравнению с CHAR, так как длина строки не фиксирована и требует дополнительной обработки для управления памятью. 🟠Пример использования Подходит для хранения данных, длина которых может варьироваться, например, имена, адреса, описания и т.д.

    
        CREATE TABLE example (
    variable_char VARCHAR(50)
);{}
    

Ставь 👍 и забирай 📚 Базу знаний