Data Science | Вопросы собесов

🤔 Как работает градиентный спуск? Градиентный спуск работает путём вычисления частных производных функции ошибки по параметрам модели и обновления параметров в направлении, которое уменьшает ошибку. На каждой итерации вычисляется градиент, указывающий, в каком направлении и насколько нужно изменить параметры модели. Если градиент положительный, параметры уменьшаются, а если отрицательный — увеличиваются. Процесс продолжается до тех пор, пока функция ошибки не достигнет локального минимума или не завершится заданное количество шагов. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Как работает having? HAVING используется для фильтрации результатов агрегатных функций в запросах, где присутствует GROUP BY. В отличие от оператора WHERE, который фильтрует строки до применения агрегации, HAVING применяется после агрегации. Это делает HAVING идеальным инструментом для фильтрации результатов на основе агрегированной информации. 🚩Принцип работы 🟠Выборка данных Сначала SQL выполняет выборку данных из таблицы (или таблиц) в соответствии с указанными в запросе критериями (FROM и WHERE). 🟠Группировка данных Данные группируются по указанному в GROUP BY критерию. Если GROUP BY отсутствует, то все данные рассматриваются как одна группа. 🟠Применение агрегатных функций На этом этапе к каждой группе данных применяются агрегатные функции (например, SUM(), AVG(), MAX(), MIN(), COUNT()). 🟠Фильтрация результатов агрегации После группировки и агрегации HAVING фильтрует результаты. Это означает, что HAVING может использовать результаты агрегатных функций для фильтрации групп, что невозможно сделать с помощью WHERE. Допустим, у нас есть таблица sales с полями product_id, sale_date, и amount. Мы хотим найти продукты, которые заработали более 1000 долларов в общей сумме продаж.

    
        SELECT product_id, SUM(amount) as total_sales
FROM sales
GROUP BY product_id
HAVING SUM(amount) > 1000;{}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Почему считается, что случайный лес не переобучается? Считается, что случайный лес не склонен к переобучению, потому что он усредняет предсказания большого количества деревьев решений, каждое из которых обучается на случайной подвыборке данных и случайных признаках. Этот процесс помогает уменьшить влияние отдельных переобученных деревьев на финальное предсказание. В результате модель становится более устойчивой к ошибкам и шуму в данных. Кроме того, случайный лес не сильно зависит от малозначимых признаков, так как случайные выборки уменьшают их влияние. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Как оценивать эффективность работы рекомендательных моделей? Оценка эффективности рекомендательных моделей делится на точностные и ранговые метрики. 🚩Точностные метрики 🟠RMSE (Среднеквадратичная ошибка) Формула

    
        RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}{}
    

Пример

    
        from sklearn.metrics import mean_squared_error
import numpy as np

y_true = np.array([4, 3, 5, 2])
y_pred = np.array([3.8, 2.9, 5.1, 2.2])
rmse = np.sqrt(mean_squared_error(y_true, y_pred))
print(f'RMSE: {rmse}')     {}
    

🟠MAE (Средняя абсолютная ошибка) Формула

    
        MAE = \frac{1}{n} \sum_{i=1}^{n} |y_i - \hat{y}_i|{}
    

Пример

    
        from sklearn.metrics import mean_absolute_error

y_true = np.array([4, 3, 5, 2])
y_pred = np.array([3.8, 2.9, 5.1, 2.2])
mae = mean_absolute_error(y_true, y_pred)
print(f'MAE: {mae}')     {}
    

🚩Ранговые метрики 🟠Precision@K и Recall@K Precision@K: Доля релевантных элементов среди первых K предложений. Recall@K: Доля найденных релевантных элементов среди всех возможных релевантных. Пример

    
        def precision_at_k(recommended_items, relevant_items, k):
return len(set(recommended_items[:k]) & set(relevant_items)) / k

def recall_at_k(recommended_items, relevant_items, k):
return len(set(recommended_items[:k]) & set(relevant_items)) / len(relevant_items)

recommended_items = [1, 2, 3, 4, 5]
relevant_items = [3, 4, 5, 6, 7]
k = 3

print(f'Precision@{k}: {precision_at_k(recommended_items, relevant_items, k)}')
print(f'Recall@{k}: {recall_at_k(recommended_items, relevant_items, k)}'){}
    

🟠MAP (Средний показатель) Пример

    
        def average_precision(recommended_items, relevant_items):
score = 0.0
num_hits = 0.0
for i, item in enumerate(recommended_items):
if item in relevant_items:
num_hits += 1.0
score += num_hits / (i + 1.0)
return score / len(relevant_items)

def mean_average_precision(recommended_items_list, relevant_items_list):
return np.mean([average_precision(r, t) for r, t in zip(recommended_items_list, relevant_items_list)])

recommended_items_list = [[1, 2, 3, 4, 5], [2, 3, 4, 5, 6]]
relevant_items_list = [[3, 4, 5, 6, 7], [1, 2, 3, 4, 5]]

print(f'MAP: {mean_average_precision(recommended_items_list, relevant_items_list)}'){}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Что такое градиентное затухание? Градиентное затухание (vanishing gradients) — это проблема, когда в глубоких нейросетях градиенты становятся очень малыми при обратном распространении. Это мешает обновлению весов в начальных слоях, и обучение "замирает". Чаще всего возникает в RNN и в сетях с плохой инициализацией или неподходящей функцией активации. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Расскажи о квантизации Квантизация (Quantization) — это процесс приближенного представления данных или параметров модели с меньшей разрядностью (например, перевод 32-битных чисел в 8-битные). Это уменьшает размер модели и ускоряет вычисления, особенно на мобильных устройствах и встраиваемых системах. 🚩Зачем нужна квантизация? 🟠Снижение потребления памяти уменьшает размер модели, что важно для мобильных устройств. 🟠Ускорение вычислений операции с меньшими разрядностями выполняются быстрее. 🟠Оптимизация для аппаратного обеспечения некоторые процессоры (например, TPU, NPU) лучше работают с низкоразрядными числами. 🚩Виды квантизации 🟠Посттренировочная квантизация (Post-Training Quantization, PTQ) Производится после обучения модели. Преобразует веса и (иногда) активации в более низкую разрядность.

    
        import tensorflow as tf

# Загружаем обученную модель
model = tf.keras.models.load_model("model.h5")

# Создаём конвертер для TFLite
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]  # Включаем квантизацию
tflite_model = converter.convert()

# Сохраняем сжатую модель
with open("model_quantized.tflite", "wb") as f:
    f.write(tflite_model){}
    

🟠Квантизация во время обучения (Quantization-Aware Training, QAT) Модель учится с учетом квантизации, что позволяет адаптировать веса.

    
        import torch
import torchvision.models as models
from torch.quantization import quantize_dynamic

# Загружаем модель
model = models.resnet18(pretrained=True)
model.eval()

# Применяем квантизацию
quantized_model = quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

# Сохраняем модель
torch.save(quantized_model.state_dict(), "resnet18_quantized.pth"){}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Как работают несимметрические метрики? Несимметрические метрики в контексте машинного обучения оценивают модель, акцентируя внимание на одном классе или типе ошибки больше, чем на других. Это особенно полезно в случаях, когда стоимость одного типа ошибки значительно выше другого. Примером несимметричной метрики является F1-score, который более чувствителен к классам с меньшим числом образцов или когда важно сбалансировать точность и полноту. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Что такое mean? Это одно из наиболее часто используемых и основных понятий в статистике и математике. Оно представляет собой центральное значение набора данных и используется для описания центральной тенденции этого набора. 🟠Арифметическое среднее (Arithmetic Mean) Сумма всех значений в наборе данных, деленная на количество этих значений. Если у нас есть набор данных \([1, 2, 3, 4, 5]\), то среднее будет:

    
        \text{Среднее} = \frac{1 + 2 + 3 + 4 + 5}{5} = 3{}
    

🟠Взвешенное среднее (Weighted Mean) Среднее значение, где каждому значению присваивается определенный вес, отражающий его важность. Если значения \([1, 2, 3]\) имеют веса \([0.1, 0.3, 0.6]\), то взвешенное среднее будет:

    
        \text{Взвешенное среднее} = \frac{(0.1 \times 1) + (0.3 \times 2) + (0.6 \times 3)}{0.1 + 0.3 + 0.6} = 2.5{}
    

🟠Гармоническое среднее (Harmonic Mean) Среднее значение, используемое для наборов данных, состоящих из скоростей или частот. Для набора данных \([1, 2, 4]\), гармоническое среднее будет:

    
        \text{Гармоническое среднее} = \frac{3}{\frac{1}{1} + \frac{1}{2} + \frac{1}{4}} = 1.714{}
    

🟠Среднее геометрическое (Geometric Mean) Среднее значение, используемое для наборов данных, где важны пропорции. Для набора данных \([1, 2, 4]\), среднее геометрическое будет:

    
        \text{Среднее геометрическое} = \left( 1 \times 2 \times 4 \right)^{\frac{1}{3}} = 2{}
    

🚩Применение 🟠Экономика Средняя зарплата, средний доход. 🟠Образование Средний балл студентов. 🟠Медицина Среднее значение измерений, таких как кровяное давление или уровень сахара в крови. 🟠Бизнес Средние показатели продаж, средняя стоимость товаров. 🚩Важность понимания среднего 🟠Анализ данных Среднее позволяет обобщить и понять большие наборы данных. 🟠Принятие решений Средние значения используются для принятия обоснованных решений в различных областях, таких как маркетинг, финансы и управление. 🟠Сравнение Средние значения позволяют сравнивать различные группы или периоды времени.

    
        import numpy as np
from scipy.stats import hmean, gmean

# Данные
data = [1, 2, 3, 4, 5]

# Арифметическое среднее
arithmetic_mean = np.mean(data)
print(f"Арифметическое среднее: {arithmetic_mean}")

# Взвешенное среднее
weights = [0.1, 0.3, 0.6, 0.4, 0.5]
weighted_mean = np.average(data, weights=weights)
print(f"Взвешенное среднее: {weighted_mean}")

# Гармоническое среднее
harmonic_mean = hmean(data)
print(f"Гармоническое среднее: {harmonic_mean}")

# Геометрическое среднее
geometric_mean = gmean(data)
print(f"Геометрическое среднее: {geometric_mean}"){}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Как валидировать временные ряды? Валидация по времени включает разбиение данных на интервалы с учётом временной последовательности. Методы: time series split (скользящее окно), расширяемое окно или кросс-валидация по времени. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Какие проблемы могут возникнуть при проверке сразу 10 гипотез? При одновременной проверке множества гипотез, например, десяти, возникают специфические статистические проблемы, которые могут влиять на интерпретацию результатов. 🟠Увеличение вероятности ошибок первого рода (ложноположительные результаты) Когда проводится множество тестов, вероятность хотя бы одной ложноположительной ошибки возрастает. Это явление известно как проблема множественных сравнений. Если для каждой гипотезы используется уровень значимости \( \alpha = 0.05 \), то вероятность ложноположительного вывода по крайней мере для одной из десяти гипотез не будет 5%, а значительно выше. При 10 независимых тестах эта вероятность будет приблизительно \( 1 - (1 - 0.05)^{10} = 0.40 \), то есть 40%. 🟠Корректировки для множественных сравнений Для управления увеличенным риском ошибок первого рода часто применяют корректировки. Одна из самых известных — корректировка Бонферрони, которая предполагает деление уровня значимости \( \alpha \) на количество тестов (в данном случае на 10). Это делает критерии для отклонения нулевой гипотезы более строгими, но в то же время увеличивает риск ошибок второго рода (ложноотрицательные результаты), когда истинные эффекты не обнаруживаются. 🟠Увеличение вероятности ошибок второго рода При использовании корректировок, таких как Бонферрони, уровень значимости каждого индивидуального теста становится строже, что может привести к уменьшению мощности статистического теста. Это означает, что некоторые истинные эффекты могут не быть обнаружены. 🟠Зависимость тестов Проблемы множественных сравнений усугубляются, если тесты не являются полностью независимыми. В таких случаях простые корректировки типа Бонферрони могут быть либо слишком строгими, либо неадекватными, что требует использования более сложных методов корректировки, таких как метод Холма-Бонферрони или процедура Бенджамини-Хохберга, которые учитывают структуру зависимости между тестами. 🟠Интерпретация результатов Сложность интерпретации результатов возрастает при увеличении количества проверяемых гипотез. Нужно не только учитывать результаты отдельных тестов, но и анализировать их в контексте всех проведённых тестов, особенно в отношении того, как корректировки множественных сравнений могут влиять на общие выводы исследования. Ставь 👍 и забирай 📚 Базу знаний