Data Science | Вопросы собесов

🤔 Как систематическая ошибка и дисперсии связаны между собой? Высокая систематическая ошибка (bias) уменьшает сложность модели, но снижает точность, а высокая дисперсия (variance) приводит к переобучению. Баланс между ними важен для оптимальной работы модели. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Если говорить про бизнес, что лучше выбрать линейную модель или дерево? Выбор между линейной моделью и деревом решений зависит от нескольких факторов: 🟠Линейная модель - Данные имеют линейные зависимости между признаками и целевой переменной. - Модель должна быть интерпретируемой (например, в финансовой сфере, где важна прозрачность решений). - Требуется быстрая работа, особенно на больших данных. - Данные не слишком сложные, без сильных взаимодействий между признаками. 🟠Дерево решений - Данные имеют сложные, нелинейные зависимости. - Важна автоматическая обработка пропущенных значений и отсутствие необходимости масштабировать данные. - Нужно учитывать взаимодействия между признаками (например, если один признак влияет на результат только при определённом значении другого признака). - Интерпретация менее важна, но важна высокая точность. 🚩Примеры 🟠Линейная модель: прогноз продаж по цене Допустим, у нас есть зависимость: чем выше цена, тем ниже продажи. Можно использовать линейную регрессию:

    
        from sklearn.linear_model import LinearRegression

X = [[10], [20], [30], [40]]  # Цена товара
y = [1000, 800, 600, 400]     # Продажи

model = LinearRegression()
model.fit(X, y)

print(model.predict([[25]]))  # Прогнозируем продажи при цене 25{}
    

🟠Дерево решений: кредитный скоринг Допустим, банк решает, выдавать ли кредит. У клиента есть признаки: доход, возраст, наличие задолженности. Взаимодействия сложные, например: - Если у человека низкий доход и есть задолженность, то отказ. - Если высокий доход, но был просроченный кредит, нужно учитывать другие факторы.

    
        from sklearn.tree import DecisionTreeClassifier

X = [[25, 30000, 0], [40, 60000, 1], [35, 80000, 0], [50, 50000, 1]]  # Возраст, доход, задолженность
y = [0, 0, 1, 1]  # 0 - отказ, 1 - одобрение

model = DecisionTreeClassifier()
model.fit(X, y)

print(model.predict([[30, 70000, 0]]))  # Прогноз для нового клиента{}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Назови формулу линейной модели. Формула линейной модели имеет вид: `y = w0 + w1 * x1 + w2 * x2 + ... + wn * xn`, где `y` — это предсказанная величина, `x1, x2, ..., xn` — входные переменные (признаки), а `w0, w1, ..., wn` — коэффициенты (веса), которые модель подбирает во время обучения. `w0` представляет собой свободный член (смещение или bias). Цель линейной регрессии — найти такие значения весов, которые минимизируют ошибку предсказания. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

Тютю-гребень или капикрыса? Побалуйте себя роскошью от Ричарда Сапогова или утепляйтесь с культовой рубашкой Инженера. Выбирайте фаворитов из коллекции с персонажами Антона Лапенко. Перейти на сайт #реклама tbank.ru О рекламодателе

🤔 Что такое median? Это статистическая мера центральной тенденции, которая представляет собой значение, делящее упорядоченный набор данных на две равные части. То есть, половина значений набора данных будет меньше медианы, а другая половина – больше. В отличие от среднего значения (mean), медиана менее чувствительна к выбросам и экстремальным значениям, что делает её полезной в случае асимметричных распределений данных или данных с выбросами. 🚩Как вычислить 🟠Для нечетного количества наблюдений Если количество наблюдений (n) нечетное, медиана – это среднее значение в упорядоченном наборе данных. Пример: Набор данных: [3, 1, 4, 2, 5] Упорядоченный набор: [1, 2, 3, 4, 5] Медиана: 3 (среднее значение) 🟠Для четного количества наблюдений Если количество наблюдений (n) четное, медиана – это среднее арифметическое двух средних значений в упорядоченном наборе данных. Пример: Набор данных: [3, 1, 4, 2] Упорядоченный набор: [1, 2, 3, 4] Медиана: (2 + 3) / 2 = 2.5 🚩Плюсы ➕Устойчивость к выбросам Медиана менее подвержена влиянию экстремальных значений по сравнению со средним арифметическим. ➕Справедливое представление В случаях, когда данные имеют асимметричное распределение, медиана может лучше представлять центральную тенденцию, чем среднее арифметическое. 🚩Примеры применения 🟠Доходы населения В исследованиях доходов медиана часто используется вместо среднего, поскольку доходы могут быть сильно искажены очень высокими значениями. 🟠Недвижимость Для оценки средней стоимости жилья медиана является полезным показателем, так как она не подвержена влиянию чрезвычайно дорогих или дешевых объектов недвижимости. 🟠Медицина В медицинских исследованиях медиана может использоваться для описания типичных значений биологических показателей, таких как уровень холестерина или артериального давления, в группе пациентов. Пример вычисления медианы на Python

    
        import numpy as np{}
    

Пример с нечетным количеством элементов

    
        data_odd = [3, 1, 4, 2, 5]
median_odd = np.median(data_odd)
print(f"Медиана для нечетного количества элементов: {median_odd}"){}
    

Пример с четным количеством элементов

    
        data_even = [3, 1, 4, 2]
median_even = np.median(data_even)
print(f"Медиана для четного количества элементов: {median_even}"){}
    

Ставь 👍 и забирай 📚 Базу знаний

🤔 Почему считается, что случайный лес не переобучается? Считается, что случайный лес не склонен к переобучению, потому что он усредняет предсказания большого количества деревьев решений, каждое из которых обучается на случайной подвыборке данных и случайных признаках. Этот процесс помогает уменьшить влияние отдельных переобученных деревьев на финальное предсказание. В результате модель становится более устойчивой к ошибкам и шуму в данных. Кроме того, случайный лес не сильно зависит от малозначимых признаков, так как случайные выборки уменьшают их влияние. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Какие есть детекторы и архитектуры в cv ? Существует множество детекторов и архитектур для задач обнаружения и распознавания объектов. Вот некоторые из наиболее популярных и широко используемых детекторов и архитектур: 🟠HOG (Histogram of Oriented Gradients) Это метод, основанный на вычислении и нормализации гистограмм направленных градиентов в локальных областях изображения. Он используется для обнаружения объектов на основе их формы и контуров. Применение: Обнаружение пешеходов, транспортных средств и других объектов. 🟠Детектор Хаара Метод, основанный на использовании каскадных классификаторов Хаара. Вычисляет простые характеристики, такие как разница в интенсивности между соседними областями изображения. Применение: Обнаружение лиц и других объектов. 🟠DPM (Deformable Parts Model) Метод, который разбивает объект на части и использует деформируемую модель для определения взаимного расположения частей. Применение: Обнаружение сложных объектов, таких как животные и транспортные средства. 🚩Современные глубокие архитектуры 🟠R-CNN (Region-Based Convolutional Neural Networks) Извлекает предложенные регионы (Region Proposals) с использованием метода Selective Search, а затем использует сверточную нейронную сеть (CNN) для классификации каждого региона. Архитектуры R-CNN: Использует CNN для классификации предложенных регионов. Fast R-CNN: Улучшенная версия, которая ускоряет процесс обучения и предсказания за счет использования ROI Pooling. Faster R-CNN: Включает сеть предложений регионов (RPN), что позволяет получать предложения регионов непосредственно из CNN. Mask R-CNN: Расширение Faster R-CNN для задач сегментации объектов, добавляющее предсказание масок объектов.

    
        from torchvision import models

# Загрузка предобученной модели Faster R-CNN
model = models.detection.fasterrcnn_resnet50_fpn(pretrained=True)
model.eval()

# Пример использования модели для обнаружения объектов
import torch
from PIL import Image
from torchvision import transforms as T

# Преобразование изображения
def transform_image(image_path):
    image = Image.open(image_path).convert("RGB")
    transform = T.Compose([T.ToTensor()])
    return transform(image).unsqueeze(0)

# Пример изображения
image_path = "example.jpg"
image = transform_image(image_path)

# Предсказание
with torch.no_grad():
    predictions = model(image)

print(predictions){}
    

🟠YOLO (You Only Look Once) Разделяет изображение на сетку и предсказывает bounding boxes и вероятности классов для каждой ячейки сетки. Обучается end-to-end, что делает его очень быстрым. Архитектуры: YOLOv1: Первая версия YOLO. YOLOv2 (YOLO9000): Улучшенная версия с поддержкой большого числа классов. YOLOv3: Добавляет несколько масштабов детекции для улучшения точности. YOLOv4 и YOLOv5: Дальнейшие улучшения в скорости и точности.

    
        import torch

# Загрузка предобученной модели YOLOv5
model = torch.hub.load('ultralytics/yolov5', 'yolov5s')

# Пример изображения
image_path = "example.jpg"

# Предсказание
results = model(image_path)

# Отображение результатов
results.show(){}
    

Ставь 👍 и забирай 📚 Базу знаний

Зачем тратить время и деньги ...на десяток приложений для работы, если есть Битрикс24? Бесплатный онлайн-сервис для совместной работы и бизнеса. ✨Всё нужное здесь, и вот как это работает: внутри одного окна все обсуждения, задачи, встречи, видеозвонки, диалоги с AI-помощником и даже с внешними командами в Коллабах. Команда оценит. Регистрируйтесь и приглашайте всех Зарегистрироваться #реклама 16+ bitrix24.ru О рекламодателе

🤔 Как работает градиентный спуск? Градиентный спуск работает путём вычисления частных производных функции ошибки по параметрам модели и обновления параметров в направлении, которое уменьшает ошибку. На каждой итерации вычисляется градиент, указывающий, в каком направлении и насколько нужно изменить параметры модели. Если градиент положительный, параметры уменьшаются, а если отрицательный — увеличиваются. Процесс продолжается до тех пор, пока функция ошибки не достигнет локального минимума или не завершится заданное количество шагов. Ставь 👍 если знал ответ, 🔥 если нет Забирай 📚 Базу знаний

🤔 Как строится дерево ? Это процесс разделения данных на подгруппы, который продолжается до тех пор, пока данные в каждой подгруппе не станут относительно однородными или не будет достигнут предопределённый критерий остановки. Деревья решений используются в машинном обучении как для задач классификации, так и для регрессии. Процесс создания дерева решений включает в себя ряд ключевых шагов: 🚩Выбор атрибута для разделения данных На каждом шаге дерева алгоритм выбирает атрибут, который лучше всего разделяет набор данных на подгруппы, соответствующие целевым значениям. Критерий выбора зависит от задачи (классификация или регрессия) и может включать такие метрики, как прирост информации, коэффициент Джини, или снижение дисперсии. 🟠Прирост информации Используется для задач классификации и рассчитывается как разница между энтропией до разделения и ожидаемой энтропией после разделения по данному атрибуту. 🟠Коэффициент Джини Также применяется в задачах классификации для оценки чистоты разделения. Меньший коэффициент Джини указывает на лучшее разделение. 🟠Снижение дисперсии Часто используется для задач регрессии. Атрибут для разделения выбирается на основе того, как сильно он уменьшает дисперсию ответов в данных. 🚩Разделение данных Исходный набор данных разделяется на подгруппы в соответствии с наилучшими разделяющими атрибутами. Этот процесс повторяется рекурсивно для каждой полученной подгруппы. 🚩Критерий остановки Разделение данных продолжается, пока не будет достигнут один из следующих критериев остановки: Все элементы в узле принадлежат к одному классу. Не осталось атрибутов, по которым можно разделить данные. Достигнута максимальная глубина дерева. Количество элементов в узле меньше заданного порога.

    
        from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split

# Загрузка данных
data = load_iris()
X = data.data
y = data.target

# Разделение данных на обучающую и тестовую выборки
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# Создание модели дерева решений
tree = DecisionTreeClassifier(max_depth=3, random_state=42)

# Обучение модели
tree.fit(X_train, y_train)

# Визуализация дерева
from sklearn.tree import plot_tree
import matplotlib.pyplot as plt

plt.figure(figsize=(20,10))
plot_tree(tree, filled=True, feature_names=data.feature_names, class_names=data.target_names)
plt.show(){}
    

Ставь 👍 и забирай 📚 Базу знаний