Python Ready | Программирование

Классификация текстов с помощью TF-IDF и логистической регрессии! Автоматическая классификация текстов — базовая задача NLP. Она используется для фильтрации спама, категоризации обращений в поддержку, анализа отзывов и новостных потоков. Один из надёжных классических подходов — преобразовать текст в числовые признаки через TF-IDF и обучить линейную модель (например, логистическую регрессию). Метод простой, быстрый и часто даёт сильную базовую модель без сложных нейросетей. Установка библиотек:

    
        pip install pandas scikit-learn
{}
    

Импорт модулей:

    
        import pandas as pd

from sklearn.model_selection import train_test_split
from sklearn.pipeline import Pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report
{}
    

Игрушечный учебный датасет. Создадим небольшой учебный набор данных — сообщения с метками спама:

    
        data = pd.DataFrame({
    "text": [
        "Win a free lottery prize now",
        "Limited offer buy today",
        "Meeting scheduled at 10 am",
        "Project report attached",
        "Congratulations you won money",
        "Let's discuss the budget"
    ],
    "spam": [1, 1, 0, 0, 1, 0]
})
{}
    

Целевая переменная spam: 1 — спам, 0 — обычное сообщение.

    
        X = data["text"]
y = data["spam"]
{}
    

Разделение данных на обучающую и тестовую выборки:

    
        X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.33,
    random_state=42,
    stratify=y
)
{}
    

Стратификация сохраняет долю спама в обеих выборках. TF-IDF (Term Frequency — Inverse Document Frequency) превращает текст в вектор признаков: TF отражает частоту терма в документе, IDF снижает вес слов, которые часто встречаются в корпусе. Соберём пайплайн:

    
        model = Pipeline(steps=[
    ("tfidf", TfidfVectorizer(
        lowercase=True,
        stop_words="english"  # для русского нужен другой список/подход
    )),
    ("clf", LogisticRegression(max_iter=1000))
])

model.fit(X_train, y_train)
{}
    

Pipeline гарантирует, что одинаковые преобразования применяются и при обучении, и при предсказании (без утечек и ручных ошибок). Оценка качества:

    
        y_pred = model.predict(X_test)
print(classification_report(y_test, y_pred))
{}
    

Важно: на таком маленьком наборе данных метрики будут нестабильны — это демонстрационный пример. На реальных данных обычно используют кросс-валидацию и отдельную валидационную выборку. Метрики precision, recall и F1 особенно важны в спам-фильтрации, где ошибки разных типов имеют разную стоимость. Пример классификации нового сообщения:

    
        msg = ["You have been selected for a free gift card"]

prediction = model.predict(msg)[0]
prob = model.predict_proba(msg)[0][1]

print("Спам" if prediction == 1 else "Не спам")
print("Вероятность спама:", round(prob, 2))
{}
    

predict_proba возвращает вероятность класса, что позволяет настраивать порог срабатывания фильтра под нужный баланс precision/recall. 🔥 В промышленных системах такие модели часто используются как быстрый первый уровень фильтрации: они обрабатывают поток сообщений в реальном времени и передают сомнительные случаи более сложным моделям или на ручную проверку. 👉 Python Ready | #ml

👨👨👨👨👨👨👨👨👨👨 Каналы с Junior IT вакансиями и стажировками Подписывайся и забирай свой оффер 🤘 1. Стажировки и вакансии по России и миру 2. IT вакансии по СНГ 3. IT стажировки по СНГ 4. ИИ-ассистент для автооткликов 5. IT стажировки и волонтерства 6. IT стажировки в топовых компаниях мира 7. Удалённые IT вакансии и стажировки 8. Python вакансии и стажировки 9. БИГТЕХ вакансии и стажировки 10. Design вакансии и стажировки 11. QA вакансии и стажировки 12. Junior вакансии и стажировки 13. Frontend вакансии и вопросы собесов 14. Вакансии и стажировки для аналитиков 15. Вакансии в русских стартапах за границей 16. Вакансии и стажировки для DevOps 17. Вакансии, которых нет на ХХ.РУ

ElevenReader — нейросеть, которая читает документы за тебя. Она умеет быстро анализировать PDF, книги и большие тексты и превращать их в ответы на вопросы. Это отличный помощник для школьников, студентов или просто тех, кто работает с большими объёмами текста. 📌 Оставляю ссылочку: elevenreader.io 👉 Python Ready | #ресурс

👩‍💻 Реализация простой модели машинного обучения! Реализуется обучение простой модели, позволяющей наглядно понять базовые принципы работы алгоритмов обучения. В этой задаче:

• Используем библиотеку NumPy для численных вычислений и работы с матрицами; • Реализуем итеративное обучение модели на наборе входных данных; • Проследим изменение ошибки и формирование корректных предсказаний; • Разберём ключевые элементы процесса обучения.

Задача формирует фундаментальное понимание машинного обучения, которое лежит в основе систем анализа данных, рекомендаций, прогнозирования и автоматизации. 👉 Python Ready | #задача

8 марта уже на горизонте. Цветы — это база. А что добавим к релизу? Если хочется сделать красивый апгрейд праздника, присмотритесь к дизайнерским игрушкам от Super Toys! Это не только милый сувенир, но и стильные арт-объекты от современных художников и культовых брендов, которые украсят её рабочий стол или полку и будут напоминать о вашем вкусе и внимании гораздо дольше, чем праздничные сторис. Мы собрали специальную праздничную подборку — чтобы вы закрыли задачу по подарку быстро и красиво! Прокачайте 8 марта до версии Pro! Реклама. ООО "НОВЫЕ МЕДИА". ИНН 7813407148. erid: 2W5zFHzK1MT

💡 Мега информативную статью нашел на Хабре: «Трансформер своими руками: с нуля до Numpy реализации и обучения»! В этой статье: • Супер подробный и понятный разбор архитектуры трансформера; • Пошаговая реализация ключевых компонентов — attention, positional encoding, FF-блоков и обучения; • Практический запуск и обучение собственной мини-модели на Python и NumPy.

🔊 Продолжайте читать на Habr!

👉 Python Ready | #статья

☕️ Amazing Python Scripts — большая коллекция практических скриптов на все случаи жизни! В репозитории собраны сотни готовых решений: автоматизация задач, парсеры сайтов, боты, утилиты для работы с файлами, анализ данных, GUI-приложения, инструменты для безопасности и даже проекты с AI. Скрипты охватывают уровень от базового до продвинутого и могут использоваться как готовые инструменты или как примеры для собственных проектов.

Оставляю ссылочку: GitHub 📱

👉 Python Ready | #репозиторий

Поиск аномалий в данных с помощью Isolation Forest (алгоритм обнаружения выбросов)! Обнаружение аномалий — важная задача анализа данных. Необычные значения могут указывать на ошибки измерений, мошенничество, сбои оборудования или редкие критические события. Если заранее неизвестно, какие объекты проблемные, используют методы обучения без учителя. Один из самых популярных — Isolation Forest. В отличие от классических подходов, он не моделирует норму, а изолирует наблюдения с помощью случайных разбиений признаков. Установка библиотек:

    
        pip install pandas scikit-learn{}
    

Импорт библиотек:

    
        import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import IsolationForest
from sklearn.pipeline import Pipeline{}
    

Создадим небольшой искусственный набор данных с показателями работы оборудования. Каждая строка — отдельное измерение, столбцы — сенсорные параметры:

    
        data = pd.DataFrame({
    "temperature": [22, 23, 21, 22, 24, 23, 22, 85],
    "pressure": [101, 100, 102, 101, 99, 100, 101, 60],
    "vibration": [0.3, 0.35, 0.32, 0.31, 0.34, 0.33, 0.30, 2.5]
}){}
    

Первые наблюдения соответствуют нормальной работе оборудования, последняя строка выглядит подозрительно — значения резко отличаются по всем параметрам. Isolation Forest обучается только на признаках и не требует разметки. Масштабирование признаков для него не обязательно (алгоритм основан на деревьях и слабо чувствителен к масштабу), но часто используется для единообразия предобработки в пайплайнах:

    
        model = Pipeline(steps=[
    ("scaler", StandardScaler()),
    ("iso", IsolationForest(
        n_estimators=100,
        contamination=0.1,  # ожидаемая доля аномалий
        random_state=42
    ))
])

model.fit(data){}
    

Параметр contamination задаёт предполагаемую долю аномалий в данных. Модель будет стремиться пометить примерно такую часть объектов как выбросы. Если точное значение неизвестно, его обычно подбирают экспериментально. Получение меток аномалий:

    
        labels = model.predict(data)
data["anomaly"] = labels

print(data){}
    

Каждому объекту присваивается метка: 1 — нормальное наблюдение; -1 — аномалия. При необходимости можно получить не только метки, но и оценку степени аномальности через decision_function. Важно использовать тот же обученный пайплайн. Это гарантирует применение тех же преобразований признаков:

    
        new_point = pd.DataFrame([{
    "temperature": 90,
    "pressure": 55,
    "vibration": 3.0
}])

result = model.predict(new_point)[0]

print("Аномалия" if result == -1 else "Норма"){}
    

🔥 Как работает алгоритм: Isolation Forest оценивает, насколько легко изолировать точку случайными разбиениями признаков в деревьях. Редкие и сильно отличающиеся объекты отделяются быстрее остальных, поэтому считаются аномалиями 🚪 AI Ready | #ml

Собрал чат-бота за вечер → заработал 9 000₽. Так и работают специалисты по чат-ботам: открыл шаблон → собрал бота как конструктор → получил деньги. Инструкция по сборке тут: 👉 @other_digital_bot