Заскуль питона (Data Science)

Подводим итоги года Чекпоинт перед 2026 годом, поехали смотреть что получилось 🐸 1. Сделал x1.8 по количество подписчиков относительного конца 2024. 2. Получил красный диплом в универе. 3. Сменил работу. 4. Поступил в магистратуру и закрыл первую сессию на отлично. 5. 8к+ контактов в Linkedin. Нетворкаемся! 6. Сделал сайт, на который ежедневно заходят люди и постоянно учатся, меня это заряжает. Кто не видел, заходите, там много всего интересного. 7. Сходил на несколько конференций, обменялся контактами с несколькими ребятами, возможно сделаем что-то совместное. 8. Создал бота, который ежедневно постит всеми любимые мемы. 9. Еще один бот для подготовки к собеседованиям в лайт формате. По статистике я постил ~ 4 поста в неделю (198 постов за год). Это звучит лучше чем в 2024. В прошлом году было 104 поста за год (по 2 поста в неделю). Год пролетел очень быстро ⌛️ Хочу всем пожелать карьерного роста, развития и движения вперёд. Если возникают сложности — пытаться их разруливать, а не откладывать. Спасибо, что читаете меня — это очень ценно ❤️ Планов на 2026 год много, но загадывать не буду. Главное — продолжать делать. Неважно какими шагами, важно не останавливаться. А как прошел ваш год? Делитесь в комментариях P.S: Фотка сделана в Таиланде 🇹🇭 Буду Новый Год проводить тут. Вместо елок любоваться пальмами 🌴 @zasql_python

Бесплатные курсы на Stepik, которые я прохожу / прошел в декабре. Часть 1. Уже 23 дня без перерыва в декабре я решаю по 25+ задач в день для поиска формата, по которому мне бы было приятно учиться. Аналог Duolingo 🚶‍♂️ Параллельно ищу новые области, в которых интересно было развиваться, например, DE. Жестко подсел курсы 🚬... Плюс часто попадаются очень крутые решения задач в одну строку от ребят, которых обычно хейтят на курсах (мое наблюдение). Подборка курсов специально для вас 🔽 ClickHouse с нуля Об этом курсе я уже говорил в предыдущем посте. Если пользуетесь им и хотите понимать как он работает под капотом, Must Have. Я смотрел различные курсы по SQL для практики (чтобы потом можно было давать задачи на собесах, ну и в тонусе себя держать, конечно 🐸). На каком-то из них останавливаться не буду, просто прикольно для себя прорешать. Первый, второй У кого есть нестандартные задачи по SQL присылайте в комментарии 🍪🍪 Векторная алгебра с Numpy Здесь говорится про то, как работать с векторами (линейные операции, нормы, проекции, базис и тд). Курс сам по себе хороший, но описание задач иногда утомляет, хотя теория расписана классно. Может быть не мой формат, но почитайте ниже задачу. Пример задачи:

Давным-давно в землях математических жил был коварный злодей - Разделитель. Он любил разделять числа пробелами, чтобы затруднить жизнь простым смертным...

Попал в сказку короче 😂 MLops. Начало Я уже раньше на курсах проходил MLFlow, с Airflow работаю постоянно, поэтому открытий не свершилось. Курс хороший, здесь можно научиться поднимать необходимое окружение для ML-экспериментов и версионировать свои результаты. Самое оно. Планирую делать вторую часть с подборкой курсов, ставьте 🐳, если ждете! Пишите, какие курсы сами проходили и какие нравятся до сих пор) @zasql_python

⚡️Пошаговый план: как получить оффер на аналитика в 2026 году? Ребята, приглашаю на бесплатный вебинар, где Андрон Алексанян - эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Это прям 100% классное событие для тех кто только зашел в аналитику и для тех, кто хочет в нее зайти в ближайшее время. Особенно если вы не понимаете, какие навыки действительно важны или боитесь, что без опыта вас не возьмут на работу. Кстати тут разберут и возрастной аспект: как стать аналитиком в 30/40/50 лет и т.д. На вебинаре будет: 🟠Разберем полный роадмап: что учить, в каком порядке, до какого уровня; 🟠Структура хорошего портфолио с примерами; 🟠Что говорят реальные наниматели - какие у них сейчас требования:

— Покажем реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание; — Обсудим какие отклики работают, а какие сразу отправляют в корзину; — Изнанка найма: инсайдерский взгляд на процессы отбора

🟠 Практические техники для новичков: разберём, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях. 🕗 По классике для ребят - в конце будет новый бонус, который поможет бустануть вашу карьеру, так что смотрите до конца! 😶Зарегистрироваться на бесплатный вебинар

Как бороться с переобучением в ML Считаете вы значит свои данные на тренировочных данных, качество хорошее, нужно внедрять в прод. Смотрите на тестовых — все плохо. Достаточно понятное объяснение: модель подстроилась под тренировочные данные. Чем это грозит? Когда будем получать новые данные, модель не сможет адекватно интерпретировать нашу реальность, из-за чего будем страдать. Неадекватные прогнозы, плохое обобщение модели, неверные решения для бизнеса, убытки. В общем, все хорошо приемлемо 👨‍⚖️

Вся эта борьба по сути, управление bias–variance tradeoff: либо модель слишком простая, либо слишком подгоняется под шум.

Что можно с этим сделать 1. Больше качественных данных. Взять больше выборку, предобработать лучше. Минусы: не всегда есть эти данные. Возможно, мы уже взяли те самые 100% на которых мы обучаем 👀. У меня в магистратуре есть курс по предподготовке и анализу данных. Считаю его одним из самых важных. Об этом напишу в следующих постах. 2. Регуляризация. Модель может штрафовать за сложность. Чем проще модель, тем меньше она запоминает шум в данных. Без нее модель может выучить все подряд. Почитать можно тут, все хорошо объяснено. Практически всегда стоит начинать со включенной регуляризации, если понимаете за что каждый из видов отвечает. 3. Уменьшить сложность модели. Несмотря на то, что могут быть более мощные модели, они имеют свойство переобучаться. Например, для деревьев можно ограничить глубину. Попробовать сократить количество фичей и использовать более простую модель 🤔 4. Замерять качество на валидационном датасете. Сравнивать качество на тренировочных и тестовых данных, а дальше тюнить в зависимости от обнаружения проблемы по метрикам качества модели. Про то как работать с кросс-валидацией написано тут 🍪🍪 5. Feature Selection. Определять важные для модели фичи, которые можно будет легко интерпретировать. Лучше использовать 10 хороших фичей, чем 200 случайных. Про простенький вариант на примере Титаника 😮 6. Аугментация и добавление синтетических данных. Можно обмануть алгоритм, добавив шум, предоставить те же семплы данных, но немного измененные. Обычно это подходит для CV и NLP. Например, когда, мы подаем в модель повернутые картинки котиков, искусственно масштабируя датасет. Здесь также можно применить и SMOTE / ADASYN 🙊. Важно: все oversampling / SMOTE только на тренировочной выборке, иначе будет data leakage (утечка данных). О том, что это и как с этим бороться — тут. 7. Раннее прекращение обучения модели. Если качество на валидации перестаёт расти или начинает ухудшаться, обучение стоит остановить. Дальше модель может запоминать только шум. Например, останавливать обучение, если после N итераций качество на валидации не улучшается (как это указано на картинке). Вот здесь неплохо рассказано про то, как проявляется переобучение у разных моделей машинного обучения и не только.

Хорошая модель — это не та, что идеальна на трейне, а та, что стабильно работает на новых данных 🤓

Но все должно быть объяснимо, почему может возникнуть переобучение, проблемные случаи и так далее. Мы же не на Kaggle 🔑, чтобы оптимизировать модели вслепую ради скора, а должны смотреть на все комплексно Что-то забыл? Пишите в комментариях! Ставьте 🤪, если понравился пост! Планирую по 💻 писать больше, так как учусь на него, ну... @zasql_python

Смотрим резюме вместе Пока идут выходные, давайте не будем себя перегружать чем-то сложным. 🥹 Вот вам и мем и практическая польза! Особенно актуально для аналитиков, DS и тех, кто сейчас активно откликается 1. Все что нужно, это прислать сюда свое резюме (именно в этот тред). 2. Предварительно проверьте, чтобы в нем не было ваших личных данных. 3. Подумаем вместе, что можно поправить и на чем сфокусироваться. Посмотрим структуру, фокус, формулировки опыта и то, как вы продаёте себя через цифры. Присылайте, будем интересно подумать и почелленджить, что можно поменять в ваших резюме! Если тут есть ребята HR, помогайте 😍 🤪 Ставьте реакции, делитесь постом с друзьями / коллегами! 😁 Я считаю, что такой разбор может увеличить конверсию в отклик! 😁 Кстати, если вдруг не видели мой пост про составление резюме, читайте тут! 🎄🎄🎄 Если у вас есть Premium, вы можете бустануть канал — это бесплатно и занимает 3 секунды. Нам совсем чуть-чуть осталось до 10 уровня, хочу поставить НОВОГОДНИЕ ОБОИ @zasql_python

Про @ds_memes Осталось не так много мемов в подборке, но количество постов уже перебито по сравнению с основным каналом. На момент написания поста их 704. Давайте попробуем добить до 1000 подписчиков к НГ, а я буду топовые мемы грузить туда! ❄️ Опыт неплохой. Просто думаю, нужно ли тратить на это время или нет. Кстати, я же обещал рассказать про пайплайн. Все достаточно просто. По классике разработки один питонячий файл main, Procfile, requirements.txt 1. Парсера никакого нет, видео грузятся ручками из различных источников. С картинками просто работать, присылаешь и отправляешь в очередь. Хотя вру, есть, парсер фото из Reddit по темам. 2. Для YouTube, Instagram* свой флоу распаршивания видео. Если с первым все просто, то со вторым — нет. Зашито определенное количество ретраев, после которых выгружалось видео. Методом проб и ошибок удалось подобрать оптимальное количество, чтобы видео еще не стояло в очереди. 3. Между постами есть интервал времени. Время для публикации поста внутри промежутка выбирается рандомно. 4. Любой формат загружается в сервис и дальше встает в очередь (картинка разных форматов, видео из разных источников и так далее). 5. Данные хранятся в SQLite. Если пост выложен, из базы он удаляется. Я деплоил также, как и сайт, кому интересно, пишите в комментариях. Можно было это сделать и бесплатно, но я решил на единой квоте Railway все масштабировать. Можно было сделать проще, но это мое. Что-то недавно деплоили? Если нет, то что бы хотели? Какой-то инструмент, который бы упростил жизнь? Ставьте реакции, пишите комментарии! *Признана экстремистской организацией и запрещена на территории РФ @zasql_python

👀 Я заметил одну штуку: сейчас в аналитике решает не кто знает больше, а кто быстрее и качественнее делает нормальный результат.

Постоянно нужно двигаться в бешеном темпе, закрывая потребности бизнеса, чтобы расти как по карьерной лестнице, так и по скиллам, которые необходимы аналитику в современное время.

Не накидать табличку за 15 минут, а сделать быстро + качественно, чтобы это помогало принимать решения 🤟 К этому относится: 1. Четко понять постановку задачи (а она почти всегда кривая, так как заинтересованные стороны не всегда знают, чего хотят). 🐸 2. Правильно собрать датасет/разрезы. Данных в бизнесе много, нужно понять, что способно закрыть твою задачу и ответить на бизнес-вопрос. 3. Быстро проверить гипотезы. Для того чтобы конкурировать с другими участниками рынка — компаниям нужно экспериментировать быстро. Но тут дело не только в скорости, но и в качестве. 4. Сделать выводы так, чтобы их можно было забрать в работу бизнесу. Про это я еще напишу более подробно в постах, смотрите дальше 🦜 И вот тут многие упираются не в инструменты, а в то, что нет системы. Удивительно, правда? 🤗 Учишься кусками: тут статья, там курс, тут видос — и вроде что-то умеешь, но всё равно долго и хаотично 🤯 Поэтому поделюсь: Changellenge >> Education обновили курс “Аналитик данных”. Что меня понравилось по структуре: 1. Больше практики и кейсов. Обычно заученный материал забывается часто, если не оставить после себя артефакт. 2. На выходе портфолио из 21 кейса (6 командных + 15 индивидуальных). При найме ценятся сделанные кейсы, только все равно нужно стараться выделяться, делать что-то новое. 3. Добавили отдельную часть про нейросети как рабочий инструмент: воркшопы/мастер-классы и базу как пользоваться адекватно — чтобы быстрее проходить workflow аналитика (от постановки до вывода), а не генерить текст ради текста. Короче, это про скилл, который сейчас реально монетизируется: делать аналитику так, чтобы у заказчиков не оставалось вопросов. Не посчитать цифру, а показать логику и допущения, объяснить почему именно эти данные и разрезы, проверить альтернативные гипотезы и упаковать вывод так, чтобы его можно было сразу брать в решение. 🎁 Новогодний оффер По моей индивидуальной ссылке + промокоду ZASQLPYTHON2026 — доп. скидка 15 000 ₽ на курс + бесплатная консультация по программе до конца декабря. Ссылка: https://clck.ru/3Qtfjf Оставь заявку по ссылке — получи бесплатную консультацию и пойми, как за 2–3 месяца собрать портфолио кейсов и выйти на первые собесы аналитиком. @zasql_python

Старый советский метод для… ClickHouse Сосед поделился методом, все в шоке…

Когда я работал в OZON 💙, мне было интересно разбираться в том, как работают под капотом методы, строить сложные пайплайны

В этом посте будет подборка материалов по ClickHouse, понимание инфраструктуры, функций и так далее. 1. Курс на Stepik Недавно на него наткнулся, он бесплатный. Тут есть база того, как работает ClickHouse под капотом, а это всегда плюс. Рассказывается про движки, функции, реплики, структуры данных. Советую, но нужно для себя явно вести учет того, что проходите, так как большая часть курса — это теория + вопросы с одним вариантом ответа. Заметил, что самый длинный вариант по количеству символов с большей вероятностью является верным 😂. Чтобы это все не превращалось в лудоманию, советую выделить себе пару часов на прохождение нескольких курсов 👌 2. Документация Важная тема, учитывая, что функций очень много. Здесь можно и ChatGPT заюзать, если нужно быстро реализовать задачу. Главное, чтобы Deprecated функции не советовал, а то будет беда кластеру, если он не готов... 😮 🤪 Кстати, если наберется много реакций, сделаю раздел на сайте с основными функциями ClickHouse 🤪 3. Чат Тут покрыты практически все кейсы работы с этой СУБД (от настройки конфигов, обработки ошибок до синтаксиса). Чат больше для DE. Перед входом настоятельно рекомендую открыть форточку 🪟 Кстати, было приятно увидеть ссылки на запросы сотрудников Яндекса, очень популярный чат, но не NDA 👍 4. Песочница Clickhouse Недавно нашел для себя этот сайт, кстати, писал об этом в Linkedin. Тут можно поиграться с основным синтаксисом на примере разных таблиц + посмотреть запросы для изучения функций. 5. Памятка по ClickHouse Тут практически весь сахар синтаксиса с запросами, даже работа с мониторингом с помощью системных логов. Много полезной и годной инфы. Конечно, чуть-чуть оформление поехало, но ничего страшного 😐 Пока не начал проходить этот курс от Яндекс Cloud. Понравилось, что сразу написали про разреженные индексы, работу с кластерами в Знакомстве с ClickHouse, поэтому ожидаю, что курс будет неплох. 📺 Здесь можно посмотреть про работу с массивами, так как сам Кликхаус плохо работает с джойнами. Вообще работа со структурами в ClickHouse очень важна и заслуживает отдельного поста. 📺 А тут про то, как разогнать ClickHouse (видео с конференции) 🌍 Здесь лежит плейлист серии видео, я так полагаю, это курс по ClickHouse 🔽 А как вы изучали Clickhouse? Что смотрели? Делитесь в комментариях 🔽 Кстати, упаковка соды по-новогоднему выглядит 🎅 @zasql_python

80% задач аналитики может уходить в стол по моим ощущениям Встречал много аналитиков, команд, которые делали сложные, как им казалось, задачи, но не получали отклика со стороны бизнеса. 🙊 У меня было такое в одной из компаний, в которой работал. Сделал сложную инфраструктурную (как мне казалось) задачу, но не получил отклика от руководства. Конечно же, я расстроился, так как не понимал в чем дело. Проблема тут в презентации результатов, продажи своих идей бизнесу, ну и конечно же в необходимости СЕЙЧАС. Если у вас нет процесса взаимодействия продукта и аналитики, пора задуматься. 🔽 В качестве решения можно попробовать 1. Внедрить процесс планирования по спринтам, чтобы бизнес понимал как нагружена аналитика и что она делает. Самый простой вариант, но, оказывается, не у всех компаний есть. Это самое верхнеуровневое, что можно сделать. 2. Раз в n недель встречи по презентации исследований, наработок, которые помогут бизнесу в принятии решений. Бывает такое, что продакты между собой редко коммуницируют, из-за чего зачастую один или два продакта определяют полезность исследования. Чем больше лиц узнает об этом, тем выше вероятность, что дальнейшее исследование можно будет реализовать в продукте. Не нужно такого: сделал задачу и погнал, дальше сами как-то. Пусть руководитель мной гордится, что я такой крутой и закрыл вовремя все задачи 😂 3. Раз в какое-то время просматривать вместе с продуктом метрики, чтобы видеть точки роста и понимать контекст. Полезная практика: смотреть вместе с бизнесом на одни и те же метрики, объясняя причину роста / падения, чтобы это не превращалось в бесконечное количество задач 😏 4. Если задача инфраструктурная: синковаться с отделом аналитики, чтобы понимать насколько решение задачи поможет в текущих реалиях. Может быть вместо инфраструктурных решений нужно заняться написанием документации по основным метрикам / процессам и так далее 🥺 ⚠️ Кстати, а еще есть команды, которые ПРОСТО ЗАБИВАЮТ ресурсы аналитики, чтобы не простаивали, авось понадобится. Такое себе, правда? Здесь как раз и нужно критическое мышление: а нужна ли нам эта задача сейчас? на что она потенциально может повлиять? А у вас есть такое чувство, что решенные задачи не используются бизнесом? Делитесь своими кейсами, интересно почитать. Если наберется 100 🤪, расскажу какие курсы сейчас прохожу. @zasql_python