Инженерообязанный🫡 | Блог Дата Инженера

❗️ Кто хочет на BootCamp?

Кому интересн наш мощнейший BootCamp, пройдите опрос!

ПРОЙТИ ОПРОС

Прикинем сколько людей действительно хотят попасть.

Для тех, кто еще не знает, у нас есть уже отдельный чат на 700 человек!

А вот про сам BootCamp

▶️GIT | Теория на пальцах + Практика с джентельменским набором▶️

Ну что, как вчера и обещал, записал я видос по системе GIT для RoadMap'a.

Если вкратце, я постарался рассказать про джентельменский набор из основных команд, которые будут занимать у Вас 95% всей работы с гитом.

Плюс ко всему, я показываю практику на основе архитектуры, настигающего BootCamp'а, так что уже сейчас в практической части Вы можете заценить проделанную нами работу🫡

🎆У меня прям сегодня праздник 🎆

Мои первые 100 тысяч просмотров на 😘, меньше, чем за год. Прям очень круто, и всё это благодаря Вам. 💪

Завтра, в честь такого события, я сделаю видос в рамках обучения по Roadmap'у, связанный с системой контроля версий Git.

Покажу и расскажу исключительно то, что нужно обязательно знать начинающему спецу, без всяких заумных слов + запалю чистичку инфры предстоящего буткемпа. А именно, на практике покажу, как нужно будет настраивать работу и как же без создания первого Pull Request'а в главную ветку репозитория.😎

🔴 Заходим на СОЗВОН!

Ссылка на встречу

Обсуждаем BootCamp

🔴 Сегодня объявляется общий сбор NUMBER-ONE в 20:00 МСК

На повестке дня:

⏺Сценарий Bootcamp'a(интенсива);
⏺Проблемы в рабочих процессах;
⏺Как не палиться, что ты "самозванец";
⏺и многое другое.

Ссылка встречу

Мы на финальной стадии создания детища, без лишней воды и лирики. Только самые нужные инструменты и слова. Ты можешь делать с ним всё, что захочешь, допускать уйму ошибок и на этих же ошибках учиться.

Мы готовы подготовить тебя, ко всем часто встречаемым задачам Инженера Данных. И ведь именно от этой подготовки будет зависеть, тяжело тебе будет на первых порах или нет.

Не проходи мимо. Мы ждём именно тебя!

▶️Обновление курса(RoadMap) на версию 2.2▶️

В этом видео:

⏺Полностью переработана информация по ClickHouse;
⏺Добавлен Docker compose распределённого ClickHouse (2 шарды 2 реплики);
⏺Новый соавтор курса — Penguin Grisha;
⏺Добавлена страница с кейсами оптимизации и полезными плюшками при работе с GreenPlum;
⏺Полностью переработана общая информация по индексам баз данных;
⏺Добавлены новые вопросы с собеседований по разным темам(смотреть по обновлению каталога);

Плюс ко всему:

Мы совместно с Женей Виндюковым(Я - Дата Инженер), запускаем собственный BootCamp(Интенсив) по профессии Инженер данных. Об этом я тоже рассказывают в данном видео, поэтому все кто уже изучил Python и SQL и не знает, что делать дальше, милости просим в ➡чат, где вы можете ознакомиться с нашим предложением и предложить свои идеи!

Если у тебя есть идеи, предложения, обратная связь и т.д., можешь написать, как в комментариях под этим постом⬇️, так и в личку — либо➡ мне, либо ➡Евгению! Мы всегда ЗА рациональные идеи!

▶️Обновление курса(RoadMap) на версию 2.2▶️

В этом видео о RoadMap'e:

⏺Полностью переработана информация по ClickHouse;
⏺Добавлен Docker compose распределённого ClickHouse (2 шарды 2 реплики);
⏺Новый соавтор курса — Penguin Grisha;
⏺Добавлена страница с кейсами оптимизации и полезными плюшками при работе с GreenPlum;
⏺Полностью переработана общая информация по индексам баз данных;
⏺Добавлены новые вопросы с собеседований по разным темам(смотреть по обновлению каталога);

Плюс ко всему:

Мы совместно с Женей Виндюковым(Я - Дата Инженер), запускаем собственный BootCamp(Интенсив) по профессии Инженер данных. Об этом я тоже рассказывают в данном видео, поэтому все кто уже изучил Python и SQL и не знает, что делать дальше, милости просим в ➡чат, где вы можете ознакомиться с нашим предложением и предложить свои идеи!

Если у тебя есть идеи, предложения, обратная связь и т.д., можешь написать, как в комментариях под этим постом⬇️, так и в личку — либо➡ мне, либо ➡Евгению! Мы всегда ЗА рациональные идеи!

#соБЕСики

🔖Вакансия: Data Engineer
🔖Компания: "Лига Цифровой Экономики" на проект Альфа банка
🔖Сколько просил: максимально 300 тыс. рублей на руки
🔖Месяц прохождения собеседования: Май 2025
🔖Формат работы: Удаленка\Гибрид\Офис
🔖Оформление: ТК
🔖Требования вакансии:

Требование очень простые, есть 2 основных инструмента PySpark и AirFlow, уметь работать на них.

🔖Стек:

ClickHouse, Kafka, PySpark, S3, AirFlow

🔖Этапы собеседований:

Техничка(1 час)

🔖Процесс прохождения:

C HR было все легко и просто, вот стек, го завтра на собес. И я пошел.

Техничка проходила на каком-то растоманском уровне, тихо, спокойно и все смеялись, реально не хватало на фоне музыки Боба Марли "don't worry be happy". Атмосфера собеса была реально прикольная, мне зашло.

Чисто спрашивали по тому, что у меня написано в резюме и по опыту. Было от силы ну может с пяток технических вопросов, все остальные вопросы были связаны с тем, как построены процессы на работе, но прям очень подробно общались на эту тему(сыряк, батч, стримит, CI\CD, построение витрин и т.д.) и на тему как выстроены процессы общения между командой и заказчиками(проблемные вопросы, получения кредов, заполение конфлюенса и т.д.).

🔖Вопросы технического собеседования:

⏺Назови топ 5 советов по оптимизации запросов
⏺Что будет если написать в Python:

a = 10
del a

⏺Что делает сборщик мусора;
⏺В чем различия изменяемы и неизменяемых типов данных;


🔖Итоговое мнение:

Собес, как и сами собеседники, был(и) приятный(ыми). Собес полностью опирался на мой опыт и то что я написал в резюме. В целом мне было кайфово, но тут стоит заменить, хоть в стеке и указано 5 технологий, на самом деле есть возможность поработать с лютейшим зоопарком.

Дополнение:

Забыл сказать, кроме того что у них зоопарк, у них к беклоге 2000 открытых задач, которые нужно делать. Думаю горящий пердак с дедлайнами, тут 100% обеспечен🥲

#соБЕСики

🔖Вакансия: Data Engineer
🔖Компания: "Лига Цифровой Экономики" на проект Альфа банка
🔖Сколько просил: максимально 300 тыс. рублей на руки
🔖Месяц прохождения собеседования: Май 2025
🔖Формат работы: Удаленка\Гибрид\Офис
🔖Оформление: ТК
🔖Требования вакансии:

Требование очень простые, есть 2 основных инструмента PySpark и AirFlow, уметь работать на них.

🔖Стек:

ClickHouse, Kafka, PySpark, S3, AirFlow

🔖Этапы собеседований:

Техничка(1 час)

🔖Процесс прохождения:

C HR было все легко и просто, вот стек, го завтра на собес. И я пошел.

Техничка проходила на каком-то растоманском уровне, тихо, спокойно и все смеялись, реально не хватало на фоне музыки Боба Марли "don't worry be happy". Атмосфера собеса была реально прикольная, мне зашло.

Чисто спрашивали по тому, что у меня написано в резюме и по опыту. Было от силы ну может с пяток технических вопросов, все остальные вопросы были связаны с тем, как построены процессы на работе, но прям очень подробно общались на эту тему(сыряк, батч, стримит, CI\CD, построение витрин и т.д.) и на тему как выстроены процессы общения между командой и заказчиками(проблемные вопросы, получения кредов, заполение конфлюенса и т.д.).

🔖Вопросы технического собеседования:

⏺Назови топ 5 советов по оптимизации запросов
⏺Что будет если написать в Python:

a = 10
del a

⏺Что делает сборщик мусора;
⏺В чем различия изменяемы и неизменяемых типов данных;


🔖Итоговое мнение:

Собес, как и сами собеседники, был(и) приятный(ыми). Собес полностью опирался на мой опыт и то что я написал в резюме. В целом мне было кайфово, но тут стоит заменить, хоть в стеке и указано 5 технологий, на самом деле есть возможность поработать с лютейшим зоопарком.

Дополнение:

Забыл сказать, кроме того что у них зоопарк, у них к беклоге 2000 открытых задач, которые нужно делать. Думаю горящий пердак с дедлайнами, тут 100% обеспечен🥲

#кейсы#ClickHouse_ну_ёпт_опять

Беспокойные ночи с ClickHouse короче.😁

Вот вам кейсик на подумать.🤔

Инфа по кластеру: 2 шарды, 2 реплики.
Инфа по таблице: данных примерно на 500 Гб, распределена по функции rand64(), т.е. случайным образом.
Инфа ко колонкам:
— USER_SK - String
— EVENT_NAME - String
— EVENT_TIME - DateTime
— IS_RETARGETING - Bool

Вот вам первый запрос:

SELECT
            *
FROM CDM.EVENT_APP
QUALIFY ROW_NUMBER() OVER (PARTITION BY USER_SK, EVENT_NAME, EVENT_TIME ORDER BY IS_RETARGETING DESC) = 1

Вот 2й:

SELECT
            *
FROM CDM.EVENT_APP
ORDER BY IS_RETARGETING DESC
LIMIT 1 BY USER_SK, EVENT_NAME, EVENT_TIME

2й запрос выполняется в десятки раз быстрее, чем 1й.

Пишите ваши ответы почему именно 2й вариант в ClickHouse будет быстрее, чем первый🤔

А в целом вот вам и оптимизация запросов в Clickhouse😎