Библиотека Java разработчика

🔎 Elasticsearch: Как найти иголку в стоге сена за 10 мс Представьте каталог на 10 миллионов товаров. Пользователь вводит в поиск: "айфон 15 про макс". 🐌 1. Почему SQL здесь бессилен? В реляционной базе (PostgreSQL/MySQL) вы бы написали: SELECT * FROM products WHERE name LIKE '%айфон 15%' В чем проблема? 1. Full Table Scan: База данных не может использовать обычный B-Tree индекс для поиска по части слова (с LIKE '%...'). Ей придется прочитать все 10 миллионов строк на диске, чтобы найти совпадения. Это убьет процессор. 2. Нулевая толерантность к ошибкам: Если пользователь опечатался и написал "айфно", SQL вернет 0 результатов. Бизнес потерял клиента. 3. Нет релевантности: SQL не понимает, какой товар подходит "лучше". Он просто отдает всё, что нашел, по дате добавления. 🧠 2. Инвертированный индекс (Inverted Index) Чтобы искать по тексту мгновенно, умные люди придумали структуру данных, которая работает как алфавитный указатель в конце толстой книги. Вместо того чтобы искать слово на страницах, мы заранее составляем список всех слов и записываем, на каких страницах они встречаются. Пример: У нас есть три товара (Документа): • Doc 1: "Красный телефон Apple" • Doc 2: "Синий чехол для телефона" • Doc 3: "Красный чехол" Инвертированный индекс будет выглядеть так: • красный -> [Doc 1, Doc 3] • телефон -> [Doc 1, Doc 2] • apple -> [Doc 1] • синий -> [Doc 2] • чехол -> [Doc 2, Doc 3] Теперь, если мы ищем "красный телефон", система просто берет списки для этих двух слов: [1, 3] и [1, 2]. Пересечение этих списков - Doc 1. Мы нашли результат за O(1)! Никакого сканирования миллионов строк. 🚀 3. Встречайте Elasticsearch (ES) Elasticsearch - это не просто база данных, это полноценный поисковый движок (написанный на Java поверх библиотеки Apache Lucene). Он хранит данные не в таблицах, а в виде JSON-документов, и автоматически строит инвертированный индекс для каждого текстового поля. 🪄 Магия Elasticsearch: 1. Анализаторы (Стемминг и Лемматизация): Перед тем как положить текст в индекс, ES его обрабатывает. Он приводит слова к базовой форме, убирает окончания и предлоги. • Слова "айфон", "айфону", "айфоном" попадут в индекс как один токен "айфон". 2. Поиск с опечатками (Fuzzy Search): ES использует Расстояние Левенштейна (сколько букв нужно изменить, чтобы получить правильное слово). • Запрос "йафон" автоматически найдет "айфон", потому что разница всего в одну перестановку. 3. Релевантность (Scoring - BM25): ES каждому результату присваивает "Оценку". Чем реже слово встречается во всей базе и чем чаще в конкретном документе, тем выше этот документ будет в выдаче. 🏗️ 4. Как это выглядит в Архитектуре? Важное правило: Elasticsearch не заменяет вашу основную базу данных. ES - это поисковик. Он может потерять данные при сбоях (он оптимизирован на скорость чтения, а не на надежность хранения ACID). Правильный паттерн (CQRS-лайт): 1. "Правда" живет в PostgreSQL. 2. Когда товар добавляется или меняется в Postgres, вы отправляете событие в брокер сообщений (Kafka) или используете CDC (Change Data Capture - например, Debezium), чтобы прочитать логи БД. 3. Специальный воркер берет эти изменения из Kafka и синхронизирует их с Elasticsearch. 4. Фронтенд: за созданием/покупкой товара ходит в Postgres, а за поиском — в Elasticsearch. 🔥 Итог • SQL LIKE - для админок и маленьких таблиц. • Инвертированный индекс - ключ к мгновенному поиску. • Elasticsearch - стандарт индустрии для полнотекстового умного поиска, логов (помните ELK?) и аналитики. #SystemDesign #Elasticsearch #Search #Architecture #HighLoad 📲 Мы в MAX 👉@BookJava

🌍 CDN: Как обмануть скорость света и расстояния CDN (Content Delivery Network / Сеть доставки контента) - это географически распределенная сеть серверов, задача которых - отдавать контент пользователю из максимально близкой к нему точки. 🏢 1. Origin и Edge: Разделение ролей В архитектуре с CDN появляются два новых понятия: • Origin Server (Главный сервер): Это ваш настоящий сервер, где крутится Spring Boot, лежит база данных и хранятся оригиналы всех файлов (например, в Amazon S3). • Edge Servers (Граничные серверы / Точки присутствия - PoP): Это тысячи серверов CDN-провайдера (например, Cloudflare или Akamai), раскиданные по всему земному шару: в Сиднее, Токио, Нью-Йорке, Лондоне, Москве. ⚙️ 2. Как это работает (Cache Hit & Miss) Представьте, что австралийский пользователь впервые запрашивает логотип вашего сайта logo.png. 1. Cache Miss (Промах кэша): Запрос летит на ближайший к нему Edge-сервер в Сиднее. Сервер проверяет свою память и видит: "У меня нет этого файла". 2. Поход на Origin: Edge-сервер сам идет на ваш главный сервер в Германию, скачивает logo.png, сохраняет копию у себя на диске (кэширует) и отдает пользователю. Это было долго (те самые 300 мс). 3. Cache Hit (Попадание в кэш): Через секунду заходит второй пользователь из Сиднея и просит тот же logo.png. Edge-сервер моментально отдает ему файл из своей памяти за 5 миллисекунд. Запрос до Германии даже не доходит! 📦 3. Что кладем в CDN, а что нет? CDN идеально подходит для Статического контента: • Картинки, видео, аудио. • Скомпилированные файлы JavaScript и CSS. • Шрифты. CDN категорически НЕ подходит для Динамического контента: • Баланс банковского счета. • Корзина товаров. • Приватные данные пользователя. • (Запросы к API /api/v1/users/me должны идти напрямую на ваш сервер, минуя кэш CDN). 🛡️ 4. Защита от DDoS Современные CDN (тот же Cloudflare) - это не просто кэш. Это гигантский щит. Если хакеры решат "положить" ваш сайт и отправят миллион запросов в секунду, этот удар примут на себя серверы CDN. Их пропускная способность измеряется терабитами. Они отфильтруют "мусорный" трафик, и ваш маленький Origin-сервер в Германии даже не заметит атаки. 🔥 Итог • Ускорение: Пользователи получают тяжелый контент мгновенно, потому что скачивают его из своего же города. • Экономия: Ваш главный сервер больше не тратит процессорное время и трафик на отдачу терабайтов картинок. Вы платите за сервера меньше. • Безопасность: CDN скрывает реальный IP-адрес вашего сервера и защищает от DDoS-атак. #SystemDesign #CDN #Cloudflare #Architecture #HighLoad 📲 Мы в MAX 👉@BookJava

🚀 Подборка полезных IT каналов в Max Системное администрирование, DevOps 📌 https://max.ru/i_odmin Все для системного администратора https://max.ru/bash_srv Bash Советы https://max.ru/sysadminof Книги для админов, полезные материалы https://max.ru/i_odmin_book Библиотека Системного Администратора https://max.ru/i_devops DevOps: Пишем о Docker, Kubernetes и др. 1C разработка 📌 https://max.ru/odin1c_rus Cтатьи, курсы, советы, шаблоны кода 1С Программирование C++📌 https://max.ru/cpp_lib Библиотека C/C++ разработчика Программирование Python 📌 https://max.ru/python_of Python академия. https://max.ru/BookPython Библиотека Python разработчика Java разработка 📌 https://max.ru/bookjava Библиотека Java разработчика GitHub Сообщество 📌 https://max.ru/githublib Интересное из GitHub Базы данных (Data Base) 📌 https://max.ru/database_info Все про базы данных Фронтенд разработка 📌 https://max.ru/frontend_1 Подборки для frontend разработчиков Библиотеки 📌 https://max.ru/programmist_of Книги по программированию https://max.ru/proglb Библиотека программиста https://max.ru/bfbook Книги для программистов Программирование 📌 https://max.ru/bookflow Лекции, видеоуроки, доклады с IT конференций https://max.ru/itmozg Программисты, дизайнеры, новости из мира IT https://max.ru/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻 Шутки программистов 📌 https://max.ru/itumor Шутки программистов Защита, взлом, безопасность 📌 https://max.ru/thehaking Канал о кибербезопасности https://max.ru/xakkep_1 Хакер Free Книги, статьи для дизайнеров 📌 https://max.ru/odesigners Статьи, книги для дизайнеров Математика 📌 https://max.ru/Pomatematike Канал по математике https://max.ru/phismat_1 Обучающие видео, книги по Физике и Математике Вакансии 📌 https://max.ru/progjob Вакансии в IT Мир технологий 📌 https://max.ru/mir_teh Канал для любознательных Бонус 📌 https://max.ru/piterspb_78 Свежие новости Санкт-Петербурга https://max.ru/mockva_life Свежие новости Москвы

🗄️ System Design: Как не "положить" Базу Данных? В большинстве веб-приложений (например, Instagram или Twitter) соотношение чтения к записи составляет примерно 10 к 1. То есть люди в 10 раз чаще смотрят чужие посты, чем пишут свои. Эту особенность мы и будем использовать. 👯‍♂️ 1. Репликация (Master-Slave / Leader-Follower) Идея проста: давайте скопируем базу данных на несколько серверов и разделим обязанности. 🔴Master (Лидер): Это единственная база данных, в которую разрешено ПИСАТЬ (INSERT, UPDATE, DELETE). 🔴Slave (Ведомые/Реплики): Это точные копии Мастера. Из них можно ТОЛЬКО ЧИТАТЬ (SELECT). Как это работает: 1. Пользователь публикует фото. Запрос идет на Master-базу. 2. Master сохраняет фото и мгновенно отправляет новые данные всем своим Slave-копиям (реплицирует). 3. 1000 других пользователей открывают ленту. Их запросы на чтение распределяются между тремя Slave-базами. Итог: Нагрузка на чтение размазана, Мастер спокойно занимается только записью. 🪓 2. Шардирование (Sharding / Горизонтальное партиционирование) Репликация спасает, когда много читают. Но что делать, если пользователи слишком много пишут (например, это система сбора логов или мессенджер)? Мастер перестает справляться. Или что делать, если данных стало 10 Терабайт, и они тупо не влезают на один диск? Приходит время рубить данные на части - Шардировать. Мы берем нашу огромную таблицу Users и разбиваем её на несколько независимых баз данных (Шардов). 🔴Шард 1: Хранит пользователей с ID от 1 до 1,000,000. 🔴Шард 2: Хранит пользователей с ID от 1,000,001 до 2,000,000. Каждый Шард - это отдельный сервер со своим процессором и диском. Сложность: Теперь вашему приложению (или специальному роутеру) нужно понимать, в какую именно базу отправлять SQL-запрос. А сделать JOIN между таблицами, лежащими на разных серверах, становится практически невозможно. 📐 3. Теорема CAP (Закон распределенных систем) Как только ваша база данных перестает жить на одном сервере и разъезжается на несколько (реплики или шарды), вступает в силу суровый закон физики - Теорема CAP. Она гласит, что в распределенной системе вы можете выбрать только ДВА из ТРЕХ свойств: 1. C (Consistency / Консистентность): Все клиенты видят одни и те же данные в один и тот же момент времени. (Если я обновил аватарку на Мастере, следующий же запрос к любому Слейву должен вернуть новую аватарку). 2. A (Availability / Доступность): Система всегда отвечает на запрос, даже если часть серверов сгорела. Никаких ошибок 500. 3. P (Partition Tolerance / Устойчивость к разделению): Система продолжает работать, даже если между серверами БД пропала сеть (они перестали видеть друг друга). Суровая реальность: В интернете сеть пропадает всегда. Поэтому свойство P мы обязаны брать по умолчанию. Остается выбор между CP и AP. 🔴Системы CP (Консистентные): Банковские приложения. Если сеть между Мастером и Репликой упала, база откажется отдавать вам баланс, потому что боится отдать устаревшие данные. Лучше выдать ошибку, чем соврать. 🔴Системы AP (Доступные): Соцсети (Instagram, YouTube). Если вы поставили лайк, а сеть внутри дата-центра моргнула, ваш друг может еще пару минут не видеть этот лайк (данные не консистентны). Но сайт при этом не "лежит", лента листается. Это называется Eventual Consistency (Консистентность в конечном счете). 🔥 Итог 🔴Используйте Репликацию, чтобы масштабировать чтение (Read-heavy). 🔴Используйте Шардирование, чтобы масштабировать запись и объем данных (Write-heavy). 🔴Помните про CAP-теорему: для соцсетей выбираем Доступность (AP), для финансов - Консистентность (CP). 📲 Мы в MAX 👉@BookJava

Совет по Spring Boot💡 Когда вам нужно настроить bean, предоставляемый Spring Boot, проверьте наличие интерфейсов *Customizer - велика вероятность, что вы сможете настроить bean, не отказываясь от автоконфигурации. 📲 Мы в MAX 👉@BookJava

От 1 до миллиона пользователей (Масштабирование) Представьте: вы написали крутой стартап. Он крутится на дешевом сервере за $5 в месяц. База данных, бэкенд и фронтенд лежат в одном месте. Вдруг о вас снимает ролик популярный блогер. Трафик вырастает в 10,000 раз. Сервер ложится через 3 секунды от OutOfMemoryError. Бизнес теряет деньги. Что делать? У вас есть два пути масштабирования (Scaling). 📈 1. Вертикальное масштабирование (Scale Up) Это самый простой и интуитивный подход. Сервер не справляется? Давайте купим сервер мощнее! Было 2 ГБ оперативки - поставим 128 ГБ. Был 1 ядерный процессор - купим 64-ядерный. 🔴Плюсы: Не нужно менять ни строчки кода. Всё просто работает быстрее. 🔴Минусы: 1. Физический предел. Вы не можете купить сервер с бесконечной памятью. Самый мощный сервер рано или поздно закончится. 2. SPOF (Single Point of Failure). Единая точка отказа. Каким бы мощным ни был сервер, если уборщица выдернет шнур питания в дата-центре - ваш бизнес остановится. 🌐 2. Горизонтальное масштабирование (Scale Out) Это путь настоящих джедаев и BigTech-компаний. Вместо покупки одного суперкомпьютера за миллион долларов, мы покупаем 1000 дешевых обычных серверов и заставляем их работать вместе. 🔴Плюсы: Масштабирование практически бесконечно. Упал один сервер? Ничего страшного, трафик подхватят остальные 999. 🔴Минусы: Архитектура становится в разы сложнее. Появляется куча новых проблем: как делить трафик, как синхронизировать данные, как хранить сессии. ⚖️ 3. Балансировщик нагрузки (Load Balancer) Допустим, мы выбрали горизонтальное масштабирование и запустили 5 одинаковых серверов с нашим Spring Boot приложением. Но пользователи (клиенты) знают только один домен: mysite.com. Как сделать так, чтобы запросы распределялись между этими пятью серверами равномерно? Перед нашими серверами встает Load Balancer (Балансировщик) - например, Nginx, HAProxy или облачный AWS ALB. Пользователь стучится в Балансировщик, а тот перенаправляет запрос на наименее загруженный сервер. 🔴Round Robin: Самый простой алгоритм. Запросы раздаются по кругу: первому серверу, второму, третьему, первому, второму... 🔴Least Connections: Запрос уходит на тот сервер, у которого сейчас меньше всего активных соединений. 🧠 4. Главное правило: Stateless (Без состояния) Горизонтальное масштабирование ломает старый подход к хранению сессий. Если пользователь залогинился и попал на Сервер №1, этот сервер сохранил его данные в оперативной памяти. При следующем клике балансировщик может кинуть пользователя на Сервер №2. А Сервер №2 скажет: "Я тебя не знаю, авторизуйся заново". Решение: Серверы приложения должны быть "глупыми" и ничего не помнить (Stateless). Состояние должно храниться в общем внешнем хранилище (например, в Redis, как мы обсуждали в прошлых сезонах), либо передаваться прямо в запросе с помощью токенов (JWT). 🔥 Итог 1. Vertical Scaling (вверх) - купить "железо" помощнее. Дорого, есть предел. 2. Horizontal Scaling (вширь) - поставить больше дешевых серверов. Требует изменения архитектуры. 3. Load Balancer - дирижер, который распределяет трафик между клонами. 4. Stateless - обязательное условие. Приложение не должно хранить локальное состояние. #SystemDesign #Architecture #Scaling #LoadBalancing #Backend 📲 Мы в MAX 👉@BookJava

Когда система на Spring Boot или Jakarta EE падает под нагрузкой, виноват не Java и не фреймворк. Почти всегда проблема — в архитектуре. 🔔 Курс «Highload Architect» учит строить высоконагруженные системы на Java: от микросервисов до монолитов. Вы разберёте весь путь запроса — от клиента до базы данных и обратно — и поймёте, какие архитектурные решения работают под сотнями тысяч и миллионами запросов в секунду. Программа ориентирована на веб‑разработчиков, тимлидов и архитекторов ПО с опытом работы на Java. Вы научитесь: - оптимизировать серверы - эффективно использовать существующие инструменты - проектировать отказоустойчивые системы - аргументированно защищать архитектурные решения перед командой и бизнесом. На курсе рассмотрим типовые и нетривиальные кейсы, с которыми сталкиваются крупные сервисы. 🎁 Закрываем набор до 5.03.2026 в группу февраля — получите скидку 🔤на обучение! Подробности у менеджера. Пройти короткое вступительное тестирование: https://vk.cc/cV1nMV ❗️ Практическое обучение проводится в прямом эфире — вебинары не являются предзаписанными. Реклама. ООО «Отус онлайн‑образование», ОГРН 1177746618576

☕ Функциональные интерфейсы: Магия за кулисами Лямбд Если вы используете лямбды (а вы наверняка их используете), значит, вы работаете с функциональными интерфейсами. Давайте разберем, что это такое, зачем нужна аннотация и какие интерфейсы вы обязаны знать наизусть. 🎯 Что это такое? Функциональный интерфейс - это интерфейс, который содержит ровно один абстрактный метод. Именно это ограничение позволяет компилятору превращать лямбда-выражение в экземпляр этого интерфейса. 💙 Примечание: В интерфейсе может быть сколько угодно default или static методов. Главное - только один абстрактный. 📝 Аннотация @FunctionalInterface Ставить её над интерфейсом не обязательно, но хорошим тоном считается ставить. Зачем? Она работает как защита от дурака: если вы или ваш коллега случайно добавите второй абстрактный метод в интерфейс, компилятор сразу выдаст ошибку, не дожидаясь падения кода в местах использования лямбд. 🧰 Шпаргалка: "Великолепная четверка" В пакете java.util.function уже есть готовые интерфейсы на 99% случаев жизни. Не пишите свои велосипеды, пока не выучите эти: 1. Predicate <T> 💙Что делает: Проверяет условие. 💙 Метод: boolean test(T t) 💙 Где нужен: Фильтрация стримов (`filter`), проверки. 2. Consumer <T> 💙 Что делает: "Потребляет" объект, ничего не возвращая. 💙 Метод: void accept(T t) 💙 Где нужен: Вывод на экран, запись в БД, forEach. 3. Supplier <T> 💙 Что делает: "Поставляет" объект (из ниоткуда), ничего не принимая. 💙 Метод: T get() 💙 Где нужен: Ленивая инициализация, генерация значений, orElseGet. 4. Function <T, R> 💙 Что делает: Превращает объект типа T в объект типа R. 💙 Метод: R apply(T t) 💙 Где нужен: Преобразование данных, map в стримах. 💻 Пример в коде

    
        
@FunctionalInterface
interface Converter {
    int stringToInt(String s);
}

public class Main {
    public static void main(String[] args) {
        // 1. Создаем реализацию через лямбду
        Converter converter = str -> Integer.parseInt(str);
        
        // 2. Использование стандартного Consumer
        java.util.function.Consumer<Integer> print = x -> System.out.println("Result: " + x);

        int result = converter.stringToInt("123");
        print.accept(result); // Вывод: Result: 123
    }
}

{}
    

🔥 Итог Функциональные интерфейсы - это контракт для лямбда-выражений. Используйте стандартные из java.util.function, чтобы ваш код был понятен другим разработчикам без лишних документаций. #Java #Core #Lambda #FunctionalProgramming 📲 Мы в MAX 👉@BookJava

🔴 КАК ИДЕАЛЬНО ПРОЙТИ СОБЕС? ПОКАЖЕМ ЗАВТРА! Каждый, проходя интервью, думал: «Ну что они хотят услышать? Я же правильно ответил! Почему меня не взяли?» 4 марта(уже завтра!) в 19:00 по мск приходи онлайн на открытое интервью, где будут собеседовать МЕНТОРА ШОРТКАТ Как это будет: 📂 Виктор Анохин, старший разработчик из WildBerries, будет задавать реальные вопросы и задачи старшему разработчику Сергею Чамкину 📂 Сергей будет отвечать на каждый вопрос так, как это ожидает сам от вас на собеседованиях 📂 В конце можно будет задать любой вопрос Сергею и Виктору Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для Java-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы. Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_sh_bot Реклама. О рекламодателе.

Совет Spring Framework💡 Вы можете инжектировать (autowire) бины, которые могут отсутствовать, обернув их в java.util.Optional. Таким образом вы сообщаете, что этот бин является необязательным, избегаете исключения, если он не существует, и можете аккуратно обработать его отсутствие с помощью Optional API. 📲 Мы в MAX 👉@BookJava