У вас столько данных не будет и юзеров, чтобы вы медленность заметили, даже если вы самым тупым и простым способом все сделаете с 3-4 джоинами 😄

спасибо) я понимаю, но одно из заданий дипломной работы - способы оптимизации хай-лоад систем

начни с sqlite а потом на постгрес перейди :)

Есть такой вопрос. Начинаю писать дипломный проект - соц. сеть кулинарных рецептов, соответственно будут юзеры, посты с рецептами, фолловеры (основные сущности). Вот остановился на построении архитектуры. Смотрел на реляционные базы  в частности постгрес, как стандартное решение. Но вот если у нас будет оочень много юзеров, постов и т.д., запросы джоинов буду проходить очень медленно (такие, как сделать сначала выдачу постов юзеров, за которыми следит данный пользователь). Потом пошел к NoSQL решениям, смотрел Кассандру - но в ней не получится сделать то, что нужно (например отфильтровать посты по кол-ву ингредиентов (ну сами понимаете, как устроена Кассандра)). Смотрел графовые БД, Neo4j, но они не очень предназначены для хранения больших данных, запросы тоже будут идти  долго. Потом решил загуглить как устроен Интсаграмм, они как-то умудряются юзать и Кассандру и Постгрес, не знаю как. Ну ок. Решил всё таки остановится на Постгресе. Но вопрос в том как с помощью системы кеширования (Редис, например) ускорить время ответа на запрос. Можно ли делать так? Берем 1000 грубо говоря постов с постгреса и кладём в Редис, ну и потом уже с клиента идём в Редис и пагиннируем (с лимитом 12 постов допустим) эти посты и возвращаем нужное клиенту? Или можно как-то по-другому это реализовать? Подскажите пожалуйста, буду очень благодарен)

Как у вас все интересно медленно получилось еще даже без какой либо реализации 😄 Ни сколько пользователей предполагается, ни сколько постов предполагается, ни каких цифр, но все медленно, даже на касандре 😅

Чтобы что-то оптимизировать, нужно чтобы было что-то не оптимизированное 😂

да, но для теста то я же могу загнать 1М юзеров? могу, а значит и смогу проверить скорость выполнения запросов

Ну вот когда засунете 1м юзеров и у вас будет уже готовая рабочая архитектура, тогда и будете оптимизировать, применяя методы оптимизации хайлоад систем))) Только хайлоад вроде бы это не о колличестве юзеров, а о частоте использования, но могу ошибаться в этом 😊

спасибо) я понимаю, но одно из заданий дипломной работы - способы оптимизации хай-лоад систем

да, но для теста то я же могу загнать 1М юзеров? могу, а значит и смогу проверить скорость выполнения запросов

да, хайлоад наступает тогда, когда система уже не справляется с обработкой запросов из-за высокой нагрузки

да, хайлоад наступает тогда, когда система уже не справляется с обработкой запросов из-за высокой нагрузки

хорошо, спасибо всем за помощь, пошёл разбираться

Поищите на Ютубе канал HighLoad , у них огромное количество докладов по самым разным технологиям обработки и хранения данных применимо к различным сценариям. Уверен там есть и представители социальных сетей или что-то похожее на ваш кейс .

хорошо, спасибо всем за помощь, пошёл разбираться

Социалку вроде лучше всего графовая структура вывозит, т.е. можно Neo4j поколупать - графовые БД как раз заточены чтобы двигаться по графам связей пользователей без джойнов O(log n), а индексным доступом O(1), но можно наклететь на обратных эфыект - когда понадрбятся аростые джойны их не будет, либо будут очень тормозить.

А кассандра, насколько я понимаю,  лучше всего  в OLAP - когда нужно тьму денормальзованных данных напихать в одну таблицу с почти неограниченным количеством столбцов и быстро O(1) искать по комбинацим значенияй этих столбцов. По сравнению с апелляционной это "быстро" можно хоть как-то нащупать от 10кк записей.

тоесть простые джоины - это например, запрос всех постов пользователей, где нужно всего один джоин?