Телеграмм чат группы nginx

2020 January 25

Vs

выставите правильный UA по вкусу

J

map $http_user_agent $access_bots {
default '';
~(YandexBot|www\.google\.com\/bot) access;
}
location ~* \.(xml)$ {
# return 403 $access_bots;
if ($access_bots = '' ) { return 404; }
try_files $uri =404;
}
в общем получилось так

источник

23:54пожаловаться #2

MD

M Dan in nginx_ru

А для чего вообще это нужно, практическое применение

источник

23:55пожаловаться #3

J

JS in nginx_ru

M Dan

А для чего вообще это нужно, практическое применение

Если кто то захочет тебя спарсить, он не получит сразу список всех страниц сайта

источник

23:56пожаловаться #4

J

JS in nginx_ru

С этой ерундой спать легче😂

источник

23:56пожаловаться #5

MD

M Dan in nginx_ru

Понял. Но UA кажется подменить вообще на изи, плюс скорее всего инструменты парсинга это уже умеют из коробки

источник

23:58пожаловаться #6

MD

M Dan in nginx_ru

тебе бы какой-нибудь рейтлимит и одновременный алярм

источник

23:59пожаловаться #7

2020 January 26

J

JS in nginx_ru

M Dan

тебе бы какой-нибудь рейтлимит и одновременный алярм

Согласен, но это только часть предпринятых действий.

источник

00:25пожаловаться #8

k

kiosaku in nginx_ru

пусть парсят, жалко чтоль? или нагрузку не держишь?

источник

00:39пожаловаться #9

J

JS in nginx_ru

жалко, контент - это самое ценное что у нас сегодня есть)

источник

01:10пожаловаться #10

АБ

Андрій Бакай in nginx_ru

M Dan

Понял. Но UA кажется подменить вообще на изи, плюс скорее всего инструменты парсинга это уже умеют из коробки

это даже не инструменты парсинга, а самый обычный хром может делать

источник

01:50пожаловаться #11

АБ

Андрій Бакай in nginx_ru

а простый реквесты и подавно

источник

01:50пожаловаться #12

АБ

Андрій Бакай in nginx_ru

всего-то кастомный хедер отдать

источник

01:51пожаловаться #13

АБ

Андрій Бакай in nginx_ru

JS

Если кто то захочет тебя спарсить, он не получит сразу список всех страниц сайта

и тогда ещё проверяйте, не отсутствует ли юзер-агент вообще,
+ проверьте дефолтные юа самых популярных модулей

источник

01:53пожаловаться #14

АБ

Андрій Бакай in nginx_ru

вот лично мне, если надо что-то спарсить, проще всего сначала заюзать обычный реквест, а если не прокатило, то тот же обычный реквест, но с хедерами, как в хроме

источник

01:54пожаловаться #15

J

JS in nginx_ru

Да, я тоже так делаю

источник

01:54пожаловаться #16

АБ

Андрій Бакай in nginx_ru

если и это не помогло, то всё больше имитации пользователся вплоть до использования хрома с дев-тулсом

источник

01:55пожаловаться #17

АБ

Андрій Бакай in nginx_ru

но там уже ток капча в помощь

источник

01:55пожаловаться #18

J

JS in nginx_ru

Вопрос не в том как совсем пресечь парсинг, это не возможно.
Я про усложнение жизни таким ботам, людям.
Есть интересная идея блокировать более нескольких соединений с одного ip.
Но главное не затронуть пс. По юзер агенту можно было бы , но это не серьезно. Надо вычислить пс по ip. И тут вопрос как это сделать. При том что иногда ip меняются или добавляются

источник

02:01пожаловаться #19

АБ

Андрій Бакай in nginx_ru

JS

Вопрос не в том как совсем пресечь парсинг, это не возможно.
Я про усложнение жизни таким ботам, людям.
Есть интересная идея блокировать более нескольких соединений с одного ip.
Но главное не затронуть пс. По юзер агенту можно было бы , но это не серьезно. Надо вычислить пс по ip. И тут вопрос как это сделать. При том что иногда ip меняются или добавляются

кому надо - заюзают пул прокси, а обычным людям могут баги вылезть с запретами

источник

02:02пожаловаться #20