RI
Мы сейчас сова скатимся ко вчерашней нашей дискуссии на тему выбора поискового алгоритма в зависимости от...
А Горчаков отказался учить матчасть)
А Горчаков отказался учить матчасть)
Да-да, опять цепи Маркова и вот это вот всё. День сурка
Size: a a a
2020 April 29
m
Ruslan Ivanov
Не, ты не понял про что я. Если у тебя один конкретный URL - его парсинг всегда будет узким местом.
если у тебя прилетел всего один URL - это не проблема, а URL - по RFC имеет ограниченную длину. параллелиться TCP Stream
m
на одном URL задача параллелизма обычно не стоит
NA
Много ли фидов на URLы? по сравнению с Доменами? и вообще количественные характеристики очень интересы. Расскажешь?
из того, что ме сейчас удалось набрать, фидов с доменами больше. не сильно, но все же.
NA
Ruslan Ivanov
Потому что нужны сигнатуры второго порядка - которые не по списку смотрят, есть или нет в базе, а смотрят попадает в генерацию алгоритма или нет
+
$
из того, что ме сейчас удалось набрать, фидов с доменами больше. не сильно, но все же.
Это ты про вообще или уже про очищенные?
NA
Это ты про вообще или уже про очищенные?
вообще
RI
если у тебя прилетел всего один URL - это не проблема, а URL - по RFC имеет ограниченную длину. параллелиться TCP Stream
Ну вот представь себе, что у тебя мультиплексированный http2, а в нём тьма потоков URL. Если домены ты, худо-бедно, ещё можешь ускорить, то с URL сложность растёт сильнее
$
Ruslan Ivanov
Ну вот представь себе, что у тебя мультиплексированный http2, а в нём тьма потоков URL. Если домены ты, худо-бедно, ещё можешь ускорить, то с URL сложность растёт сильнее
Сложность не растет. Растёт нормализация и разбивка
$
А дальше - хоть усложнёнными хэш-таблицами фигачь
$
Время конечное и прогнозируемое
m
Ruslan Ivanov
Ну вот представь себе, что у тебя мультиплексированный http2, а в нём тьма потоков URL. Если домены ты, худо-бедно, ещё можешь ускорить, то с URL сложность растёт сильнее
тут есть симметрия с конечной точкой, которая принимает такой поток. сложность в парсинге одинакова и для нее. если ты выходишь за пределы разумного, то парсингом уже начинают заниматься не General purpose CPU, а FPGA
m
тут есть симметрия с конечной точкой, которая принимает такой поток. сложность в парсинге одинакова и для нее. если ты выходишь за пределы разумного, то парсингом уже начинают заниматься не General purpose CPU, а FPGA
я опускаю развернутого ответа, т.к. ты должен понимать суть сказанного
NA
если интересно как вопрос с поиском множества подстрок в строке порешали в clickhouse https://habr.com/ru/company/yandex/blog/466183/
RI
Сложность не растет. Растёт нормализация и разбивка
И всё требует процессорных циклов
RI
я опускаю развернутого ответа, т.к. ты должен понимать суть сказанного
Само собой
$
Ruslan Ivanov
И всё требует процессорных циклов
Да, но нет :)
И ой фсё
Тут дискуссия явно не для чата и не на один час
И ой фсё
Тут дискуссия явно не для чата и не на один час
2020 April 30
m
расходимся на мысли, что глупости эти ваши мысли грузить DGA в TIP)
$
расходимся на мысли, что глупости эти ваши мысли грузить DGA в TIP)
В чистом виде - да, глупости :)
И да, в tip в классическом понимании :)
И да, в tip в классическом понимании :)
v
считаю что пока не взлетел классический TIP обсуждать TIP NG преждевременно