Пропуск полезных ботов

[pikamonov]

Всем привет. Прекрасно понимаю, что вряд-ли из ЦА форума сможет ответить на мой вопрос, но все-же задам его.

пишу анти-ддос проект, и возник вопрос, каким образом пропускать полезных ботов ? Поисковые еще ладно, можно сверять rdns, но полезные Ai-crawler ? Сейчас китайских нейронок море, и каждый человек использует ИИ для чего-либо. И я вот не особо понимаю, по каким параметрам мне проверять бота ? Сомневаюсь, что каждый аи-кравлер будет добавлять себе rdns запись типа: "xxx.aibot.com".

 

[Sponzhik]

Всем привет. Прекрасно понимаю, что вряд-ли из ЦА форума сможет ответить на мой вопрос, но все-же задам его.

пишу анти-ддос проект, и возник вопрос, каким образом пропускать полезных ботов ? Поисковые еще ладно, можно сверять rdns, но полезные Ai-crawler ? Сейчас китайских нейронок море, и каждый человек использует ИИ для чего-либо. И я вот не особо понимаю, по каким параметрам мне проверять бота ? Сомневаюсь, что каждый аи-кравлер будет добавлять себе rdns запись типа: "xxx.aibot.com".

Если прежде всего задача - безопасность, эффективным будет сверять подписи RFC 9421 и IP списки крупных провайдеров нейронок. Нормально определить того же дипсика не получится, они не имеют ни подписи, ни публичных списков IP.

 

[pikamonov]

Если прежде всего задача - безопасность, эффективным будет сверять подписи RFC 9421 и IP списки крупных провайдеров нейронок. Нормально определить того же дипсика не получится, они не имеют ни подписи, ни публичных списков IP.

rfc еще не везде раскатилось, это относительно новое решение для проверки бота. Можно заюзать, но толку мало будет, тк рфк юзнули только поисковые кравлеры. А какие нибудь китайские ИИ - нет.

 

[Sponzhik]

rfc еще не везде раскатилось, это относительно новое решение для проверки бота. Можно заюзать, но толку мало будет, тк рфк юзнули только поисковые кравлеры. А какие нибудь китайские ИИ - нет.

Я поэтому и дал 2 способ - по спискам IP. Про китайцев я и сказал, они нормально не определяются. Дипсик как пример: выглядит как обычный браузерный трафик.

Нет способа для анти-ддоса, который бы был безопасным и пропускал подобных дипсику