Использование отпечатков ja3+http2+tcp в клоакинге и новые методы клоакинга

[admin]

Обзор клоакинга как метода обхода ограничений и модерации в рекламных сетях, таких как Google Ads и Facebook.

Небольшое введение в введение ​

Модель OSI — это абстрактная модель, которая делит сетевую коммуникацию на семь слоев, помогая разработчикам и инженерам лучше понять, как данные передаются через интернет.

Стандартная модель OSI
Внутри этих уровней есть свои протоколы:

Протоколы и уровни в модели OSI

• Первые два уровня (Физический и канальный) — отвечают за передачу данных от вас до провайдера — не участвуют в клоакинге.
• Третий и четвертый — это уже уровни протоколов TCP\IP — тут уже передаются пакеты по которым можно идентифицировать то или иное устройство (Можно например отличить Windows от MacOS).
• Далее нас интересует 6й уровень (SSL) — Тут идёт шифрование — то есть когда вы подключаетесь к защищенному сайту с httpS с приставкой S это и значит что подключение происходит в зашифрованном виде (SSL- он же был позднее переименован в TLS — за некоторыми изменениями).
• Уровень 7 — Тут идут уже более менее понятные запросы что то вроде

GET /ServiceLogin?service=mail&passive=1209600&osid=1&continue=https://mail.google.com/mail/u/0/&followup=https://mail.google.com/mail/u/0/&emr=1 HTTP/1.1

Host: accounts.google.com



Cookie: 1P_JAR=2024-02-26-07; __Host-GAPS=1:Jql0xDJM0GSS-ZelP4UhlQgewhhfJQA2pXQ4t2jtaOsWa

Upgrade-Insecure-Requests: 1

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.5938.63 Safari/537.36

Sec-Purpose: prefetch;prerender

Purpose: prefetch

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,/;q=0.8,application/signed-exchange;v=b3;q=0.7

итд…

И примерно такие же ответы — то есть протокол передачи гипертекста (HTTP) — он правильно называется. Как видите тут есть строка User-Agent и другие идентификационные данные— для ботов вы чаще всего увидите что то такое Mozilla/5.0 (compatible; Googlebot/2.1;



Цель любой клоаки это отделить нужных посетителей от ненужных. Каким образом она может это сделать? Нам нужно понять чем отличается хороший пользователь от плохого и сделать его перенаправленные в зависимости от этого на хорошую страницу или на плохую.

С перенаправлением всего два варианта:

1. Переадресовываем путем установки редиректа на уровне HTTP (либо HTTP редирект, либо JS редирект, либо iframe) — так делают все клоаки —
2. Сразу показываем нужную страницу (а вся магия происходит за кулисами)

Но как идентифицировать этого пользователя?

Основы клоакинга​

Определим что такое клоака — клоака это метод показа разного контента целевым пользователям и модераторам\ботам рекламной площадки с целью обхода ограничений.

Клоака использует все возможные данные для определения кто перед ней находится модератор или целевой пользователь. Определить она это может с помощью баз IP адресов (многие знают что модерацию гугла например чаще всего это Индия), используя Юзерагенты как например Mozilla/5.0 (compatible; Googlebot/2.1;. Но так же можно пойти дальше и использовать другие отпечатки — например JA3 + HTTP2 + TCP отпечатки — на данный момент строго по описанию их использует только adspect (Но это не проверено — если у кого-то есть возможность дать протестировать пишите в ЛС — протестируем)

• Основной проблемой клоаки является — её легко обнаруживаемость — Если условно вы видите редирект на уровне http то вы сразу понимаете что вас клоачат или что-то тут не чистое. Редирект происходит на уровне L7 (HTTP)

Понимание отпечатков JA3, HTTP/2 и TCP​

Отпечатки JA3​

Что это такое: Отпечатки JA3 — это метод создания цифрового "отпечатка" TLS-клиента на основе его спецификации TLS-рукопожатия. Это уникальный идентификатор, который может использоваться для распознавания типа клиента, даже если IP-адрес скрыт или изменен. Например: 772,4867-4865-4866-52393-52392-49195-49199-49196-49200-49171-49172-156-157-47-53,51-65281-27-11-45-35-16-18-17513-23-65037-5-10-13-0-43,29-23-24,0

Узнать свой отпечаток и подробнее можно посмотреть тут Для просмотра ссылки Войди или Зарегистрируйся

Как генерируются: Отпечаток генерируется путем сбора элементов TLS-рукопожатия (из сообщения ClientHello), таких, как версии TLS, предложенные криптографические алгоритмы, расширения сессии и параметры эллиптических кривых.

Использования: Помогут лучше определить браузеры или SSL библиотек которую используют боты. Вычислить под какими устройствами сидят модераторы\боты и их можно на уровне TLS фильтровать, либо добавлять флаги для «Плавного детекта модератора».

HTTP/2 aka Akamai​

Отпечатки HTTP2: HTTP/2 это такой же протокол передачи данных, как и HTTP/1.x но чуть более сложный у него уже есть: мультиплексирование, приоритизацию потоков, сжатие заголовков и более эффективное управление соединением. И конечно же если он более сложный у него есть настройки и отпечатки выглядят так 1:65536;2:0;4:6291456;6:262144|15663105|0|m,a,s,p . Проверить можно тут Для просмотра ссылки Войди или Зарегистрируйся и их так же можно использовать для идентификации устройства модератора или бота

TCP и его роль в клоакинге​

Отпечатки TCP​

Что это такое: Каждое TCP-соединение характеризуется рядом параметров, таких, как размер окна, максимальный объем сегмента (MSS), опции выборочного подтверждения (SACK) и временные метки, которые вместе формируют уникальные "отпечатки" соединения. Эти отпечатки могут служить для идентификации определенных характеристик сетевого трафика (стека).

Генерация отпечатков: Отпечатки TCP создаются путем анализа характеристик TCP-соединения, включая опции, установленные в процессе TCP-рукопожатия (SYN пакеты), что позволяет точно идентифицировать типы устройств, операционные системы. Например, различные ОС и браузеры могут использовать уникальные комбинации TCP-опций и размеров окон, создавая уникальные отпечатки, например "tcp_options": "M1460,S,T,N,W7,". Свой отпечаток можно глянуть тут Для просмотра ссылки Войди или Зарегистрируйся

Применение для идентификации и фильтрации: В контексте клоакинга, отпечатки TCP могут использоваться вместе с другими отпечатками для идентификации ботов, сканеров безопасности и модераторов, которые могут пытаться обнаружить маскированный контент. Если условно определять ботов\модераторов на более низком уровне чем http — то и редирект не придётся делать — меньше палева, дольше реклама итд.

Современные методы клоакинга и их недостатки​

Основные сервисы клоакинга на рынке:

1. Для просмотра ссылки Войди или Зарегистрируйся (Единственный сервис который написал что использует TLS+TCP отпечатки)
2. Для просмотра ссылки Войди или Зарегистрируйся
3. Для просмотра ссылки Войди или Зарегистрируйся
4. Для просмотра ссылки Войди или Зарегистрируйся
5. Для просмотра ссылки Войди или Зарегистрируйся

К слову только у адспект есть хотя бы что-то о TCP+TLS В остальных нет ни слова о таких низкоуровневых отпечатках. Еще хотелось бы упомянуть о методах машинного обучения — это метод где на основании всех данных нейросеть принимает решение — показать конкретному пользователю вайт или блек.

Также хочу сказать о методах JS фингерпринтинга (это метод снятия отпечатков из браузера с помощью джаваскрипт) — К моменту когда выполняется у пользователя JS — пользователь уже видит полностью страницу — она у него загружена в кеше браузера — соответственно на мой взгляд это самый ненадежный вид переадресации — потому что бот уже может прочитать всё полностью и он видит как блек, так и вайт.

Новый подход к клоакингу с использованием отпечатков JA3, HTTP/2 и TCP​

На мой взгляд самый эффективный метод клоакинга это когда без лишних редиректов загружается сразу нужная страница, нужному пользователю, а вя остальная магия происходит за кулисами, то есть в идеале решение должно приниматься до того как отдаётся HTTP ответ. Каким образом этого добиться?

1. Система рейтинга — то есть набор триггеров у каждого из них свой вес. Например: Страна IP адреса, история этого IP адреса, провайдер, отпечаток TCP, JA3 — На этом этапе уже у пользователя есть определенный балл и этого балла может быть достаточно для принятия решения о переадресации на вайт или блек.
2. Если решение не было принято на 1м этапе то от клиента принимается запрос (HTTP Request) и уже по принятию этого запроса должно приниматься решение об HTTP ответе, что бы исключить возможность редиректа. Преимущество данного метода очевидно — вам не придётся скорей всего использовать редирект — и тем самым вы значительно понижаете вероятность обнаружения вашей клоаки и продлеваете жизнь вашей РК.

Заключение​

В заключение, новый подход к клоакингу, основанный на использовании отпечатков JA3, протокола HTTP/2 и характеристик TCP, предлагает значительные преимущества перед традиционными методами. Эта методика не только улучшает скрытность и эффективность клоакинга, но и открывает новые направления для дальнейших исследований в области обхода систем обнаружения и не только. Тем более что сейчас всё больше и больше продвигают протокол QUIC а это более проблематичный протокол с точки зрения принтинга, по этому нужно успеть все соки выжать из TCP .

Ресурсы по теме:​

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Уже внедрён в:

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся



Научные исследования по теме:

Для просмотра ссылки Войди или Зарегистрируйся

Для просмотра ссылки Войди или Зарегистрируйся

by: Zloy