Как грамотно скрыть сервер за Cloudflare

Запретить доступ к серверу и всем его портам полностью кроме подсетей CloudFlare - Для просмотра ссылки Войди или Зарегистрируйся и своего IP или подсети с которой администрируешь сервер. Если уже спалился на этих сканнерах интернета (censys, fofa etc..) то после проведения вышеупомянутых действий IP твоего сервера из выдачи пропадет через 3-7 суток. Но лучше все таки поменять IP. Помимо этого можно отдавать 444 или 403 тем, кто коннектится к http/https с хидером host отличным от твоего.

Что касается краулеров и ботов, ну здесь смотря от каких защищаться, во первых нужно банить даунов которые юзают дефолтные юзер-агенты типа Go-http-client, libcurl, python и так далее, сделать это можно через правила WAF в самом CloudFlare. Во вторых нужно юзать Super BotFight Mode, детект JS. В третьих включить в настройках JS челлендж для тех стран, из которых к тебе идет больше всего говна, например Индия, Бразилия, Китай и так далее. WAF в самом CloudFlare неплохо справляется (Cloudflare OWASP Core Ruleset + Cloudflare Managed Ruleset), можно дополнительно настроить уровень паранои. Настраивается это все в Security > WAF > Managed rules. Ну для особо тревожных можно и на бэкенд запилить WAF, например тот же ModSecurity, опенсорсный + обновляется регулярно.