Das geht meines Wissens auch ohne Zertifikat.
Wie man das mit AdGuard einrichtet, kann ich dir aber nicht sagen. Ich betreibe hinter meinem AdGuard noch unbound, der sich um die eigentliche Auflösung kümmert. Der unbound verwendet DNS-over-TLS zu den Quad9 DNS-Servern. Da brauchts auf jeden Fall kein Zertifikat.