nginxproxymanager vs proxy von der Synology

alexhell · 27. Aug 2023

Das ist sehr komisch. Nee das ist nicht normal. Deshalb frag ich mich auch ob wirklich beide requests aus dem Internet erfolgen. Weil wenn du einen internen DNS Server hast und die Domains umgeschrieben hast, dann wirst du nicht gebannt werden können. Guck mal in die access.log was du zu den requests siehst

daschmidt94 · 27. Aug 2023

ja hab die requests mit dem Smartphone über nordvpn getestet. Wie gesagt domain.at geht sub.domain.at nicht.

Im acces.log steht wenn von Nord-vpn zugegriffen wird 172.68.50.6 obwohl die Nordvpn IP 194.35.121.224 ist

alexhell · 28. Aug 2023

Hast du mal probiert beide zu bannen? Ich hab es ansonsten auch mit windscribe https://chrome.google.com/webstore/detail/windscribe-free-proxy-and/hnmpcagpplmpfojmgmnngilcnanddlhb getestet.

daschmidt94 · 28. Aug 2023

Es funktioniert jetzt.
Bin durch NSLOOKUP draufgekommen, dass meine domain über eine Cloudflare Domain aufgelöst wird
Falls es jemanden Intressiert, meine Domain wird bei godaddy gehostet da cloudflare kein .at unterstützt.
Nameserver sind aber auf cloudflare gestellt.
Bei den DNS bzw. CNAME kann man zwischen proxied und dns only nehmen. Hier war alles auf proxied gestellt.
Nun auf DNS only gestellt und alles klappt ohne problem.

Bis auf die Notification ist bis jetzt noch keine angekommen, jedoch auch keine Fehler im Log also gehe ich davon aus das passt auch.

alexhell · 28. Aug 2023

Ahh ok... Ich nutze auch die Nameserver von Cloudflare, aber an den Proxy kram habe ich auch nicht gedacht

Ich hab da auch nur DNS-only an. Aber super, dass du es raus gefunden hast.
Ich würde mal die Notifications einrichten und dann mal abends (wenn man eh in kürze schlafen will

) Nikto einsetzen. Also am Besten online. Hab in anderen Beiträgen hier ja drauf verlinkt. Da kommen dann sehr viele Notifications wenn das funktioniert.

daschmidt94 · 29. Aug 2023

bin es schon wieder -.-

Leider über Nacht keine einzige notification bekommen.

Kannst du mir mal deine profiles.yaml bzw gotify.yaml schicken, ob ich hier einen Einrückungsfehler habe?

alexhell · 29. Aug 2023

profile.yml

Code:

name: default_ip_remediation
#debug: true
filters:
 - Alert.Remediation == true && Alert.GetScope() == "Ip"
decisions:
 - type: ban
   duration: 4h
#duration_expr: Sprintf('%dh', (GetDecisionsCount(Alert.GetValue()) + 1) * 4)
notifications:
    - http_gotify
#   - slack_default  # Set the webhook in /etc/crowdsec/notifications/slack.yaml before enabling this.
#   - splunk_default # Set the splunk url and token in /etc/crowdsec/notifications/splunk.yaml before enabling this.
#   - http_default   # Set the required http parameters in /etc/crowdsec/notifications/http.yaml before enabling this.
#   - email_default  # Set the required email parameters in /etc/crowdsec/notifications/email.yaml before enabling this.
on_success: break

notifications/gotify.yml

Code:

type: http          # Don't change
name: http_gotify # Must match the registered plugin in the profile

# One of "trace", "debug", "info", "warn", "error", "off"
log_level: info

# group_wait:         # Time to wait collecting alerts before relaying a message to this plugin, eg "30s"
# group_threshold:    # Amount of alerts that triggers a message before <group_wait> has expired, eg "10"
# max_retry:          # Number of attempts to relay messages to plugins in case of error
# timeout:            # Time to wait for response from the plugin before considering the attempt a failure, eg "10s"

#-------------------------
# plugin-specific options

# The following template receives a list of models.Alert objects
# The output goes in the http request body
format: |
  {{ range . -}}
  {{ $alert := . -}}
  {
    "extras": {
      "client::display": {
      "contentType": "text/markdown"
    }
  },
  "priority": 3,
  {{range .Decisions -}}
  "title": "{{.Type }} {{ .Value }} for {{.Duration}}",
  "message": "{{.Scenario}}  \n\n[crowdsec cti](https://app.crowdsec.net/cti/{{.Value -}})  \n\n[shodan](https://shodan.io/host/{{.Value -}})"
  {{end -}}
  }
  {{ end -}}

# The plugin will make requests to this url, eg:  https://www.example.com/
url: https://<deine-gotify.de>/message

# Any of the http verbs: "POST", "GET", "PUT"...
method: POST

headers:
  X-Gotify-Key: xxxxxxxxxx
  Content-Type: application/json
# skip_tls_verification:  # true or false. Default is false

daschmidt94 · 29. Aug 2023

komisch meine sieht genau so aus:

YAML:

name: default_ip_remediation
#debug: true
filters:
 - Alert.Remediation == true && Alert.GetScope() == "Ip"
decisions:
 - type: ban
   duration: 4h
#duration_expr: Sprintf('%dh', (GetDecisionsCount(Alert.GetValue()) + 1) * 4)
notifications:
#   - slack_default  # Set the webhook in /etc/crowdsec/notifications/slack.yaml before enabling this.
#   - splunk_default # Set the splunk url and token in /etc/crowdsec/notifications/splunk.yaml before enabling this.
    - http_gotify   # Set the required http parameters in /etc/crowdsec/notifications/http.yaml before enabling this.
#  - email_default  # Set the required email parameters in /etc/crowdsec/notifications/email.yaml before enabling this.
    - discord
on_success: break

YAML:

type: http          # Don't change
name: http_gotify # Must match the registered plugin in the profile

# One of "trace", "debug", "info", "warn", "error", "off"
log_level: info

# group_wait:         # Time to wait collecting alerts before relaying a message to this plugin, eg "30s"
# group_threshold:    # Amount of alerts that triggers a message before <group_wait> has expired, eg "10"
# max_retry:          # Number of attempts to relay messages to plugins in case of error
# timeout:            # Time to wait for response from the plugin before considering the attempt a failure, eg "10s"

#-------------------------
# plugin-specific options

# The following template receives a list of models.Alert objects
# The output goes in the http request body
format: |
  {{ range . -}}
  {{ $alert := . -}}
  {
    "extras": {
      "client::display": {
      "contentType": "text/markdown"
    }
  },
  "priority": 3,
  {{range .Decisions -}}
  "title": "{{.Type }} {{ .Value }} for {{.Duration}}",
  "message": "{{.Scenario}}  \n\n[crowdsec cti](https://app.crowdsec.net/cti/{{.Value -}})  \n\n[shodan](https://shodan.io/host/{{.Val>  {{end -}}
  }
  {{ end -}}

# The plugin will make requests to this url, eg:  https://www.example.com/
url: https://gotify.xxxxx.at/message

# Any of the http verbs: "POST", "GET", "PUT"...
method: POST

headers:
  X-Gotify-Key: xxxx
  Content-Type: application/json
# skip_tls_verification:  # true or false. Default is false

alexhell · 29. Aug 2023

Bannt er denn bei dir zuverlässig? Poste mal die Ausgabe von cscli metrics

Bei mir kommt folgendes:

Code:

Acquisition Metrics:
╭──────────────────────────────────────┬────────────┬──────────────┬────────────────┬────────────────────────╮
│                Source                │ Lines read │ Lines parsed │ Lines unparsed │ Lines poured to bucket │
├──────────────────────────────────────┼────────────┼──────────────┼────────────────┼────────────────────────┤
│ file:/var/log/swag/access.log        │ 3.30k      │ 3.30k        │ -              │ 23                     │
│ file:/var/log/swag/error.log         │ 9          │ 1            │ 8              │ 1                      │
│ file:/var/log/syslog/ombi.log        │ 212        │ -            │ 212            │ -                      │
│ file:/var/log/syslog/vaultwarden.log │ 44         │ 1            │ 43             │ -                      │
╰──────────────────────────────────────┴────────────┴──────────────┴────────────────┴────────────────────────╯

Bucket Metrics:
╭──────────────────────────────────────┬───────────────┬───────────┬──────────────┬────────┬─────────╮
│                Bucket                │ Current Count │ Overflows │ Instantiated │ Poured │ Expired │
├──────────────────────────────────────┼───────────────┼───────────┼──────────────┼────────┼─────────┤
│ crowdsecurity/http-bad-user-agent    │ -             │ -         │ 4            │ 4      │ 4       │
│ crowdsecurity/http-crawl-non_statics │ -             │ -         │ 14           │ 15     │ 14      │
│ crowdsecurity/http-probing           │ -             │ -         │ 3            │ 3      │ 3       │
│ crowdsecurity/http-sensitive-files   │ -             │ -         │ 2            │ 2      │ 2       │
╰──────────────────────────────────────┴───────────────┴───────────┴──────────────┴────────┴─────────╯

Parser Metrics:
╭───────────────────────────────────────┬───────┬────────┬──────────╮
│                Parsers                │ Hits  │ Parsed │ Unparsed │
├───────────────────────────────────────┼───────┼────────┼──────────┤
│ Dominic-Wagner/vaultwarden-logs       │ 44    │ 1      │ 43       │
│ LePresidente/ombi-logs                │ 212   │ -      │ 212      │
│ child-Dominic-Wagner/vaultwarden-logs │ 130   │ 1      │ 129      │
│ child-LePresidente/ombi-logs          │ 212   │ -      │ 212      │
│ child-crowdsecurity/http-logs         │ 9.90k │ 6.94k  │ 2.96k    │
│ child-crowdsecurity/nginx-logs        │ 3.32k │ 3.30k  │ 17       │
│ crowdsecurity/dateparse-enrich        │ 3.30k │ 3.30k  │ -        │
│ crowdsecurity/geoip-enrich            │ 3.30k │ 3.30k  │ -        │
│ crowdsecurity/http-logs               │ 3.30k │ 3.30k  │ 1        │
│ crowdsecurity/nginx-logs              │ 3.31k │ 3.30k  │ 8        │
│ crowdsecurity/non-syslog              │ 3.56k │ 3.56k  │ -        │
│ crowdsecurity/whitelists              │ 3.30k │ 3.30k  │ -        │
╰───────────────────────────────────────┴───────┴────────┴──────────╯

Local Api Metrics:
╭────────────────────┬────────┬──────╮
│       Route        │ Method │ Hits │
├────────────────────┼────────┼──────┤
│ /v1/decisions      │ GET    │ 1592 │
│ /v1/heartbeat      │ GET    │ 109  │
│ /v1/watchers/login │ POST   │ 2    │
╰────────────────────┴────────┴──────╯

Local Api Machines Metrics:
╭───────────┬───────────────┬────────┬──────╮
│  Machine  │     Route     │ Method │ Hits │
├───────────┼───────────────┼────────┼──────┤
│ Machine │ /v1/heartbeat │ GET    │ 109  │
╰───────────┴───────────────┴────────┴──────╯

Local Api Bouncers Metrics:
╭─────────┬───────────────┬────────┬──────╮
│ Bouncer │     Route     │ Method │ Hits │
├─────────┼───────────────┼────────┼──────┤
│ swag    │ /v1/decisions │ GET    │ 1592 │
╰─────────┴───────────────┴────────┴──────╯

Local Api Bouncers Decisions:
╭─────────┬───────────────┬───────────────────╮
│ Bouncer │ Empty answers │ Non-empty answers │
├─────────┼───────────────┼───────────────────┤
│ swag    │ 1591          │ 1                 │
╰─────────┴───────────────┴───────────────────╯

Local Api Decisions:
╭────────────────────────────────────────────┬────────┬────────┬───────╮
│                   Reason                   │ Origin │ Action │ Count │
├────────────────────────────────────────────┼────────┼────────┼───────┤
│ crowdsecurity/http-crawl-non_statics       │ CAPI   │ ban    │ 757   │
│ crowdsecurity/http-path-traversal-probing  │ CAPI   │ ban    │ 91    │
│ crowdsecurity/nginx-req-limit-exceeded     │ CAPI   │ ban    │ 227   │
│ firehol_dyndns_ponmocup                    │ lists  │ ban    │ 51    │
│ crowdsecurity/CVE-2022-26134               │ CAPI   │ ban    │ 205   │
│ crowdsecurity/http-bad-user-agent          │ CAPI   │ ban    │ 8955  │
│ crowdsecurity/grafana-cve-2021-43798       │ CAPI   │ ban    │ 83    │
│ crowdsecurity/jira_cve-2021-26086          │ CAPI   │ ban    │ 26    │
│ crowdsecurity/CVE-2019-18935               │ CAPI   │ ban    │ 72    │
│ crowdsecurity/CVE-2022-42889               │ CAPI   │ ban    │ 19    │
│ crowdsecurity/http-cve-2021-41773          │ CAPI   │ ban    │ 31    │
│ otx-georgs-honeypot                        │ lists  │ ban    │ 1038  │
│ crowdsecurity/vmware-cve-2022-22954        │ CAPI   │ ban    │ 1     │
│ crowdsecurity/ssh-slow-bf                  │ CAPI   │ ban    │ 31    │
│ firehol_greensnow                          │ lists  │ ban    │ 8337  │
│ crowdsecurity/apache_log4j2_cve-2021-44228 │ CAPI   │ ban    │ 475   │
│ crowdsecurity/http-sensitive-files         │ CAPI   │ ban    │ 13    │
│ crowdsecurity/http-generic-bf              │ CAPI   │ ban    │ 28    │
│ crowdsecurity/http-probing                 │ CAPI   │ ban    │ 3418  │
│ crowdsecurity/thinkphp-cve-2018-20062      │ CAPI   │ ban    │ 47    │
│ ltsich/http-w00tw00t                       │ CAPI   │ ban    │ 1     │
│ Dominic-Wagner/vaultwarden-bf              │ CAPI   │ ban    │ 21    │
│ crowdsecurity/http-backdoors-attempts      │ CAPI   │ ban    │ 1284  │
│ crowdsecurity/http-cve-2021-42013          │ CAPI   │ ban    │ 1     │
│ crowdsecurity/netgear_rce                  │ CAPI   │ ban    │ 41    │
│ crowdsecurity/CVE-2022-41082               │ CAPI   │ ban    │ 1234  │
│ crowdsecurity/fortinet-cve-2018-13379      │ CAPI   │ ban    │ 132   │
│ crowdsecurity/f5-big-ip-cve-2020-5902      │ CAPI   │ ban    │ 27    │
│ crowdsecurity/http-open-proxy              │ CAPI   │ ban    │ 614   │
│ crowdsecurity/spring4shell_cve-2022-22965  │ CAPI   │ ban    │ 3     │
│ crowdsecurity/ssh-bf                       │ CAPI   │ ban    │ 14216 │
│ crowdsecurity/CVE-2022-35914               │ CAPI   │ ban    │ 69    │
│ crowdsecurity/CVE-2022-37042               │ CAPI   │ ban    │ 25    │
╰────────────────────────────────────────────┴────────┴────────┴───────╯

Local Api Alerts:
╭───────────────────────────────────────────┬───────╮
│                  Reason                   │ Count │
├───────────────────────────────────────────┼───────┤
│ Dominic-Wagner/vaultwarden-bf             │ 1     │
│ LePresidente/ombi-bf                      │ 1     │
│ crowdsecurity/http-crawl-non_statics      │ 6     │
│ crowdsecurity/http-probing                │ 2     │
│ crowdsecurity/http-xss-probbing           │ 1     │
│ crowdsecurity/netgear_rce                 │ 1     │
│ crowdsecurity/CVE-2022-41082              │ 6     │
│ crowdsecurity/fortinet-cve-2018-13379     │ 1     │
│ crowdsecurity/http-open-proxy             │ 15    │
│ crowdsecurity/CVE-2019-18935              │ 1     │
│ crowdsecurity/jira_cve-2021-26086         │ 2     │
│ LePresidente/http-generic-401-bf          │ 1     │
│ crowdsecurity/http-bad-user-agent         │ 75    │
│ crowdsecurity/http-cve-2021-41773         │ 4     │
│ crowdsecurity/http-cve-2021-42013         │ 2     │
│ crowdsecurity/http-path-traversal-probing │ 7     │
│ crowdsecurity/http-sensitive-files        │ 8     │
╰───────────────────────────────────────────┴───────╯

Nicht wundern wegen vaultwarden und ombi in den Logs, das sind Erweiterungen noch. Aber wichtig ist Acquisition Metrics und Local Api Alerts: was da kommt.

daschmidt94 · 29. Aug 2023

Das sind meine Ausgaben:

Code:

Local Api Metrics:
╭────────────────────┬────────┬──────╮
│       Route        │ Method │ Hits │
├────────────────────┼────────┼──────┤
│ /v1/decisions      │ GET    │ 115  │
│ /v1/heartbeat      │ GET    │ 299  │
│ /v1/watchers/login │ POST   │ 6    │
╰────────────────────┴────────┴──────╯

Local Api Machines Metrics:
╭─────────┬───────────────┬────────┬──────╮
│ Machine │     Route     │ Method │ Hits │
├─────────┼───────────────┼────────┼──────┤
│ debian  │ /v1/heartbeat │ GET    │ 299  │
╰─────────┴───────────────┴────────┴──────╯

Local Api Bouncers Metrics:
╭─────────┬───────────────┬────────┬──────╮
│ Bouncer │     Route     │ Method │ Hits │
├─────────┼───────────────┼────────┼──────┤
│ swag    │ /v1/decisions │ GET    │ 115  │
╰─────────┴───────────────┴────────┴──────╯

Local Api Bouncers Decisions:
╭─────────┬───────────────┬───────────────────╮
│ Bouncer │ Empty answers │ Non-empty answers │
├─────────┼───────────────┼───────────────────┤
│ swag    │ 114           │ 1                 │
╰─────────┴───────────────┴───────────────────╯

Local Api Decisions:
╭────────────────────────────────────────────┬────────┬────────┬───────╮
│                   Reason                   │ Origin │ Action │ Count │
├────────────────────────────────────────────┼────────┼────────┼───────┤
│ crowdsecurity/http-cve-2021-41773          │ CAPI   │ ban    │ 23    │
│ crowdsecurity/http-open-proxy              │ CAPI   │ ban    │ 389   │
│ crowdsecurity/http-path-traversal-probing  │ CAPI   │ ban    │ 55    │
│ crowdsecurity/jira_cve-2021-26086          │ CAPI   │ ban    │ 24    │
│ crowdsecurity/thinkphp-cve-2018-20062      │ CAPI   │ ban    │ 34    │
│ crowdsecurity/apache_log4j2_cve-2021-44228 │ CAPI   │ ban    │ 430   │
│ crowdsecurity/http-backdoors-attempts      │ CAPI   │ ban    │ 915   │
│ crowdsecurity/f5-big-ip-cve-2020-5902      │ CAPI   │ ban    │ 25    │
│ crowdsecurity/fortinet-cve-2018-13379      │ CAPI   │ ban    │ 105   │
│ crowdsecurity/CVE-2022-42889               │ CAPI   │ ban    │ 17    │
│ crowdsecurity/http-crawl-non_statics       │ CAPI   │ ban    │ 539   │
│ crowdsecurity/http-generic-bf              │ CAPI   │ ban    │ 20    │
│ crowdsecurity/http-probing                 │ CAPI   │ ban    │ 2013  │
│ crowdsecurity/netgear_rce                  │ CAPI   │ ban    │ 30    │
│ crowdsecurity/nginx-req-limit-exceeded     │ CAPI   │ ban    │ 145   │
│ crowdsecurity/CVE-2019-18935               │ CAPI   │ ban    │ 50    │
│ crowdsecurity/CVE-2022-41082               │ CAPI   │ ban    │ 827   │
│ crowdsecurity/ssh-bf                       │ CAPI   │ ban    │ 11749 │
│ crowdsecurity/CVE-2022-37042               │ CAPI   │ ban    │ 22    │
│ crowdsecurity/grafana-cve-2021-43798       │ CAPI   │ ban    │ 71    │
│ crowdsecurity/http-bad-user-agent          │ CAPI   │ ban    │ 5331  │
│ crowdsecurity/http-sensitive-files         │ CAPI   │ ban    │ 7     │
│ crowdsecurity/spring4shell_cve-2022-22965  │ CAPI   │ ban    │ 2     │
│ crowdsecurity/ssh-slow-bf                  │ CAPI   │ ban    │ 21    │
│ crowdsecurity/CVE-2022-26134               │ CAPI   │ ban    │ 179   │
│ crowdsecurity/CVE-2022-35914               │ CAPI   │ ban    │ 57    │
╰────────────────────────────────────────────┴────────┴────────┴───────╯

Local Api Alerts:
╭────────────────────────────┬───────╮
│           Reason           │ Count │
├────────────────────────────┼───────┤
│ manual 'ban' from 'debian' │ 11    │
│ testing                    │ 2     │
╰────────────────────────────┴───────╯

alexhell · 29. Aug 2023

Das sieht komisch aus. Er wertet deine access.log gar nicht aus.
Poste mal bitte deine acquis.yaml.

daschmidt94 · 29. Aug 2023

YAML:

filenames:
  - /var/log/nginx/*.log
  - ./tests/nginx/nginx.log
#this is not a syslog log, indicate which kind of logs it is
labels:
  type: nginx
---
filenames:
 - /var/log/auth.log
 - /var/log/syslog
labels:
  type: syslog
---
filename: /var/log/apache2/*.log
labels:
  type: apache2

alexhell · 29. Aug 2023

Da fehlt mindestens folgendes

Code:

---
filename: /var/log/swag/*.log
labels:
  type: nginx

Aber das muss natürlich auch gemounted sein. Bei mir ist das folgender mount

Code:

- /root/reverse-proxy/config/log/nginx:/var/log/swag:ro

Und dann musst du Crowdsec neustarten. In dem Ordner ist nämlich auch die access.log mit drin. Und die ist für die Zugriffe wichtig.

daschmidt94 · 29. Aug 2023

danke das wars

hoffe jetzt hast ruhe von mir

alexhell · 29. Aug 2023

Alles gut. Muss ja nicht antworten, wenn ich kein Bock habe

Aber ist doch schön, dass das Problem jetzt weg ist.

Nur ich glaube der Threadtitel stimmt nicht mehr wirklich

daschmidt94 · 29. Aug 2023

stimmt, kann ihn aber nicht bearbeiten.

alexhell · 29. Aug 2023

Musstest du eigentlich das mit Nikto testen oder wurde gerade zufällig jemand gebannt?

daschmidt94 · 29. Aug 2023

habe es gerade mit Nikto am laufen gehabt

alexhell · 29. Aug 2023

Ah sehr praktisch

alexhell · 30. Aug 2023

Man kann übrigens auch noch ein Crowdsec Dashboard installieren, da sieht man dann eine Auswertung der Bans und Requests usw. Ich habe das mir mal angeguckt, aber nicht dauerhaft an. Ansonsten bekommst du hier noch weitere Integrationen, die Logs auswerten und Bannen. Zum Beispiel Vaultwarden Logins. Musst aber die Logs natürlich zugänglich haben und die acquis.yml bearbeiten. Und man kann zusätzlich, wenn man will, sich einen Account bei denen machen (https://app.crowdsec.net/signup) und seinen Bouncer hinzufügen. Dann kann man im Webinterface von denen 3 Listen hinzufügen. Das Sammlungen von IPs die aus bestimmten Quellen kommen. Da wird beschrieben wo die her kommen. Wenn man mehr Listen verwenden will oder Premiumlisten, dann muss man seinen Account leider upgraden. Das ist aber nichts für Privatleute. Der Preis wäre 2500USD/Monat......