IPFire mit Mail-Proxyfunktion

[5p9]

Morgen,

ja seltsam. Diese Werte habe ich auch. Ich weiß nun auch nicht genau was hier noch machbar wäre, ggf. findest du ja im Web noch etwas zu dieser Meldung.

Oder du installierst es erneut, ist ja schnell gemacht, wenn du alles gesichert hast.

Ich nutze fast die gleichen Listen wie du:

Code: Select all

    reject_rbl_client zen.spamhaus.org,
    reject_rbl_client ix.dnsbl.manitu.net,
    reject_rbl_client bl.spamcop.net,
    reject_rbl_client dnsbl.inps.de,

Neben den BLs habe ich auch noch eine Reihe von ClamAV Signaturen, die ich hier beschrieben habe: viewtopic.php?f=17&p=121970#p121719

[gocart]

@Steven

vielleicht von mir auch ein einwurf dazu: Sieht nach DNS-Blacklist Abfrage Timeout aus. Kommt auch darauf an wie viele Mails über deinen Server gehen. Bei vielen BL's ist da eine Abfragegrenze. Da gehen irgendwann die kostenpflichtigen Accounts los. SQL-Bayes DB haben wir nicht am laufen. Die ist eine normale Datei.

Den Effekt scheinen auch andere zu haben...
https://lists.gt.net/spamassassin/users/212568

Grüße,

[SteveR]

Hallo,

ich habe mich seit der Core-Version 125 mit der Mail-Proxyfunktion beschäftigt und bin dabei auf einige Probleme und Erfahrungen gestoßen. Angefangen hatte ich mit der Anleitung aus dem aktuellen Wiki https://wiki.ipfire.org/optimization/mailproxy/start. Leider ist es mir nicht gelungen den Mailproxy zum laufen zu bekommen, denke das lag an falschen Einstellungen in der master.cf. Jedenfalls bin ich erst nach einigen Stunden des testens und recherchierens im Postfix-Thema auf gocarts Mail-Proxy-Konfiguration gestoßen - zum Glück Ich hatte also das Script ausgeführt und über die zuvor installierten pakfire-Pakete postfix, spamassassin und amavis drüber installiert und der Proxy lief, jedoch gab es eine erste Fehlermeldung zum Apache:

Code: Select all

Starting Apache daemon...AH00526: Syntax error on line 14 of /etc/httpd/conf/vhosts.d/ipfire-interface-ssl.conf:
Invalid command 'H2ModernTLSOnly', perhaps misspelled or defined by a module not included in the server configuration

daraufhin habe ich die http/2-Konfigruation in der "ipfire-interface-ssl.conf" auskommentiert und konnte den apache anschließend wieder starten.

Als das Core-Update 126 zur Verfügung stand, wurden im Pakfire auch Updates für postfix und spamassassin angezeigt welche ich ja zu Beginn auch über Pakfire installiert hatte. Da der Mailproxy noch nicht produktiv benutzt wird, habe ich also postfix und spamassassin über Pakfire wieder entfernt und dann erst das Core-Update auf 126 durchgeführt. Im Falle die Konfiguration von gocarts Mailproxy nach dem Entfernen der Pakete und dem Core-Update nicht mehr funktionieren würde, würde ich das Script einfach erneut ausführen. Nach dem Core-Update stellte sich als erstes heraus das der OpenVPN-Server nicht mehr lief, die Ursache hatte mit openssl zutun, wenn ich es richtig verstanden habe wurde ja durch das Script openssl 1.1.1 installiert und mit dem Core-Update 126 wieder 1.1.0j, openvpn versuchte nun aber mit Version 1.1.1 zu arbeiten. Jedenfalls habe ich das Installer-Script erneut ausgeführt, openssl 1.1.1 stand wieder zur Verfügung und openvpn liess sich wieder starten und lief. Siehe: viewtopic.php?p=121975#p121984

Aktuell hab ich das Problem, dass nach dem Core-Update 127 wieder ein Problem mit openssl besteht, diesmal lässt sich jedoch das Install-Script auf Grund diese Fehlers ebenfalls nicht ausführen und ich bin gerade ratlos wie ich das Problem beheben kann. Als erstes viel mir auf, dass der apache wieder nicht lief

Code: Select all

Restarting Apache HTTP daemon...httpd: Syntax error on line 51 of /etc/httpd/conf/httpd.conf: Syntax error on line 54 of /etc/httpd/conf/loadmodule.conf: Cannot load /usr/lib/apache/mod_ssl.so into server: /usr/lib/sse2/libcrypto.so.1.1: version 'OPENSSL_1_1_1' not found (required by /usr/lib/libssl.so.1.1)

das Installer-Script scheitert beim Aufrufen von curl und gibt den selben Fehler zurück

Code: Select all

/usr/lib/sse2/libcrypto.so.1.1: version 'OPENSSL_1_1_1' not found (required by /usr/lib/libssl.so.1.1)

selbst wenn ich das Paket manuell herunterlade sehe ich in dem Log anschliessend den gleichen Fehler (wird auf der Konsole übrigens nicht angezeigt).
Pakfire lässt sich auf Grund des Fehlers übrigens ebenfalls nicht benutzen.
Gibt es eine Möglichkeit das wieder zu beheben?
Wird das Problem mit der openssl-version vorraussichtlich behoben wenn in Core-Version 128 die openssl-version 1.1.1a einzug hält, wie ummeegge hier schreibt? viewtopic.php?p=121975#p122133

Sage noch meinen Dank an gocart für die Mühe die im Projekt steckt und schließe mich mal an wenn es darum geht dieses Projekt offiziell zu integrieren bzw. wenigstens im offiziellen Wiki zu erwähnen

Beste Grüße

[gocart]

Hallo @all

Update auf die Version 39 mit OpenSSL 1.1.1a und Perl 5.28.1.

@SteveR
Mit dem Mailproxy liefere ich momentan eine neuere OpenSSL Version aus, wie in den offiziellen Core Updates vorhanden ist. Das macht leider immer eine "Darüberinstallation" der aktuellen Mail Gateway Version direkt nach dem Core Update notwendig. Solange zumindest bis OpenSSL 1.1.1a mit den normalen Core Update ausgeliefert wird. Das Problem mit dem Apache ist behoben und wenn mit der 39 und Core 127 noch Fehler auftreten bitte hier posten...

Grüße, gocart

[5p9]

Morgen zusammen,

ich hätte da ne Frage, kann ich dies so in der amavisd umsetzen oder sieht hier jemand ein Problem damit? Oder kann man hier noch etwas optimieren?

Diese BLs habe ich aktiv:

Code: Select all

# bofhland
-rw-r--r--  1 clamav clamav      4592 Mar 26 21:03 bofhland_cracked_URL.ndb
-rw-r--r--  1 clamav clamav    106188 Mar 26 21:03 bofhland_malware_attach.hdb
-rw-r--r--  1 clamav clamav     84176 Mar 26 21:03 bofhland_malware_URL.ndb
-rw-r--r--  1 clamav clamav      2498 Mar 26 21:03 bofhland_phishing_URL.ndb

-rw-r--r--  1 clamav clamav     51613 Mar 26  2018 foxhole_generic.cdb

# Sanesecurity  
-rw-r--r--  1 clamav clamav     87981 Mar  1 09:58 badmacro.ndb
-rw-r--r--  1 clamav clamav   2670348 Mar 26 21:12 blurl.ndb
-rw-r--r--  1 clamav clamav   7237956 Mar  7 09:12 junk.ndb
-rw-r--r--  1 clamav clamav    566231 Mar 26 21:12 rogue.hdb
-rw-r--r--  1 clamav clamav   4082747 Mar 26 09:11 phish.ndb
-rw-r--r--  1 clamav clamav     18439 Jan 20 12:14 spamimg.hdb

# Maleware Experts
-rw-r--r--  1 clamav clamav    128107 Mar 26 21:06 malware.expert.ndb

# phishtank
-rw-r--r--  1 clamav clamav   1504095 Mar 26 21:01 phishtank.ndb

# porcupine
-rw-r--r--  1 clamav clamav    552982 Mar 26 21:01 porcupine.ndb

# SecuriteInfo  
-rw-r--r--  1 clamav clamav   6941907 Mar 27 08:24 securiteinfoascii.hdb
-rw-r--r--  1 clamav clamav   3896263 Mar 27 06:43 securiteinfohtml.hdb
-rw-r--r--  1 clamav clamav   1668513 Mar 27 14:18 spam_marketing.ndb
-rw-r--r--  1 clamav clamav  16711207 Mar 27 07:37 javascript.ndb

# winnow
-rw-r--r--  1 clamav clamav     16271 Mar  5  2018 winnow_extended_malware.hdb
-rw-r--r--  1 clamav clamav     18189 Mar  5  2018 winnow_malware.hdb
-rw-r--r--  1 clamav clamav     14961 Nov 14 10:48 winnow_malware_links.ndb
-rw-r--r--  1 clamav clamav      6577 Nov 13 17:32 winnow_phish_complete.ndb
-rw-r--r--  1 clamav clamav      6577 Nov 13 17:34 winnow_phish_complete_url.ndb
-rw-r--r--  1 clamav clamav      2768 Nov 14 11:11 winnow_spam_complete.ndb

Und dies würde ich so gerne in der Amavisd hinterlegen:

Code: Select all

 @virus_name_to_spam_score_maps = (new_RE(
  [ qr'^Phishing\.'                                             => 6.1 ],
  [ qr'^Structured\.(SSN|CreditCardNumber)\b'                   => 6.1 ],
# Maleware Experts
  [ qr'^Malware\.'                                             => undef ],
# SecuriteInfo  
  [ qr'^Email\.Spam.*-SecuriteInfo\.com(\.|\z)' => 0.1 ],
  [ qr'-SecuriteInfo\.com(\.|\z)' => undef ],
  [ qr'^SecuriteInfo\.com\.Spammer\.' => 2.5 ],
# Sanesecurity  
  [ qr'^(?:Email|HTML|Sanesecurity)\.(?:Phishing|SpearL?)\.'i   => 6.1 ],
  [ qr'^(?:Email|HTML|Sanesecurity)\.(?:Spam|Scam)[a-z0-9]?\.'i => 4.6 ],
  [ qr'^Sanesecurity\.(Malware|Rogue|Trojan)\.'                 => undef ],
# bofhland
  [ qr'^Bofhland\.Malware\.' => undef ],
  [ qr'^Bofhland\.Phishing\.' => 6.1 ],
  [ qr'^Bofhland\.' => 0.1 ],
# porcupine
  [ qr'^Porcupine\.(Malware|Trojan)\.' => undef ],
  [ qr'^Porcupine\.(Junk|Spammer)\.' => 0.1 ],
  [ qr'^Porcupine\.Phishing\.' => 6.1 ],
  [ qr'^Porcupine\.' => 0.01 ],
# phishtank
  [ qr'^PhishTank\.Phishing\.' => 6.1 ],
# winnow
[ qr'^winnow\.(Exploit|Trojan|malware)\.' => undef ],
[ qr'^winnow\.(botnet|compromised|trojan)' => undef ],
[ qr'^winnow\.phish\.' => 6.1 ],
[ qr'^winnow\.' => 0.1 ],  
));

VG, 5p9

[gocart]

Hallo @all

Das Update auf die 40 in online. Mit Postfix 3.4.5. Download wie immer hier: Click.

Grüße, gocart

[5p9]

Moin zusammen,

ich weiß gerade nicht wie ich meinen nächsten Fall am besten behandeln soll. Und zwar geht es darum, die von Amavisd über clamav erkannten SPAMs, die aber ein klassischer false/positive sind zu whitelist, da der Absender leider eine schlechte Signatur enthält die er als:

Virus scanner output:
p004: Heuristics.Phishing.Email.SpoofedDomain FOUND

erkennt und blockiert.

Laut amavisd könnte man z.B. die Sender in eine whitelist setzen, so in der Art:

Code: Select all

read_hash(\%whitelist_sender, '/etc/amavisd.whitelist');
@whitelist_sender_maps = (\%whitelist_sender);

oder dieser Weg:

Code: Select all

@whitelist_sender_maps = (['.example.org', '.example.net']);

Ist dies der richtige Weg oder muss ich in der Postfix-Ebene eine andere whitelist.pcre anlegen:

Code: Select all

header_checks=pcre:/etc/postfix/whitelist.pcre

Ich bin da ein wenig überfragt, was die bessere Wahl hierfür wäre.

VG, 5p9


EDIT:

ich habe hier eine whitelist unter /etc/amavisd-whitelist angelegt - domain hinterlegt die nicht gefiltert werden soll. dann in der amavisd.conf folgendes eingetragen:

Code: Select all

read_hash(\%whitelist_sender, '/etc/amavisd-whitelist');
@whitelist_sender_maps = (\%whitelist_sender);

$interface_policy{'10026'} = 'VIRUSONLY';
$policy_bank{'VIRUSONLY'} = { # mail from the pickup daemon
    bypass_spam_checks_maps   => ['@whitelist_sender_maps'],  # don't spam-check this mail
    bypass_header_checks_maps => ['@whitelist_sender_maps'],  # don't header-check this mail
};

jedoch greift dieser noch immer nicht?! Mmmh. was kann ich noch machen?

[5p9]

Also, dieser Weg scheint nicht ganz zu funktionieren

Code: Select all

......amavis[28326]: (28326-15) Blocked INFECTED (Heuristics.Phishing.Email.SpoofedDomain) {DiscardedInbound,Quarantined},..........

Jetzt bin ich ein wenig ratlos. Ich dachte mit der whitelist könnte ich es einfach steuern.
Jemand schon ähnliche Fälle in Reichweite gehabt?

VG, 5p9

PS: Hier mal die Quelle dafür: https://lists.amavis.org/pipermail/amav ... 04669.html

[5p9]

So,

ich habe die Lösung gefunden. Für alle Hilfesuchenden die einen false / positive im ClamAV erleben dürfen, können wie folgt dagegen wirken und eine whitelist für Einzelfälle einsetzen.

1. Whitelist
Hierzu erstellt eine Datei mit der Endung *.wdb unter:

Code: Select all

/usr/share/clamav/whitelist.wdb

Setzt die ClamAV owner-Rechte mit:

Code: Select all

chown clamav: /usr/share/clamav/whitelist.wdb

2. Debug FP Mail

Nehmt dazu den Clamscan her für den debug und leitet die Ausgabe in eine Test-File um:

Code: Select all

clamscan -d /usr/share/clamav/ --debug --max-filesize=0 /var/virusmails/virus-G_Z7IrRT7zGB 2> /tmp/test.txt

Analysiert die test.txt und sucht nach Meldungen - wie z.B. in meinem Fall Heuristics.Phishing.Email.SpoofedDomain

Code: Select all

less /tmp/test.txt | grep 'Phishing scan result: URLs are way too different' -A10 -B10

Hier findet man dann soetwas:

Code: Select all

LibClamAV debug: Looking up in regex_list: apc01.safelinks.protection.outlook.com:smile.amazon.de/
LibClamAV debug: Lookup result: not in regex list
LibClamAV debug: Phishcheck: Phishing scan result: URLs are way too differen

Grund für den FP sind die "bescheuerten" safelinks-protections von Office 365, die hier alle enthaltenen externen Links "sicherer" machen sollen.
Da kann ich nur lachen Siehe diesen interessanten Artikel dazu: https://www.avanan.com/resources/micros ... safe-links

3. Übeltäter erkannt und ab in die Whitelist

Code: Select all

X:\.safelinks\.protection\.outlook\.com:smile\.amazon\.de

Dazu muss ich sagen, gibt es unterschiedliche Meinungen dazu. Denn nicht immer greift X: alternative sollte man M: verwenden. Bei mir reichte es mit X:, warum, wieso und weshalb - keine Ahnung. Es funktioniert.

https://lists.gt.net/clamav/users/64394

Aber erst ClamAV neu starten lassen

Code: Select all

/etc/init.d/clamav restart

VG, 5p9

[5p9]

Morgen zusammen,

danke gocart für die aktuelle Version!
Hier mal meine Erkenntnis kommend von der CoreVersion 125 auf 134.

Es hat sich einiges geändert, der clamav path ist nicht mehr wie früher unter /usr/share/clamav zu finden, sonder unter /var/lib/clamav.
Gerade für eigene inoffizielle Clamav-DBs wie z.B. porcupine.ndb, rogue.hdb, badmacro.ndb usw die man selbstsändig dort haben möchte.

Wärend der Installation wollte ich hier den Punkt 2 wählen:

2019-08-27_191528.png (6.36 KiB) Viewed 1184 times

Jedoch war diese Eingabe nicht möglich, da er darauf nicht reagiert hat nur wenn ich den Punkt 1 tätigte, lief die Installation weiter.
Was genau ist nun der Unterschied zu 1 und 2? Ich kann mir es schon etwas vorstellen, nur verstehen tuhe ich es noch nicht so recht,
denn ich habe immer dieses Bild im Kopf zu diesem Thema:

Im Nachgang musste ich auch für amavis die clamav Rechte / Gruppe wieder zuordnern, das hat das Script so auch nicht ausgeführt.
Ich schätze es liegt ander mptemplates.sh im unteren Bereich, hier werden auch die clamav rechte gesetzt. Da ich aber alle weiteren Configs beibehalten habe, denke ich ist er nicht darauf eingegangen.

Code: Select all

   echo -e "\033[1;36m--------------------------------------------------------------------------------\033[0m";
    echo -e "\033[1;36m-                 Mail Gateway configuration template selection                -\033[0m"
    echo -e "\033[1;36m--------------------------------------------------------------------------------\033[0m";
    echo " ";
    if [ $ONLYPF = "1" ]; then
      echo -e "\033[33mInstalling the postfix only templates. \033[0m";
      echo " ";
    fi;
    echo -e "\033[32mPlease select your postfix template type: \033[0m";
    echo "Press '1' for all checks and filters (default)";
    if [ $ONLYPF = "0" ]; then
       echo "Press '2' for all checks and filters with Amavisd as before-queue-filter";
    fi;
    echo "Press 'q' to quit this menu and continue installation";

    echo " ";
    echo -e "\033[1;36m--------------------------------------------------------------------------------\033[0m";
    echo -n "Please select: ";
    read -n 1 menuanswer;
    echo " ";
    echo " ";
    case ${menuanswer} in
    1)
	write_main_cf_all_filters
	write_master_cf;
	if [[ $ONLYPF = "1" ]]; then config_amavisd; fi;
	if [[ $ONLYPF = "0" ]]; then write_spamassassin_config; fi;
	break;
	;;
    2)
	if [ ! $ONLYPF = "0" ]; then
          write_main_cf_bqf;
          write_master_cf_bqf;
	  write_spamassassin_config;
          break;
	fi;
      ;;
    q)
      echo -e "\033[93mTemplates installation exit...\033[0m";
      echo " ";
      unset MAPSFILES CONFIGFILES MAPSDIR CONFIGDIR LOG ROTATE MAIN TCONF VIRT ACONF;
      exit
      ;;
  esac
done

# ceate maps dir
mkdir -p ${MAPSDIR}

# Install templates
write_esmtp_access_template;
write_ptr_cf_template;
write_helo_cf_template;
write_header_checks_template;
write_body_checks_template;
write_mime_header_checks_template;
write_batv_template;
write_amavisd_conf_template;
write_virtual_template;
write_transport_template;
check_bounce_cf_template;
check_network_table_template;
check_relay_domains_template;
check_relay_recipients_template;
check_sasl_passwd_template;
add_logrotate_postfix;
activate_razor;

# Set group rights 
usermod -a -G clamav amavis
usermod -a -G clamav clamav
usermod -a -G amavis clamav
usermod -a -G amavis amavis

echo -e "\033[93mTemplates installation done...\033[0m";
echo " ";

VG, 5p9

[5p9]

Hey @ all.

Du gocart, ich habe da ein cooles AddOn gefunden für den ClamAV. YARA ist da wohl sehr cool was die Scanns anbelangt:
https://yararules.com/
https://blog.clamav.net/search/label/yara
Auch die Jungs hier nutzen es: https://github.com/extremeshok/clamav-unofficial-sigs

Was hälst du davon? Fände es sehr interessant in VErbindung mit dem MP wie aber auch für den MS, da dieses Tool ziehmlich mächtig ist.

VG, 5p9

[5p9]

Hallo,

mir ist aufgefallen, das google mail gerne Mails in die Quarantäne legt, da DKIM und SPF im Mailserver nicht verwendet wird. Daher wäre dieses AddOn relativ wichtig ihn als legitimierter E-Mail-Server auftreten zu lassen was mit OpenDKIM und SPF getan werden kann.

Hier ein paar Themensammlungen dazu:
https://www.debinux.de/2014/11/dkim-ver ... -opendkim/
https://thomas-leister.de/mailserver-un ... ntu-16.04/
und hier: https://adminforge.de/mailserver/postfi ... inrichten/
und hier ein guter Beitrag zu den ganzen Themen DKIM, DANE, SPF auf der Froscom von 2018:
https://www.youtube.com/watch?v=ja-hk9o0gbw

VG, 5p9

[5p9]

Hi gocart,

könntest du in deiner nächsten Version die folgende RBLs mit in die smtpd_recipient_restrictions aufnehmen:

Code: Select all

smtpd_recipient_restrictions =
    reject_non_fqdn_recipient,
    permit_mynetworks,
    reject_unknown_recipient_domain,
    reject_unauth_destination,
    reject_unauth_pipelining,
    reject_rbl_client bl.blocklist.de,
    reject_rbl_client b.barracudacentral.org,
    ...
    ...

Die beiden RBLs reject_rbl_client bl.blocklist.de, reject_rbl_client b.barracudacentral.org, habeneine wahnsinns Trefferquote bei mir.
Kann man auch in die Client smtpd_client_restrictions hinterlegen, wenn Bedarf besteht.

VG, 5p9

[gocart]

Hallo @all

die 43 ist oben wie immer mit aktualisierten Paketen. Download wie immer hier: Click.

@5p9 Die Option 2 bei den Templates geht wieder und deinem Wunsch mit den mit den RBL's ist auch entsprochen.
Das DKIM Modul in Amavisd hatte ich übrigens mit aktualisiert.

Die Yararules waren mir bekannt und das XtremeShok Script welche die Yararules mit einbinden benutze ich bereits an einigen Stellen.

Grüße, gocart

[5p9]

n'Morgen zusammen,

vielen Dank für die Bereitstellung!

Die Yararules waren mir bekannt und das XtremeShok Script welche die Yararules mit einbinden benutze ich bereits an einigen Stellen.

Findest du es praktikabel - jetzt so ausserhalb der IPFire?
Ich pflege halt meine eigene Liste mit 3th AV-DBs. IPFire ist da halt gebunden, schade eigentlich, denn diese YARAs würde ich gerne einsetzen, gerade auch im Bezug auf Mail-Scan.

VG, 5p9