IPFire mit Mail-Proxyfunktion

Anregungen & Feature Requests
5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » June 26th, 2017, 8:43 am

EDIT2:

kleiner Hinweis für die clamav 3rd party rules. hinterlegt bei guardian die ignore ip von sansecurety, sonst läuft das Update nicht:

Code: Select all

less /var/log/messages | grep 136.186.1.76
Jun 26 08:01:55 MYFIRE guardian[8865]: <info> Blocking 136.186.1.76 for 86400 seconds...
ET CURRENT_EVENTS DRIVEBY GENERIC ShellExecute in Hex No Seps A Network Trojan was Detected
Nach dem hinterlegen funktionierts auch wieder ;)

#./clamav3rdps.sh

Code: Select all

Download bofhland_malware_attach.hdb and check MD5 sum: OK
Download bofhland_malware_URL.ndb and check MD5 sum: OK
Download winnow_extended_malware.hdb and check MD5 sum: OK
Download winnow_malware.hdb and check MD5 sum: OK
Download winnow_malware_links.ndb and check MD5 sum: OK
Download rogue.hdb and check MD5 sum: OK
Download phish.ndb and check MD5 sum: OK
Download badmacro.ndb and check MD5 sum: OK

User avatar
gocart
Posts: 483
Joined: December 16th, 2013, 4:43 pm
Location: Germany

Re: IPFire mit Mail-Proxyfunktion

Post by gocart » June 26th, 2017, 8:44 am

@5p9

es wird bei diesem Mail Gateway kein Procmail al MTA verwandet. Daher kann das raus aus der master.cf. Das existierte nur noch aus den alten Standart-Templates.

Das mit den TLS-Zertifikaten betrachte ich dem Post viewtopic.php?f=17&t=9095&start=825#p108542 als hinreichend beantwortet. Wenn es dazu noch Unklarheiten gibt dann bitte die entpsrechenden ultra kongreten Fragen stellen. Dazu gibt es auch hier noch die erhellende Seite http://www.postfix.org/TLS_README.html (ziemlich weit unten wird es spanndend)

Zu der Frage: "Wie geht man dann bei einer manuellen Aktualisierung der SA-DB vor?" Herunterladen + auspacken > dann sa-learn --spam /tmp/2017/06 ohne "--dpaph" (wird in der SA local.cf aus meinem vor vor Post festegelgt) dann amavisd Neustart. Ob das auch funktioniert hat sieht man nur mit loglevel=5 in Amavisd.conf! Ob es Sinn macht die bisherige DB zu wipen darf jeder für sich selbst entscheiden (sa-learn --clear) Kannst dir dafür eine kleines Cron Script basteln.

In meiner local.cf config ist der RBL-Check von Spamassassin deaktiviert. Habe damit zu viele false Positives. Habe mich dazu entschlossen, da dass ein viel zu unsicheres Verhalten von SA auslöst oder wenn z.B die eignen öffentliche IP auf irgendeiner grauen Liste steht. Es richt schon wenn ein der der RBL-Server mal nicht erreichbar ist. Dann geht der Score durch die Decke. Dann blockt er sogar interne Mails mit nichts drin.
Dein Fragen zu den Score Berechungen VOn SA kann ich dir nicht beatworten. Link: https://forum.ipfire.org/viewtopic.php? ... 25#p106342
Das "required=5" ist ein Standartwert von SA. Der Link macht schlau: https://spamassassin.apache.org/full/3. ... _Conf.html.

Code: Select all

Apr 24 00:03:15 MEINE-FIRE postfix/smtpd[31910]: warning: hostname elbow.spienko.us does not resolve to address 66.23.212.131: [b]Temporary failure in name resolutio[/b]
Da geht dein DNS im IPfire grad nicht... Unbound Neustart?!

@all
Das Konzept ist darauf ausgelegt das Postfix soviel wie möglich schon vor SA filtert und dazu auch entsprechende DNS-Tests durchführt. Für die ordentliche Teilnahme am Mailverkehr gehört ein DNS-Hostname, die passende HELO Meldung vom sendenden MTA sowie ein dazu passender Reverse DNS-Eintag.
Mit allen die das nicht haben und Mails abliefern wollen, habe ich kein Mitleid... überhaupt gar nicht!!! So ist auch die Konfiguration von Postfix eingestellt. Es ist sinnvoll Ausnahmen in den entsprechenden access-Dateien zu definieren. Jeder kann sich natürlich die Konfiguration von Postfix anpassen sowie er möchte aber dann kann nicht mehr viel dazu sagen.

Grüße, gocart
Last edited by gocart on June 26th, 2017, 6:40 pm, edited 1 time in total.

5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » June 26th, 2017, 12:09 pm

Hi,

danke :) jetzt bin ich im bilde...

Mal eine andere Frage zum Build von dir, ich such gerade einen Fehler und wollte in den Vorversionen von perl reinsehen, aber ich finde deinen irgendwie nicht auf anhieb.

Grund ist folgender, der aber nicht immer im log zu sehen ist, liegt wohl am format einer speziellen mail:
_WARN: Use of uninitialized value in subroutine entry at /usr/lib/perl5/site_perl/5.24.1/i586-linux-thread-multi/Encode/MIME/Header.pm line 198.
Hier die entsprechende Zeile:

Code: Select all

_sub _decode_octets {
    my ($enc, $octets, $chk) = @_;
    $chk &= ~Encode::LEAVE_SRC if not ref $chk and $chk;
    local $Carp::CarpLevel = $Carp::CarpLevel + 1; # propagate Carp messages back to caller
    my $output = $enc->decode($octets, $chk);
    return undef if not ref $chk and $chk and $octets ne '';
    return $output;
}
Das einzige Repo was ich bisher finden konnte ist dieses hier, jedoch ohne Carp?!
https://github.com/dankogai/p5-encode/b ... /Header.pm

Kannst du mir mal deinen link zum repo geben?

EDIT: Jetzt bin ich vööööööllig verwirrt! Wieso sieht das so aus?

Code: Select all

#:find / -name "Header.pm"
/usr/lib/perl5/site_perl/5.24.1/Net/DNS/Header.pm
/usr/lib/perl5/site_perl/5.24.1/i586-linux-thread-multi/Encode/MIME/Header.pm
/usr/lib/perl5/site_perl/5.24.1/Mail/Header.pm
/usr/lib/perl5/5.24.1/i586-linux-thread-multi/Encode/MIME/Header.pm
??? Sehr seltsam....mal sehen.
VG, 5p9

User avatar
gocart
Posts: 483
Joined: December 16th, 2013, 4:43 pm
Location: Germany

Re: IPFire mit Mail-Proxyfunktion

Post by gocart » June 26th, 2017, 6:28 pm

Hallo 5p9,

es gibt wohl eine Header.pm von mehreren Modulen. Die haben aber miteinander nix zu tun! Ich vermute mal du verrennst dich gerade wegen dem Encode Perl Modul. Da http://search.cpan.org/~dankogai/Encode-2.91/ gibt es die letzte Version. Bei Perl geht alles über die CPAN Webseite.

Grüße, gocart

5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » June 27th, 2017, 9:14 am

Hi gocard,

danke. Also das mit Perl, da steig ich einfach nicht ein...aber, ich habe die Änderung gefunden. Die haben wohl am 25 Mai den Bereich aktualisiert und die betreffende Zeile in der v 2.25 heraus genommen:

https://github.com/dankogai/p5-encode/p ... 290a6c249c
hier in voller Länge:
https://github.com/pali/p5-encode/blob/ ... /Header.pm

Die Frage wäre nur, kann ich einfach die Header.pm von der 24er gegen die 25er tauschen?

VG, 5p9

5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » June 29th, 2017, 2:40 pm

Hey zusammen,

ich habe jetzt die Header.pm gegen den im git hinterlegten "fix" getauscht. Bisher sieht es gut aus, also keine Meldung in dem Log zu finden. JEdoch würde ich gerne wissen ob das einfach so machbar wäre? Bzw. ob mir nicht doch noch ein anderes Problem dann in Erscheinung treten könnte was ich nicht bedacht habe.

Ich bin bzgl. des Perl - Themas recht noobymäßig unterwegs, daher UE oder gocard seht ihr hier ein Problem?

Danke für eine Rückmledung,

es grüßte der 5p9 aus dem Urlaub

EDIT: Und doch es kam der Fehler aus Zeile 183 mit der Header.pm [ my $output = $enc->decode($octets, $chk); ], ich denke ein Austausch der Datei reicht wohl nicht ganz.

Code: Select all

sub _decode_octets {
    my ($enc, $octets, $chk) = @_;
    $chk &= ~Encode::LEAVE_SRC if not ref $chk and $chk;
    my $output = $enc->decode($octets, $chk);
    return undef if not ref $chk and $chk and $octets ne '';
    return $output;
}

5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » August 2nd, 2017, 6:56 am

Moin,

habe mir gerade deinen aktuellen Stand angesehen: https://forum.ipfire.org/viewtopic.php?f=17&t=17360
Echt ein heißer Sche*ß :D Danke für deine Arbeit an dieser Stelle!!!

VG, 5p9

User avatar
gocart
Posts: 483
Joined: December 16th, 2013, 4:43 pm
Location: Germany

Re: IPFire mit Mail-Proxyfunktion

Post by gocart » August 8th, 2017, 1:31 pm

Hallo@all

Version 30 ist oben... Installation nur mit Core 112!!! welches derzeit noch im nicht frei gegeben ist aber über den Beta Channel verfügbar.

Ein Backup der Config wird erstellt jetzt in einem Unterordner unter /etc/postfix/backup. Die access-Dateien sind jetzt unter /etc/postfix/maps. Die Details sind im Download-Thread erläutert. Als Bounsprogramm ist die Schrift in den RRDTool Graphen wieder schön scharf. Deswegen ist das Fontconfig Paket mit dabei obwohl es nichts mit dem Mailproxy zu tun hat. Über den Umweg Perl > RRDTool > Freetype > Fontconfig musste ich es mit integrieren. Drei Abhängigkeiten um die Ecke... :o

Als Alternative zum Testen hätte ich auch eine Art Voll-Core 112 Update im Angebot (nicht offiziell) welches ein herkömmliches IPFire auf Perl 5.26.0 / Apache 2.4.27 und PHP 7.1.8 aufrüstet und aus meinem Mailserver Branch stammt. Link: http://people.ipfire.org/~mlorenz/core/. Bitte x86 oder x64 beachten. Dieses Core Update modernisiert IPFire allerdings noch viel weitergehend, weswegen ist es auch 120MB groß ist. Ältere 32Bit Installationen können Probleme mit dem Update von Grub auf die 2.02 haben. Daher die Ansage: nicht für den Produktiven Betrieb!!!! Installation: Die Datei nach /opt/packfire/tmp kopieren, mit tar axf auspacken und die update.sh aufrufen und danach ein Neustart. Dann kann der Mail Gateway installiert werden. Das ich ein Großteil meiner IPFire's mittlerer Weile damit in Betrieb habe, ist ein anderes Thema... weil da gehen dann auch Nextcloud und andere nette Sachen unter IPFire wenn der LAMP-Stack aktuell ist... ;) Dann wird aus einer bloßen Firewall ein Application-Server den man rundrum schön abdichten kann. Das ist dann eine andere Betrachtung des Ganzen sobald man begriffen hat, dass da ein vollwertiges Linux unter der Haube ist...
Grüße, gocart
Last edited by gocart on August 9th, 2017, 1:16 pm, edited 4 times in total.

5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » August 8th, 2017, 4:10 pm

Moin gocart,

du bist genial!!! :) Danke.

Kurze Frage/n zu deiner Install.sh.

Worin besteht der unterschied bei:
...
...
# ==========================================================================
smtp inet n - n - - smtpd
# amavisd before-queue-filter
-o smtpd_proxy_filter=127.0.0.1:10024
...
...
...
# ====================================================================
#
# Amavis smtp transport recive connector

amavis unix - - n - 4 smtp


-o disable_mime_output_conversion=yes

-o smtp_send_xforward_command=yes
-o smtp_data_done_timeout=1200
-o smtp_dns_support_level=disabled

# Amavis lmtp transport recive connector

amavislt unix - - n - 4 lmtp
...
...
....
und dieser hier:
smtp inet n - n - - smtpd

...
...
# Amavis remote transport recive connector

amavis unix - - n - 2 smtp
-o smtp_send_xforward_command=yes
-o disable_mime_output_conversion=yes
-o smtp_generic_maps=


-o smtp_dns_support_level=disabled


# Amavis local transport recive connector

amavislt unix - - n - 2 lmtp
...
...
Also einmal Werte wie 2 vs. 4 wie auch -o smtpd_proxy_filter=127.0.0.1:10024 ... -o smtp_send_xforward_command=yes ...
-o smtp_data_done_timeout=1200 ....

Ich versteh da nicht ganz was diese Werte bezwecken sollen. Hab auch schon "kurz" die Tante Google gefragt, bin aber noch nicht schlau daraus geworden.

VG, 5p9

User avatar
gocart
Posts: 483
Joined: December 16th, 2013, 4:43 pm
Location: Germany

Re: IPFire mit Mail-Proxyfunktion

Post by gocart » August 8th, 2017, 9:17 pm

@5p9
Es gibt einen Connector von Postfix zu Amavisd und (der oben) und einen zurück. Der unten in der master.cf... Der von Postfix zu Amavisd kann als Before-Queue Content Filter http://www.postfix.org/SMTPD_PROXY_README.html über die master.cf realisiert werden oder klassisch über die main.cf als Content Filter. Das Zurück von Amavisd kann man als SMTP oder LMTP (Local Mail Transport Protokoll) realisieren welches ein wenig effizienter ist. Ich habe beide Varianten drin. LMTP ist dafür gedacht wenn Postfix uns Amvisd auf der selben Maschine laufen was aber nicht zwingend ist und auch über verschiedene Server verteilt werden kann. Dann SMTP zwischen beiden. Der Rest ist mehr oder weniger empfohlene Standard Konfig damit die Mails unverändert durch Amavisd gehen. Und für 127.0.0.1 zu 127.0.0.1 brauch man mein kein DNS... ist albern... :)

gocart
Last edited by gocart on August 9th, 2017, 1:18 pm, edited 2 times in total.

5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » August 9th, 2017, 10:49 am

Hi,

danke für deine Rückmeldung. Klingt plausibel. Und welche der beiden Möglichkeiten ist jetzt die, die man am besten nutzen sollte, bzw. welche wäre zu empfehlen? Klar liegt es wieder an dem wie man es gerne haben möchte, nur weiß ich nicht genau was ich da haben will/ soll ;)

Gerade auf die Pro/Contras hin ist es nicht ganz einleuchtend für mich und andere auch hier die sich damit befassen.

Und in deiner filter-config (white & blocklist) das neue feature ist ja auch ganz nett mit der regex :D auf die freu ich mich besonders!!!

VG, Tom

User avatar
gocart
Posts: 483
Joined: December 16th, 2013, 4:43 pm
Location: Germany

Re: IPFire mit Mail-Proxyfunktion

Post by gocart » August 9th, 2017, 12:47 pm

@5p9
Was nutzen willst...? ;)
Standart ist: main.cf

Code: Select all

# Amavisd connector
content_filter = amavislt:[127.0.0.1]:10024
und master.cf

Code: Select all

# Amavis local transport recive connector
amavislt  unix  -       -       n       -        2      lmtp
    -o lmtp_data_done_timeout=1200
    -o lmtp_send_xforward_command=yes
    -o lmtp_dns_support_level=disabled
    -o lmtp_tls_note_starttls_offer=no
    -o max_use=20
heißt: Die Mails gehen per LMTP zum auf 127.0.0.1 horchenden Amavisd. Und gut sein lassen wen man nur ein Amavisd auf der selben Maschine am laufen hat...

Der Empfanger von Amavsid zurück ist master.cf:

Code: Select all

127.0.0.1:10025 inet n  -       n       -       -       smtpd
    -o content_filter=
    .
    .
    
Das enstpechende Gegentück dazu ist in der Amvisd.conf mit Port 10025. Ze dem Before Quene Zeugs gibt es mehrere Pros und Contras:https://serverfault.com/questions/33950 ... -filtering
Grüße, gocart

5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » August 9th, 2017, 1:38 pm

Ach sorry...ich hatte ein fehler in meiner config und hab da alt mit neu drin stehen gehabt, was quasi ein dublikat war. und das hat mich verwirrt!!!
hatte die annahme, dass hier etwas drin wäre was ich nicht zuordnen konnte und dachte es gäbe hier etwas neues :D

aber trotzdem danke für deine erklärung! ich sollte jetzt echt mal ein wiki-eintrag dafür erstellen und alle wichtigen informationen sammeln, hab i auch schon mehrmals festgestellt und ausgesprochen, nur hat sich noch kein anderer (nicht du) dazu hinreissen lassen dies zu erstellen.
na wenn ich wieder datev-updates in der firma einspiele dann hab ich tote zeit die wohl damit verbringen werde den eintrag anzufangen :D

jetzt mal eine generelle frage zum build des proxys und standalone postfix von dir, schafft dies geile und heißer scheiß in zukunft dies auch in den master-tree? ich weiß du bist hier stellenweise schneller als die anderen core-dev'ler pakete hier zu aktualisieren aber nach so einer langen zeit und livebetrieb sieht das doch recht gut aus, oder was meint ummeege und micheal dazu? gab es da schon mal die diskusion dazu?
aber dann wärst du wahrscheinlich der einzige maintainer für dieses paket oder?

vg, 5p9

User avatar
gocart
Posts: 483
Joined: December 16th, 2013, 4:43 pm
Location: Germany

Re: IPFire mit Mail-Proxyfunktion

Post by gocart » August 9th, 2017, 5:50 pm

@5p9
schafft dies geile und heißer scheiß in zukunft dies auch in den master-tree?
Das is eine gute Frage auf die auch auch gerne eine brauchbare und konstruktive Antwort hätte. Diverse Patches sind im Patchwork verhungert und haben keinen interessiert. Nur die Allgemeinen wurden angenommen. Ich persönlich habe da resigniert was das Mail Gateway /Server Zeugs betrifft... Das passt womöglich nicht in das IPFire "Funktions-Konzept". Aber egal, ich koch das hier so weiter. Und wir!?! ...wir sind sowieso zu wenige. Michael ist ja auch mehr oder weniger alleine Hauptmaintainer und tut was er kann. Er kann sich aber auch nicht um alles kümmern....
aber dann wärst du wahrscheinlich der einzige maintainer für dieses paket oder?
Ja bin ich... da ich selbst eine Verwendung dafür habe im real live und bei meinen Kunden... Da ist das "in die Cloud legen" keine denkabre Option.

Grüße, gocart

5p9
Mentor
Mentor
Posts: 1770
Joined: May 1st, 2011, 3:27 pm

Re: IPFire mit Mail-Proxyfunktion

Post by 5p9 » August 10th, 2017, 12:30 pm

Hi,

ach man...schade das es so kompliziert ist. Dazu kommt noch, dass andere Distris wie pfsense und andere verrückte dies auch bereitgestellt haben.
Und für mich gehört dies eigentlich als mainfeature dazu. Aber okay, mal abwarten. Vielleicht kommt es dann mit der 3er, wenn dies mal durch ist. Ist ja soweit ich es mitbekommen habe auch sehr anstrengend für die hauptmaintainer.

VG, 5p9

Post Reply

Who is online

Users browsing this forum: No registered users and 3 guests