IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Probleme bei der Installation?
yosamite99
Posts: 35
Joined: August 25th, 2011, 1:34 pm

IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by yosamite99 » December 3rd, 2018, 11:37 am

Hallo zusammen,

ich betreibe seit einigen Jahren eine IPfire als virtuelle Instanz unter Xen (ubuntu). Bis zum Core Update >120 gab es nie nennenswerte Probleme.
Beginnend mit dem Update auf Core 121 komme ich nicht mehr zu einer korrekt funktionierenden Installation.

Initial war dafür der fehlende PAE Kernel verantwortlich, nachdem das behoben wurde laufen die Updates zwar durch und die Instanz lässt sich starten, allerdings ist der Download-Speed nach dem Update (getestet mit 123,124 und 125) unterirdisch langsam (<1MBit/s) wärend der Upload mit gewohnter Geschwindigkeit funktioniert. Das ganze auch ohne Squid/Clamav, URL Filter und auch mit "Allow all" auf der Firewall.

Hat jemand eine Idee oder ähnliches beobachtet?

Host BS: Ubuntu 18.04.1 mit XEN 4.9 als Hypervisor
IPfire als PV DomU mit RED als Netzwerkkarte via PCI Passthrough an die IPfire durchgereicht, green und orange als XEN-Bridge, 2GB RAM, 1 CPU, hinreichend Platz auf allen Partitionen.

Bin für jede Idee dankbar.

Beste Grüße, Oliver

StephanSandmann
Posts: 8
Joined: August 16th, 2010, 10:22 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by StephanSandmann » December 4th, 2018, 11:55 am

Hallo Oliver,

ich habe die IPFire ebenfalls als VM am laufen.
Bei mir läuft die unter Debian 9.6 und Xen4.8 ebenfalls paravirtualisiert, da mein Mainboard/CPU keine volle Virtualisierung bietet (Supermicro A1SAM-2550F mit Atom C2000 CPU).
Probleme mit der Downloadspeed hatte ich bisher nur selten, anfangs hing das wohl am Intel-Treiber für die Ethernetschnittstelle von meinem Board
später war das meist der Swap der eine CPU voll auslastete (kswapd =100%) und eigentlich ein IRQ-Problem ist.

Ich reiche allerdings im Unterschied zu dir keine Hardware in die VM rein, sondern habe nur Bridges im Einsatz also auch Rot als Bridge.
Eventuell liegt ja da der Hase begraben.
Du solltest das Problem einzugrenzen versuchen wo der Flaschenhals liegt.
Also mit iperf oder ähnlichem mal den Durchsatz der Bridge für Green testen, Last des IPFire bei Downloads anschauen ...
So kann man der Ursache auf den Grund gehen und gezielt beseitigen.
Als Schnellschuss kannst du ja auch mal wie ich eine Bridge für rot nehmen.

Eine Bridge für Rot ist unter Debian schnell in der /etc/network/interfaces eingetragen:

Code: Select all

/etc/network/interfaces:
auto eth1
#allow-hotplug eth1
iface eth1 inet manual
        up ifconfig eth1 0.0.0.0 promisc up

auto extern
iface extern inet manual
        bridge_ports eth1
        bridge_fd 2             # set forwarding delay to 2
        bridge_waitport 0       # no delay before a port becomes available
        bridge_stp on           # enable/disable Spanning Tree Protocol
        bridge_hello 1
Dann natürlich noch die Xen Configdatei für den IPFire anpassen und im Fire das Setup ändern.

Grüße
Stephan

yosamite99
Posts: 35
Joined: August 25th, 2011, 1:34 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by yosamite99 » December 4th, 2018, 2:13 pm

Hallo Stefan,

vielen Dank für deine Kommentare. Mit der Core 120 komme ich auf folgende iPerf3 Werte (Client in green, RED via Passthrough Netzwerkkarte, iPerf Server in der Amazon Cloud (US East), Internetanbindung via Fritzbox 6840 und 800MHz LTE:

Code: Select all

[SUM]   0.00-10.00  sec  36.6 MBytes  30.7 Mbits/sec    0             sender
[SUM]   0.00-10.00  sec  27.4 MBytes  22.9 Mbits/sec                  receiver
Ich werde heute Abend nochmal ein Update mchen und dann die iPerf3 Werte posten. Ich perönlich glaube zwar nicht, dass es am PCI Passthrough liegt, werde aber trotzdem auch eine Konfiguration mit RED als Bridge testen.

Beste Grüße, Oliver

yosamite99
Posts: 35
Joined: August 25th, 2011, 1:34 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by yosamite99 » December 4th, 2018, 11:24 pm

Hi Stefan, Update

hier die iperf Ergebnisse:

Client green -> Firewall green

Code: Select all

[SUM]   0.00-10.00  sec  1.09 GBytes   [b]938 Mbits/sec[/b]    0             sender
[SUM]   0.00-10.00  sec  1.09 GBytes   [b]937 Mbits/sec[/b]                 receiver
Client green -> Netz zur Fritz!Box

Code: Select all

[SUM]   0.00-10.00  sec  1.09 GBytes   [b]937 Mbits/sec[/b]    0             sender
[SUM]   0.00-10.00  sec  1.09 GBytes   [b]936 Mbits/sec[/b]                  receiver
Firewall -> Amazon Server

Code: Select all

[SUM]   0.00-10.00  sec  23.3 MBytes  [b]19.6 Mbits/sec[/b]   19             sender
[SUM]   0.00-10.00  sec  20.6 MBytes  [b]17.3 Mbits/sec[/b]                  receiver
Client -> Amazon Server

Code: Select all

[SUM]   0.00-10.00  sec   919 KBytes   753 Kbits/sec  153             sender
[SUM]   0.00-10.00  sec   601 KBytes   492 Kbits/sec                  receiver
Da ich keinerlei Einstellungen geändert habe bin ich etwas ratlos. Die Werte von der Firewall ins Internet und vom Client in green zu den Netzen auf der Firewall sind OK, aber warum nicht von green in Internet. Irgendeine Idee?

Beste Grüße, Oliver

StephanSandmann
Posts: 8
Joined: August 16th, 2010, 10:22 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by StephanSandmann » December 5th, 2018, 9:58 am

Hallo Oliver,

wenn ich deine Messungen richtig interpretiere waren die ersten 3 immer über nur 1 Bridge/Schnittstelle
und im 4.ten Fall über 1 Bridge und die durchgereichte Netzwerkkarte.
Wenn ja dann bricht der Durchsatz erst mit 2 Schnittstellen/Bridges ein, was durchaus auf CPU-Last schliessen lässt.
Oder Features der Netzwerkkarte werden nicht genutzt wie Offloading ...

Hast du mal geschaut was die CPU-Last macht während du die Bridges/Schnittstellen auslastest?
Wenn die CPU-Last zu hoch geht aus welchem Grund auch immer dann bricht der Durchsatz natürlich ein.
Als Ursachen fallen mir ein:
Alles was IPFire so bietet und die CPU belastet Webproxy/Url-Filter/IDS, Downloaddrosselung im Proxy.
Oder ein "Hardware-Problem" wie bei mir damals mit dem IRQ. Durch ein Kernel update ist eine Änderung eingeflossen
durch die der I2C-Bus per Interrupt ausgelesen wurde. Das Interrupthandling hat bei mir dann einen Kern voll ausgelastet.
Anschauen kann man sich das mit:

Code: Select all

cat /proc/interrupts
Wenn man das ein paar mal hintereinander ausführt und die Werte vergleicht sieht man ob irgendein Interrupt oft stattfindet.
Bei mir waren das glaub so an die 7000 Interrupts pro Sekunde für den I2C-i801.

Hoffe das hilft erstmal ein Stück weiter.

Grüße
Stephan

yosamite99
Posts: 35
Joined: August 25th, 2011, 1:34 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by yosamite99 » December 5th, 2018, 5:32 pm

Hallo Stefan,

was sich mir nicht erschließt ist warum nach einem Upgrade ohne sonstige Änderungen der Durchsatz derartig einbricht!
Die durchgereichte Netzwerkkarte fällt nach meiner Überzeugung als Ursache aus, da ja der Verkehr von der IPFire zum Amazon Server mit normalen Werten funktioniert, Auch die CPU Last der IPFire kommt nicht in Betracht, die liegt bei den iperf3 Tests bei <10%.

Für mich als Laien sieht es eher nach einem Problem mit dem Routing zwischen RED und GREEN aus da der Durchsatz nur in dem Fall deutlich einbricht.

Ich werde jetzt mal eine x86_64 als vollvirtuallisiere Instanz einrichten und schauen, ob da gleiches/ähnliches passiert (auch wenn das wieder Stress mit den restlichen Familienmitgliedern bedeutet). In dem Zusammenhang teste ich dann auch mal die rote Karte als Bridge, wobei das aus meiner Sicht keinen Unterschied machen sollte (und vor allem nie hatte).

Ich werde weiter berichten.

Beste Grüße, Oliver

StephanSandmann
Posts: 8
Joined: August 16th, 2010, 10:22 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by StephanSandmann » December 5th, 2018, 10:15 pm

Hi Oliver,

kann bei Upgrades schon sein dass etwas unerwartetes passiert.
Immerhin werden ja Bestandteile des Betriebssystems geupdatet.
Hin und wieder ändert sich auch etwas an Standard Konfigurationen,
wenn man dann keine eigene Config erstellt hat greift der veränderte Defaultwert.
So war's bei mir mit dem Kernel-Treiber für den I2C bus.

Ich drück dir die Daumen.

Grüße
Stephan

imker25
Posts: 18
Joined: December 2nd, 2018, 5:01 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by imker25 » December 6th, 2018, 6:01 pm

Hallo Zusammen,

ich habe exakt das gleiche Verhalten wie yosamite99. Meine Messwerte, ich habe statt IPerf wget verwendet, sind in diesem Thread dokumentiert: viewtopic.php?t=21988

Und bei tratten die Probleme erst mit 125 auf. Aber sonst exat das gleiche. Auch mein Setup entspricht dem von yosamite99 ziemlich genau. Xen Dom0 ist ein Ubuntu 18.04, und das Red Instferace ist per PCI Pass-through in den IPFire hinein gemappt.

Achja, auch ich habe schon einige Kombinationen probiert (PVM, HVM, ...), wie man dem anderen Thread entnehmen kann. Das hatte bisher alles keine Auswirkung auf das Verhalten.

Den Tipp Stephan mal folgend habe ich nun auch schon mal einen Blick in die /proc/interrupts geworfen. Meines erachtens passiert da nichts ungewöhnliches. Solange ich nichts mache gibt es auch keine nennenswerten Interrupts. Wenn ich jedoch einen Download mache, dann steigen die Interrupts auf dem Red Interface und auf dem Interface an dem der Client hängt an. Was ja auch normal ist, da ja jedes ankommende bzw. gesendete Packet bearbeitet werden will.

Was man da auch sieht, ist dass das schön Assymetrisch ist. Auf etwa 1000 Events auf Red kommen ein paar wenige auf Green. Was auch ziemlich genau dem Verhältnis zwischen eigentlicher Bandbreit (von IPFire über Red ins Netz) und Bandbreite an einem Client entspricht.
-> Das passt schon so

Achja, die CPU Last ist bei mir laut htop immer nahe 0% egal ob ich auf einem Client oder auf IPCop runter lade.
Alles sehr misteriös.

imker25
Posts: 18
Joined: December 2nd, 2018, 5:01 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by imker25 » December 6th, 2018, 8:51 pm

Hallo,

ich heute nochmal ein bischen rum gespielt und mir die Auslastung der Dom0 und der ganzen VMs mal näher angesehen.
Aber auhc da gibt es nichts auffälliges. xentop sagt, dass weder Dom0 noch die IPFire VM irgendwelchen Stess hätten. Egal ob ich versuche was runter zu laden oder nicht.

StephanSandmann
Posts: 8
Joined: August 16th, 2010, 10:22 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by StephanSandmann » December 7th, 2018, 5:25 pm

Hallo Imker,

da du eh vorhast IPFire neu zu installieren, mal ein paar Gedankengänge von mir dazu.

Eigene Installation Core124 x86-64 (Image selbst zerbröselt und in LV's verteilt) nach Update auf Core 125 - OK.
Deine Installation Core124 nach Update auf Core125 - Fail.
Deine Installation nach Neuinstallation (Core125?) und Rückspielen Backups - Fail.

Wenn ich mir meine Liste oben anschaue schliesse ich:
1. Es liegt nicht grundsätzlich am IPFire.
2. Wenn überhaupt hat die Problematik entweder
a. Hardwarebezug
b. Settingsbezug
zu 2.a.:
Wäre ein Fall wie ich es schon mal hatte dass sich Konfigurationsoptionen geändert haben welche zufällig gerade deine Hardwareplattform betreffen.
zu 2.b.:
Liegt das Problem eventuell in deinen Backups ? Eventuell ist beim Upgrade prozess ja was schiefgelaufen und du hast es per Backup zementiert.
Hierfür würde sprechen wenn du 2 Versionen des IPFire mit dem selben Problem hast, eine Core125 durch Update aus Core124, und eine native Core125.
Einmal testen ohne rückspielen der Backups, notfalls ein paar Dinge von Hand richten.

Grüße
Stephan

yosamite99
Posts: 35
Joined: August 25th, 2011, 1:34 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by yosamite99 » December 7th, 2018, 7:04 pm

Hi Stefan,

habe jetzt diverseste Installationen durchgespielt. Der Schwenk auf x86_64 fällt wegen dann verlorener Logdateien aus.
Bei einer vollvirtuallisierten i586 Installation klappt zwar die Übernahme der Konfig und der Logs, allerdings habe ich dann bei jedem Neustart die Meldung "Brocken Upstream DNS-Server" und folglich kein DNS. Dies läßt sich durch den Aufruf des Setup-Programms auf der Konsole zwar beheben, allerdings nur bis zum nächsten Reboot.
Was ich interessant fand ist der Punkt, dass beim Update von 120 auf 121 in der vollvirtuallisierten Version ein PAE Kernel angeboten wird (der hierbei ja nicht notwendig ist) wärend bei der PV eben keiner angeboten wird.

Nun ja, to make a long story short, ich gebe jetzt erstmal auf. Habe schon zuviel Zeit auf einen eigentlich simplen Prozess verschwendet. Vielleicht schaue ich mir das zwischen den Tagen nochmal an.

Vielen Dank für deine Hilfe und ein schönes Fest.

Oliver

imker25
Posts: 18
Joined: December 2nd, 2018, 5:01 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by imker25 » December 7th, 2018, 10:10 pm

Hallo,

also ich habe mir vorgenommen das ganze morgen nochmal zu beleuchten.
Der Tipp von Stefan mit den Settings ist denke ich nciht schlecht.
Ich werde mal schaun ob ich bei einer PVM Neuinstalation mit den Default Settings eine vernüftige Bandbreite auf den Clients bekomme.
Wenn nicht versuche ich das gleiche nochmal mit einer HVM. Als HVM kann ich ja dann auch 32 und 64 Bit Version testen.
-> Wenn ich da nie eine gute Bandbreite hin bekomme, dann liegt es wohl an der Kombination aus Hardware, Xen und IPFire Core 125

Dann spiele ich Core 124 wieder ein und mache ert mal kein Update auf Core 125.
-> Gefällt mir zwar überhaupt nicht. Aber diese Performace ist leider auch kein tragbarer Zustand

Ich werde auf jeden Fall berichten.

Gruß
Imker

imker25
Posts: 18
Joined: December 2nd, 2018, 5:01 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by imker25 » December 7th, 2018, 10:19 pm

Und Oliver,

die DNS Probleme kenne ich schon seit ein paar Versionen. Ich habe mir angewöhnt, mich nach einem Neustart von IPFire auf der Console einzuloggen (ssh) und in die /etc/resolv.conf von Hand einen gültigen DNS Server einzutragen. By Default steht da immer 127.0.0.1, egal was man auf der Weboberfläche einstellt >:(

Da wollte ich auch schon lange mal einen Bug aufmachen....

yosamite99
Posts: 35
Joined: August 25th, 2011, 1:34 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by yosamite99 » December 8th, 2018, 11:21 am

Hi Imker25,

das ist aber kein akzeptabler Zustand, auch wenn die Firewall nicht häufig neu gestartet werden muss. Ich habe auch bei meinen ganzen Tests den Eindruck gewonnen, dass der Upstream DNS-Server Fehler nur nach dem Einspielen eines Backups auftritt, nicht, wenn man die frisch installierte Instanz von Hand editiert.

Konntest du ähnliches beobachten?

Was mir bei der Installation der HVM i586 Installation noch aufgefallen ist: Die Netzwerkkarte für Green wird mit Hardwareangaben UND der fiktiven MAC der Bridge im Setuptool angeboten. Bei der PV wurde immer nur die Bridge als XEN-vif gezeigt.

Beste Grüße

Oliver

P.S. Ich bleibe im Moment auch bei meiner 120, der Speedverlust ist nicht tolerabel. Und ich wundere mich immer noch, das das nur für Download gilt, der Upload ist bei mir nicht betroffen.

imker25
Posts: 18
Joined: December 2nd, 2018, 5:01 pm

Re: IPfire Xen DomU - Download nach Upgrade auf 123, 124 und 125 extrem langsam

Post by imker25 » December 8th, 2018, 3:14 pm

Hallo,

also es liegt wohl nicht am zurückspielen des Backup. Direkt nach der Installation, noch ohne irgendwas eingestellt zu haben, ist meine Bandbreite schon weg. Egal on 32bit oder 64bit HVM. Die PVM Version habe ich nicht nochmal getestet. Aber ich denke das würde auch nichts ändern.

Post Reply

Who is online

Users browsing this forum: No registered users and 3 guests