Net-Traffic - Werte für Down/Upload falsch/unvollständig - seit Core 122 wieder da

BeBiMa
Posts: 2635
Joined: July 30th, 2011, 12:55 pm
Location: Mannheim

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by BeBiMa » March 22nd, 2018, 8:50 pm

So,

ich habe mir gerade mal die Mühe gemacht, ein Testszenario nachzustellen ( auf Grundlage der vorhandenen Informationen):

Annahme:
  • die Bytezähler laufen über, wenn nur alle 5 Min gemessen wird bei 120MBit/s.
  • Bei meiner Internet-Bandbreite von 32MBit/s fällt die gleiche Menge in der 4-fachen Zeit an ( konservativ abgeschätzt; 4*32=128, meine wirkliche Bandbreite liegt sogar wohl bei bis zu 36MBit/s).
Test:
  • Änderung der Aufrufperiode von makegraphs ( enthält vnstat -u) auf 20 Minuten(4*5)
  • zweifacher Download der Knoppix-DVD (4,2 GB)
  • Auslesen der übertragenen Daten per vnstat -h -i red0
Ergebnis: Es geht nichts verloren. ( Empfangene Daten > 8,4GB )

Wenn ich keinen Denkfehler begangen habe, muss der berichtete Fehler also irgendwo anders gelegen haben.
Eine Simulation der Netzwerk-Karten/-Treiber von Zonediver ist natürlich nicht eingeschlossen.

Ergänzung: Der Parameter "SaveInterval" wird nur vom Dämon vnstatd verwendet. Dieses Programm ist in IPFire 2.19 - Core Update 119 nicht vorhanden.
Geprüft durch Suchen in den Quellen von vnstat-1.17 .
Image
Unitymedia Cable Internet ( 32MBit )

BeBiMa
Posts: 2635
Joined: July 30th, 2011, 12:55 pm
Location: Mannheim

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by BeBiMa » March 23rd, 2018, 12:19 am

Nach intensiver PM mit Zonediver ergibt sich folgender Befund:

Die Bytezähler des Interface ( geliefert von /proc/net/dev, dies liest vnstat aus ) sind offensichtlich nur 32 Bit weit.
Da bei Raten > 100MBit/s in 5 Minuten mehr als 2^32 Bytes übertragen werden, kann die ganzzahlige Differenz nicht mehr gültig bestimmt werden.
Darum muss der vnstat-Update häufiger erfolgen.
Dies erfolgt durch Änderung des Eintrags für /usr/local/bin/makegraphs in der fcrontab.
Dies führt allerdings zum einer höheren Last, da nun ebenfalls alle 1/2/3 Minuten die HDD-Werte ausgelesen werden. Die RRD kann das ab, sie erwartet grundsätzlich asynchrone Datenupdates.
Andere Statistiken, ausser Net-Traffic und HDD, sind davon nicht beeinflusst, da diese von collectd bearbeitet werden.

Der Effekt der Korrektur durch den Parameter "SaveInterval" in /etc/vnstat.conf konnte nicht verifiziert werden. ( s.o. )

Alternativ würde sich auch die Hinzunahme des vnstatd anbieten, dann wäre auch obengenannter Parameter aktiv.
Image
Unitymedia Cable Internet ( 32MBit )

Zonediver
Posts: 228
Joined: June 15th, 2011, 1:36 pm

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by Zonediver » March 23rd, 2018, 10:56 am

BeBiMa wrote:
March 23rd, 2018, 12:19 am
Nach intensiver PM mit Zonediver ergibt sich folgender Befund:

Die Bytezähler des Interface ( geliefert von /proc/net/dev, dies liest vnstat aus ) sind offensichtlich nur 32 Bit weit.
Da bei Raten > 100MBit/s in 5 Minuten mehr als 2^32 Bytes übertragen werden, kann die ganzzahlige Differenz nicht mehr gültig bestimmt werden.
Darum muss der vnstat-Update häufiger erfolgen.
Dies erfolgt durch Änderung des Eintrags für /usr/local/bin/makegraphs in der fcrontab.
Dies führt allerdings zum einer höheren Last, da nun ebenfalls alle 1/2/3 Minuten die HDD-Werte ausgelesen werden. Die RRD kann das ab, sie erwartet grundsätzlich asynchrone Datenupdates.
Andere Statistiken, ausser Net-Traffic und HDD, sind davon nicht beeinflusst, da diese von collectd bearbeitet werden.

Der Effekt der Korrektur durch den Parameter "SaveInterval" in /etc/vnstat.conf konnte nicht verifiziert werden. ( s.o. )

Alternativ würde sich auch die Hinzunahme des vnstatd anbieten, dann wäre auch obengenannter Parameter aktiv.
Gestern ist der Fire abgestürtzt - kein Zugriff mehr auf das Web-Interface oder per ssh - Ursache unbekannt... ???
Nach einem "HardReset" hab ich das Intervall in der fcrontab (und sicherheitshalber auch in der vnstat.conf) nun auf 3 Minuten gestellt und jetzt funktioniert alles wie es soll. Offenbar können die Zähler nun nicht mehr "überlaufen".
Aber auch hier die Frage: Überlebt das Setting ein zukünftiges Update?
Ich wundere mich ja nur, dass ich der Einzige bin, der dieses Problem hatte - es muß doch noch mehr Leute geben, die einen inet-Anschluß schneller als 100MBit haben...
http://fireinfo.ipfire.org/profile/ad4c ... dea75c84e2

Hardware: ASRock Q1900M, 2GB-RAM, 120GB-SSD, 2x Intel i210-T1 PCIe

BeBiMa
Posts: 2635
Joined: July 30th, 2011, 12:55 pm
Location: Mannheim

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by BeBiMa » March 23rd, 2018, 12:06 pm

Es geht hier um die Datenmenge.
Wie oben aufgeführt, kann ich das Problem durch Verlängerung der Updateperiode auch auf einem langsameren Internetanschluss nachstellen. Eigentlich hatte ich angenommen, dass aufgrund meines Systems nur 32-Bit-Zähler benutzt werden. Dies hätte den beschriebenen Effekt erzeugt.
Aber selbst diese alten, langsamen NICs auf meinem ALIX haben 64-Bit-Zähler.

Die per PM zugesendeten Status-Abfragen zeigen aber eindeutig für die i210-T1-NICs auf Deinem System 32-Bit-Zähler. Was die Ursache ist, entzieht sich meiner Kenntnis.

Die Einstellung auf eine Periode von 3 Minuten sollte funktionieren. Wie in meinem letzten Post geschrieben, erhöht dies nur die Prozessorlast geringfügig und ist verträglich mit der HDD-Daten-Sammlung per RRD.

SERVICE: In dieser Konfiguration empfiehlt sich eine Periodenanpassung ab einer Internet-Bandbreite von 190 MBit/s.
Abschätzung: T=572/B ; T...Periode in Minuten, B...Bandbreite in MBit/s. ( 572 = 2^32 Bytes * 8 / 10^6 / 60s )
Image
Unitymedia Cable Internet ( 32MBit )

Zonediver
Posts: 228
Joined: June 15th, 2011, 1:36 pm

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by Zonediver » March 23rd, 2018, 12:12 pm

Kann man das irgendwie an die Entwickler weitergeben, das die mal prüfen, warum für die Intel i210 nur 32Bit Treiber in Verwendung sind?
http://fireinfo.ipfire.org/profile/ad4c ... dea75c84e2

Hardware: ASRock Q1900M, 2GB-RAM, 120GB-SSD, 2x Intel i210-T1 PCIe

User avatar
Arne.F
Core Developer
Core Developer
Posts: 7977
Joined: May 7th, 2006, 8:57 am
Location: BS <-> NDH
Contact:

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by Arne.F » March 28th, 2018, 8:29 am

Kann man das irgendwie an die Entwickler weitergeben, das die mal prüfen, warum für die Intel i210 nur 32Bit Treiber in Verwendung sind?
Das ist ein Bug im Treiber oder die HW hat nur 32bit counter...
Ich hab da schon einiges gepatcht weil der Treiber echt doof ist:
https://git.ipfire.org/?p=ipfire-2.x.gi ... 19740f3de8
Evtl wird das auch dadurch erst verursacht...

Habt ihr mal getestet ob das mit dem 4.14er kernel immernoch ist?
https://people.ipfire.org/~arne_f/highl ... al/kernel/
Arne

Support the project on the IPFire whishlist!

Image

Image

Image
PS: I will not answer support questions via email and ignore IPFire related messages on my non IPFire.org mail addresses.

BeBiMa
Posts: 2635
Joined: July 30th, 2011, 12:55 pm
Location: Mannheim

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by BeBiMa » March 28th, 2018, 11:22 am

Bei 32Bit-Zählern und Bandbreiten >100MBit sollten wir den vnstatd - Dämon nutzen. Der liest die Zähler öfter und damit rechtzeitig aus.
Denn an einem Defizit des Treibers herum zu doktern, der wohl auch von Intel-Mitarbeitern mit gepflegt wird, ist nur Flickwerk.

Meine subjektive Meinung: Für einen GBit-NIC nur 32Bit-Zähler zu liefern, ist eigentlich Pfusch. Wenn schon meine Realtek-NICs (100 MBit) im Alix 64-Bit-Zähler realisieren.
Image
Unitymedia Cable Internet ( 32MBit )

TheClaw
Posts: 3
Joined: April 14th, 2018, 10:47 am

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by TheClaw » April 14th, 2018, 11:10 am

@arne.f
mal ne Rückmeldung. Ich teste grade den Kernel 4.14.32-ipfire,seit seit ca 2 Wochen mit core 119. Es läuft wunderbar, auch QOS funzt wieder wie es soll. Bandbreitencounter sehen plausibel aus. :)

Zonediver
Posts: 228
Joined: June 15th, 2011, 1:36 pm

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by Zonediver » April 14th, 2018, 11:38 am

TheClaw wrote:
April 14th, 2018, 11:10 am
@arne.f
mal ne Rückmeldung. Ich teste grade den Kernel 4.14.32-ipfire,seit seit ca 2 Wochen mit core 119. Es läuft wunderbar, auch QOS funzt wieder wie es soll. Bandbreitencounter sehen plausibel aus. :)
Mit welcher inet-Bandbreite? Mehr als 100MBit?
http://fireinfo.ipfire.org/profile/ad4c ... dea75c84e2

Hardware: ASRock Q1900M, 2GB-RAM, 120GB-SSD, 2x Intel i210-T1 PCIe

TheClaw
Posts: 3
Joined: April 14th, 2018, 10:47 am

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by TheClaw » April 14th, 2018, 12:05 pm

jo mit Kabel 500/50

Zonediver
Posts: 228
Joined: June 15th, 2011, 1:36 pm

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by Zonediver » April 14th, 2018, 12:58 pm

TheClaw wrote:
April 14th, 2018, 12:05 pm
jo mit Kabel 500/50
Super! Dankeschön ;)
http://fireinfo.ipfire.org/profile/ad4c ... dea75c84e2

Hardware: ASRock Q1900M, 2GB-RAM, 120GB-SSD, 2x Intel i210-T1 PCIe

BeBiMa
Posts: 2635
Joined: July 30th, 2011, 12:55 pm
Location: Mannheim

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by BeBiMa » April 14th, 2018, 11:10 pm

Zonediver wrote:
April 14th, 2018, 12:58 pm
TheClaw wrote:
April 14th, 2018, 12:05 pm
jo mit Kabel 500/50
Super! Dankeschön ;)
Nochmal für mein Verständnis ( ich bereite eigentlich Patches zur Aktivierung des vnstat Dämon vor ):
- die Anzeige in "Net-Traffic" enthält die vollständige Download-Datenmenge
- es wird bei Euren System der Intel-NIC i210-T1 mit Treiber igb eingesetzt
- es erfolgten Downloads über längere Zeit ( ca. 4 min) mit vollen Bandbreite ( also bei TheClaw mit 500MBit/s )
- die einzige Änderung ist der Parameter SaveInterval

Wenn das so ist und meine obige Beschreibung der Systeme und Lösung vollständig ist, kann ich mir die Änderung ersparen, denn Ihr seid ja glücklich und ich nutze diese NIC und die Treiber nicht. ;)
Die Parameteränderung ist ja wohl auch durch Matthias schon in die nächste Coreversion eingeflossen.
Image
Unitymedia Cable Internet ( 32MBit )

TheClaw
Posts: 3
Joined: April 14th, 2018, 10:47 am

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by TheClaw » April 16th, 2018, 5:57 pm

@BeBiMa

ich nutze ne broadcom also tg3(red0) und ne Intel Corporation 82571EB(green0) also e1000e. Und ne onboard Realtek für blue0 Eine Intel hab ich mal rausgeschmissen weil die immer Probleme machte, möglich das es eine IGB war, kann es nicht mehr 100% sagen. Habe grade 5min lang ein 1 gbit file runtergeladen per wget was meine Leitung so um diese Zeit hergibt. Das Net-Traffic-Diagramm für gree0 zeigt ziemlich genau zwischen 40-42mbytes an, was sich mit wget auch deckt. Die Werte in der Trafficübersicht passen auch.Die fcrontab hab ich auf 2min geändert:
# Make some nice graphs
*/2 * * * * /usr/local/bin/makegraphs >/dev/null

Da ich grade keine Intel-NIC i210-T1 im System habe wird dir das grade nichts nützen, aber grundsätzlich scheint das alles zu funktionieren.Wollte wenigstens Antworten :D Habs mit dem 3.14.19 nicht so genau getestet aber die Werte erschienen mir immer deutlich zu niedrig.

BeBiMa
Posts: 2635
Joined: July 30th, 2011, 12:55 pm
Location: Mannheim

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by BeBiMa » April 16th, 2018, 8:06 pm

TheClaw wrote:
April 16th, 2018, 5:57 pm
@BeBiMa

ich nutze ne broadcom also tg3(red0) und ne Intel Corporation 82571EB(green0) also e1000e. Und ne onboard Realtek für blue0 Eine Intel hab ich mal rausgeschmissen weil die immer Probleme machte, möglich das es eine IGB war, kann es nicht mehr 100% sagen. Habe grade 5min lang ein 1 gbit file runtergeladen per wget was meine Leitung so um diese Zeit hergibt. Das Net-Traffic-Diagramm für gree0 zeigt ziemlich genau zwischen 40-42mbytes an, was sich mit wget auch deckt. Die Werte in der Trafficübersicht passen auch.Die fcrontab hab ich auf 2min geändert:
# Make some nice graphs
*/2 * * * * /usr/local/bin/makegraphs >/dev/null

Da ich grade keine Intel-NIC i210-T1 im System habe wird dir das grade nichts nützen, aber grundsätzlich scheint das alles zu funktionieren.Wollte wenigstens Antworten :D Habs mit dem 3.14.19 nicht so genau getestet aber die Werte erschienen mir immer deutlich zu niedrig.
Dann hat das Problem wohl auch nicht betroffen. :D
Ich vermute mal, dass Deine Zähler 64Bit-weit sind. (Wobei 500MBit/s und 2 Minuten Ausleserate gerade so 2^32 Byte ausschöpfen. )
Und die Reduzierung der makegraphs-Periode auf 2 Minuten war auch nicht die "eigentliche Lösung". Um es genau zu sagen, gar keine Lösung. Damit werden nämlich auch alle 2 Minuten die HDD-Parameter ausgelesen.

Trotzdem, Danke für die Antwort
Bernhard
Image
Unitymedia Cable Internet ( 32MBit )

Zonediver
Posts: 228
Joined: June 15th, 2011, 1:36 pm

Re: [SOLVED] Net-Traffic - Werte für Down/Upload falsch/unvollständig

Post by Zonediver » May 24th, 2018, 8:57 am

UPDATE:

Ich mußte das Setting nun erneut anpassen, da der Speed auf der inet-Leitung von 125 auf 300Mbit erhöht wurde und das "3 Minuten-Setting" wieder zu falschen Anzeigen geführt hat.
Jetzt steht es auf 2 Minuten... langsam wird's eng ;)
Ist für dieses Problem eine "brauchbare" Lösung in Sicht? Wie BeBiMa schon ausführte, ist das nämlich wirklich keine Lösung.
http://fireinfo.ipfire.org/profile/ad4c ... dea75c84e2

Hardware: ASRock Q1900M, 2GB-RAM, 120GB-SSD, 2x Intel i210-T1 PCIe

Post Reply

Who is online

Users browsing this forum: No registered users and 8 guests