| istaz (~olivier@123.206-241-81.adsl-dyn.isp.belgacom.be) joined #fai. |
| istaz_ (~olivier@179.240-242-81.adsl-dyn.isp.belgacom.be) left irc: Ping timeout: 480 seconds |
| istaz_ (~olivier@182.19-241-81.adsl-dyn.isp.belgacom.be) joined #fai. |
| istaz (~olivier@123.206-241-81.adsl-dyn.isp.belgacom.be) left irc: Ping timeout: 480 seconds |
| siggg (~jean@tra78-5-88-172-128-32.fbx.proxad.net) joined #fai. |
| ErKa (keryell@keryell.pck.nerim.net) joined #fai. |
| siggg (~jean@tra78-5-88-172-128-32.fbx.proxad.net) left irc: Ping timeout: 480 seconds |
| ErKa (keryell@keryell.pck.nerim.net) left irc: Ping timeout: 480 seconds |
| 09:36 stockholm | i try to figure out why an installation/server is soooooo very slow. |
| 09:36 stockholm | it takes long breaks every now and then, then works with normal speed for a second and then pauses again for minutes |
| 09:37 stockholm | if i do top or iostat then the box seems totally idle. |
| 09:37 stockholm | no big iowait , no cpu, nothing, really |
| 09:38 stockholm | i see the processes (aptitude and dpkg) |
| 09:38 stockholm | where dpkg is a zombie |
| 09:39 stockholm | and i see this: 6172 tty1 S+ 0:00 sleep 1 |
| 09:39 stockholm | 6172 tty1 S+ 0:00 sleep 1 |
| 09:55 oz_ | stockholm: strace it... |
| 09:55 oz_ | maybe you end up with a misconfigured name server |
| 09:56 stockholm | this phenomen only manifests on a few (of a lot of identical) servers |
| 09:57 stockholm | oz_: but yes, i need to strace it |
| 09:57 stockholm | somehow... |
| 09:57 stockholm | bruteforce strace seems pointless as so much goes on |
| 09:59 oz_ | stockholm: grep open <stracefile> alone helps often |
| 09:59 oz_ | and grep -i poll <stracefile> |
| 10:00 oz_ | I like strace output, the more, the better |
| 10:00 oz_ | you can use it to impress custumers, too ;) |
| 10:02 stockholm | lol |
| 10:02 stockholm | so you strace to a file? |
| 10:03 stockholm | where would you start? |
| 10:03 oz_ | costomers, even |
| 10:03 stockholm | yes, those too! :-) |
| 10:03 oz_ | fsck... customers. *hrmf* |
| 10:03 oz_ | :) |
| 10:04 oz_ | stockholm: strace -o /tmp/bla -f -p <pidofFAI> |
| 10:04 oz_ | grab the entire install process...so you'll miss nada |
| 10:04 stockholm | it starts to stutter quite early... |
| 10:05 stockholm | even in the initrd i think |
| 10:05 oz_ | geee.... |
| 10:05 stockholm | does it do dns stuff in initrd? |
| 10:05 stockholm | now it got into fai... |
| 10:05 oz_ | network relies on dns... |
| 10:06 oz_ | but depends...that DNS just was an example I stumbled over this week |
| 10:06 oz_ | we had a server, which was running...but sloooooooow |
| 10:06 oz_ | I straced it, and we saw that it asked for a dns behind their firewall |
| 10:07 oz_ | i could have used tcpdump too, though... |
| 10:07 oz_ | but that produces even more output :) |
| 10:07 stockholm | righ.. |
| 10:11 oz_ | <de>holzhammermethode</de> |
| 10:11 stockholm | kriege ich vielleicht auch noch timestamps in syslog?? |
| 10:12 stockholm | -r |
| 10:13 stockholm | oz_: wie kann ich das denn möglicherweise in meinen config space reinhängen? |
| 10:13 stockholm | so dass er möglichst früh anfängt zu sysloggen? |
| 10:13 stockholm | eartoast: ? |
| 10:13 stockholm | eartoast: ^ |
| 10:14 oz_ | strace doch erstmal einfach das was grad läuft.... |
| 10:14 oz_ | ich glube soviel aufwand brauchts gar net |
| 10:14 oz_ | einfach schauen, was er macht, wenn er 'nichts' macht |
| 10:15 oz_ | meist pollt es da doof rum wegen $irgendwas |
| 10:39 _spq | ro nfs? |
| 11:51 stockholm | ro? |
| 11:51 stockholm | ich glaube nicht |
| 11:51 _spq | read only... |
| 11:52 stockholm | ja, i got it |
| 11:52 _spq | ansonsten kann es natürluich sein das server A irgendwas macht das server B warten lässt log fiels oder so |
| 11:52 _spq | lock |
| 11:52 _spq | nicht log |
| 11:58 oz_ | wildes raten verschwendet viel zeit... |
| 11:58 oz_ | was sagen denn die logs? |
| 12:04 stockholm | ich muss mit timestamp das ganze nochmal machen, ohne sieht man im log die pausen garnicht. |
| 12:04 stockholm | ich war einkaufen währenddessen |
| 12:20 stockholm | -r zeigt wie lange ein syscall gebraucht hat. |
| 12:20 stockholm | das ist genau das richtige |
| 12:20 stockholm | dann kann ich mit sort -k 2 -n (hoffentlich) einfach den übeltäter finden (wenn das hier mal bald fertig ist) |
| 12:24 oz_ | ???? |
| 12:39 stockholm | ja, ich habe jetzt eine liste mit den langsamen syscalls.... ich lade sie mal irgendwo hoch weil ich nämlich kein gutes muster sehe |
| ErKa (keryell@keryell.pck.nerim.net) joined #fai. |
| 12:50 stockholm | http://www.schuldei.org/slow |
| 12:50 stockholm | uname ist langsam |
| 12:50 stockholm | (wenn ich uname auf der kommandozeile ausführe ist es ganz normal schnell) |
| 12:51 oz_ | stockholm: der straceoutput wäre interessant |
| 12:51 stockholm | oz_: den habe ich auch. |
| 12:51 stockholm | moment |
| 12:52 oz_ | was sagt denn hdparm? |
| 12:56 oz_ | hm. I need FAI artwork |
| 12:56 oz_ | :=) |
| 12:59 stockholm | das ist ein raid in der kiste |
| 12:59 stockholm | und ich versuche gerade das file auf einen gut verbunden rechner im selben cluster hochzuladen... |
| 13:08 stockholm | oz_: www.schuldei.org/bla.gz |
| 13:08 stockholm | mann mann, das war schwer |
| 13:09 stockholm | da hat mich das ssh connection multiplexing in die pfanne gehauen. |
| 13:59 oz_ | hm. |
| 13:59 oz_ | COLOR_FAI_LOGO=0, nevertheless I see the ugly thing |
| Action: oz_ feels annoyed a bit |
| 14:00 oz_ | stockholm: ssh multiplexing? |
| 14:01 stockholm | oz_: i use ssh connection multiplexing so that secondary connections to the same server are established quicker |
| 14:02 stockholm | aber jetzt wollte ich auch noch ssh -A (also ssh agent forwarding) benutzen um sachen auf den dritten server zu kopieren |
| 14:02 stockholm | aber das ging erst als ich alle connections zum ersten server geschlossen hatte und mit -A wieder aufgebaut hatte |
| 14:03 stockholm | oz_: hast du eine idee woran die langen pausen hängen können? |
| 14:03 stockholm | uname ist ja ein verdächtiger |
| 14:04 oz_ | hab noch nicht geschaut, ne |
| 14:05 oz_ | hui, is echt ne menge stoff |
| 14:05 oz_ | 24M komprimiert |
| Action: oz_ macht immer noch mit usplash in der nfsroot rum |
| 14:06 oz_ | usplash bricht immer wieder ab |
| 14:26 stockholm | kann ich irgendwie den top level fai prozess time'en? |
| 14:26 stockholm | dann kann ich sehen wieviel zeit im kernel userspace etc vergeht |
| 15:16 oz_ | stockholm: oje, da meldet nscd viel... |
| 15:16 oz_ | 0.000025 poll([{fd=3, events=POLLIN, revents=POLLIN}], 1, 5000) = |
| 15:17 oz_ | stockholm: war es das ssh problem, oder wie? |
| 15:19 stockholm | nee, ssh habe ich garnicht mitgetraced |
| 15:19 stockholm | nscd sollte da nicht laufen. |
| 15:22 oz_ | hast du es schon gefixed? |
| allee (~ach@dialin-212-144-131-013.pools.arcor-ip.net) joined #fai. |
| alleeHol (~ach@dialin-212-144-130-033.pools.arcor-ip.net) joined #fai. |
| allee (~ach@dialin-212-144-131-013.pools.arcor-ip.net) left irc: Read error: Connection reset by peer |
| siggg (~jean@tra78-5-88-172-128-32.fbx.proxad.net) joined #fai. |
| alleeHol (~ach@dialin-212-144-130-033.pools.arcor-ip.net) left irc: Read error: Connection reset by peer |
| alleeHol (~ach@dialin-212-144-131-236.pools.arcor-ip.net) joined #fai. |
| alleeHol (~ach@dialin-212-144-131-236.pools.arcor-ip.net) left irc: Ping timeout: 480 seconds |
| 18:48 stockholm | oz_: ja, sicher, längst. :-) |
| 18:48 stockholm | das file liegt hier: |
| 18:48 stockholm | http://www.schuldei.org/bla.gz |
| 18:51 oz_ | stockholm: dann is ja gut ;) |
| Action: stockholm ist gespannt was du sagst... |
| 18:59 stockholm | ich wollte noch versuchen das mit einer cpu/core zu installieren. |
| Action: oz_ hat immer noch keinen splash-screen install |
| 19:06 stockholm | ich will mir nochmal ein besseres login bild als das DEBIAN teil basteln |
| 19:09 oz_ | mit splash säh es super-sauber aus... |
| 19:10 stockholm | ja |
| 19:14 oz_ | aber irgendwie...bekomm ich keine rechte idee wie ich das in fai einbau mit dem usplash progress |
| 19:36 oz_ | hm. das wird echt voll das ubuntu re-engineering... |
| 19:36 oz_ | oder gibt's da ein HowTo für? |
| 19:37 stockholm | hast du mal mein strace angeschaut? |
| alleeHol (~ach@dialin-212-144-130-033.pools.arcor-ip.net) joined #fai. |
| alleeHol (~ach@dialin-212-144-130-033.pools.arcor-ip.net) left irc: Ping timeout: 480 seconds |
| fai-guy (~fai-guy@p4FC21291.dip0.t-ipconnect.de) joined #fai. |
| 22:54 fai-guy | q |
| fai-guy (~fai-guy@p4FC21291.dip0.t-ipconnect.de) left irc: |
| --- Sun Sep 14 2008 |