Cluster
Hardware
Im Space sind 12 Clusternodes. Jeder Node hat:
- Core2Quad 2.4GHz
- 8GB ECC RAM
- 2 x SCI Interconnect Karten
- Local HDD (TODO)
Netzwerk
Die nodes sind nicht im "normalen" Clubnetz, sondern in 192.168.2/24. Filedrop ist in beiden und routes. allerdings liefert der CCCZH Router nicht die route ins Cluster-Netz aus. Dnsmasq gibt anhand der MAC-Adressen feste IPs, und zwar 192.168.2.(80+Node#)
OS/Boot/root
filedrop (hat atm den Lease 192.168.1.183) macht mittels dnsmasq TFTP und DHCP Server und serves rootfs via NFS. Je nach konkretem OS muss evtl der Kernel neu kompiliert werden, um das zu ermöglichen.
Konfiguration dnsmasq
Die Konfiguration des dnsmasq server is in der Datei "/etc/dnsmasq.d/clusterboot.conf" und hat folgenden Inhalt:
dhcp-boot=pxelinux.0
enable-tftp
tftp-root=/cluster/
dhcp-range=192.168.2.80,192.168.2.120
dhcp-host=00:1b:fc:99:63:ad,192.168.2.81,node1
dhcp-host=00:1b:fc:ee:f4:10,192.168.2.82,node2
dhcp-host=00:1b:fc:ee:f4:be,192.168.2.83,node3
dhcp-host=00:1b:fc:ee:f4:30,192.168.2.84,node4
dhcp-host=00:1b:fc:ee:f4:49,192.168.2.85,node5
dhcp-host=00:1b:fc:ee:f4:28,192.168.2.86,node6
dhcp-host=00:1b:fc:ee:f4:2d,192.168.2.87,node7
dhcp-host=00:1b:fc:ee:f4:7b,192.168.2.88,node8
dhcp-host=00:1b:fc:ee:f4:1c,192.168.2.89,node9
dhcp-host=00:1b:fc:ee:f4:ce,192.168.2.90,node10
dhcp-host=00:1b:fc:ee:f4:a2,192.168.2.91,node11
dhcp-host=00:1b:fc:ee:f4:35,192.168.2.92,node12
Konfiguration PXE Boot
ls -la /cluster/pxelinux.cfg/
01-00-1b-fc-99-63-ad
01-00-1b-fc-ee-f4-10
01-00-1b-fc-ee-f4-1c
01-00-1b-fc-ee-f4-28
01-00-1b-fc-ee-f4-2d
01-00-1b-fc-ee-f4-30
01-00-1b-fc-ee-f4-35
01-00-1b-fc-ee-f4-49
01-00-1b-fc-ee-f4-7b
01-00-1b-fc-ee-f4-a2
01-00-1b-fc-ee-f4-be
01-00-1b-fc-ee-f4-ce
cat /cluster/pxelinux.cfg/default
DEFAULT cluster-debian
LABEL cluster-debian
KERNEL vmlinuz-3.2.0-4-amd64
INITRD initrd.img-3.2.0-4-amd64
APPEND root=/dev/nfs nfsroot=192.168.2.1:/cluster/nodeimage,rsize=1048576,wsize=1048576
IPAPPEND 1
Node hinzufügen
das ist nicht spezifisch zur Clusterhardware, im Prinzip kann man jeden Rechner im Netz diesen als NFS-root-Quelle nutzen.
Files: filedrop:/cluster/cluster-tftp; filedrop:/etc/dnsmasq.d/clusterboot.conf
Man startet die hinzuzufügende Node. Sie muss PXE-boot machen. Sie wird von dnsmasq irgendeine IP kriegen, den Bootloader syslinux.0 und die default-configuration (eine Datei in /cluster/cluster-tftp). dnsmasq schreibt ins syslog, dass es keine syslinux-Konfiguration für diese Node findet. default nach 01-\${MAC-Adresse} kopieren und darin nodename für das eigentlich rootfs anpassen. rootfs kopieren in den soeben eingegebenen Port. in clusterboot.conf die neue Node als neuen dhcp-host definieren. Startet man die node neu, sollte sie ihr eigenes rootfs über NFS nutzen.
Link Topologie
Geplant (am 12.12.2012) ist ein bidirektionaler 4x3 Torus als Topologie für den Cluster-Interconnect. Die Nodes sind in Leserichtung von Node1 bis Node12 durchnummeriert.
Für einen bi-direktionalen Torus brauchen wir in jede Richtung (grosser und kleiner Radius) je zwei input und 2 output Links. Deshalb benötigen wir zwei SCI Karten pro Node.