Im Zuge der Verkleinerung der Event Installation ist eine Lösung entstanden, die LTE Uplink, Offloader, WLAN, Mesh und Client LAN, sowie einen Webserver für Dienste im Freifunk Netz realisiert.
Hardware
- APU.2D4 Board mit SSD
- Sierra Wireless MC7455 LTE Cat 6
- Compex WLE900VX 802.11ac Wireless LAN
- Alcatel IK40V LTE Cat. 4 USB Stick (optional)
Software
- Proxmox
- Freifunk Offloader VM
- Webserver VM
1 Proxmox installieren
Proxmox kann nicht direkt installiert werden, da das APU Board keine Grafikkarte hat und per seriellen Nullmodem Kabel die Installation erfolgt. Es wird ein USB-RS232 Adapter benötigt. Mit dem Linux Konsolen Terminal “screen” ist man dann verbunden. Der USB Port kann eine andere Nummer haben, je nachdem.
screen /dev/ttyUSB0 115200
Zunächst wird Debian Strech installiert. Download netinst, amd64 image von hier: https://www.debian.org/distrib/netinst und per
dd if=debian-9.1.0-amd64-netinst.iso of=/dev/sdX
auf einen USB Stick kopieren. Unbedingt auf das richtige Gerät achten. Den Stick am Board einstecken, serielle Verbindung herstellen und das APU Board starten.
Beim Boot Menü h drücken und
install console=ttyS0,115200n8
eingeben. Debian normal installieren, die minimale Einstellung nur verwenden.
Vorläufige /etc/network/interfaces
source /etc/network/interfaces.d/*
auto lo
iface lo inet loopback
allow-hotplug enp1s0
iface enp1s0 inet static
address 192.168.5.1
netmask 255.255.255.0
gateway 192.168.5.254
nameservers 192.168.5.254
Die IP Adressen müssen an das Netzwerk, von wo aus installiert wird, angepasst werden. Da später ein DHCP Server läuft, darauf achten, dass es kein Konflikt mit dem Start Netzwerk gibt. Da das Gerät gleich per LTE online ist, kann nach dem Aufsetzen von Promox die Netzwerkeinstellungen, wie hier beschrieben, genommen werden.
Das eigentliche Proxmox
https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Stretch
/etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.5.1 proxmox.freifunk pvelocalhost # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback ff02::1 ip6-allnodes ff02::2 ip6-allrouters
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-install-repo.list
wget http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg
apt update && apt dist-upgrade
apt install proxmox-ve postfix open-iscsi
apt remove os-prober
Auf
https://192.168.5.1:8006
kann die Weboberfläche von Proxmox mit dem Browser aufgerufen werden.
2 Netzwerke einrichten
Mit der LTE Karte online gehen
Die Sierra Wireless MC7455 Karte hat einen Bug, sodass vor dem Einbauen sechs Pins abgeklebt werden müssen, nur auf einer Seite.
Es ist etwas kniffelig, mit LTE online zu kommen. Hier die wirre Anzahl an ausprobierten Befehlen:
Unbedingt die richtige SIM Pin angeben.
usb-devices apt install modem-manager apt install modemmanager mmcli -L mmcli -i 0 --pin=1234 usermod -a -G dialout benutzername mmcli -m 0 cat /etc/NetworkManager/system-connections/MyModem mmcli -m 0 -e mmcli -i 0 --pin=1234 nm-connection-editor apt-get install network-manager nm-connection-editor mmcli -m 0 -e mmcli -L apt install uuid mmcli -m 0 nmcli r wwan on nmcli connection add type gsm ifname cdc-wdm0 apn internet nmcli radio wwan on nmcli connection nmcli connection up gsm-cdc-wdm0 cd /etc/NetworkManager/system-connections/ nano gsm-cdc-wdm0 mmcli -m 0 -e nmcli con list nmcli dev status nmcli r wwan on nmcli con up id gsm-cdc-wdm0 nmcli networking on mmcli -m 0 | grep -Ev "imei|equipment" nmtui systemctl status NetworkManager lspci
Das geht sicherlich auch eleganter.
Netzwerkports
Die virtuelle Maschine braucht Bridges zu den Netzwerkports. Die LTE Karte wird nicht als Netzwerkkarte in Proxmox dargestellt. Bei anderen VMs kann diese als USB Gerät durchgeschliffen werden, doch das Freifunk Images unterstützt das nicht so einfach. Unser Ansatz ist LAN Port 1 mit einer Bridge zu versehen mit fester IP Addresse, sodass die Weboberfläche dort erreichbar ist, dass angeschlossene Geräte per DHCP Adressen bekommen und über ein NAT Gateway mit LTE online sind, Dieser Port 1 wird später auch der WAN Port für den Offloader. Port 2 und 3 werden Mesh LAN und Client LAN für Feifunk. Am Client Port hängt später das WLAN Interface, sowie der Webserver als VM im Freifunknetz.
Die komplette /etc/network/interfaces
source /etc/network/interfaces.d/* auto lo iface lo inet loopback allow-hotplug enp1s0 iface enp1s0 inet manual iface enp2s0 inet manual iface enp3s0 inet manual # WLAN allow-hotplug wlp4s0 iface wlp4s0 inet manual auto vmbr1 iface vmbr1 inet manual bridge-ports enp2s0 bridge-stp off bridge-fd 0 #Mesh Net Port 2 auto vmbr2 iface vmbr2 inet manual bridge-ports enp3s0 bridge-stp off bridge-fd 0 #Client Net Port 3 auto vmbr0 iface vmbr0 inet static address 192.168.5.1 netmask 255.255.255.0 bridge-ports enp1s0 bridge-stp off bridge-fd 0 #LAN DHCP Proxmox Port 1
Für die Bridge dies installieren:
apt-get install bridge-utils
NAT Gateway installieren:
apt-get install vlan modprobe 8021q apt-get install dnsmasq apt-get install iptables-persisten
nano /etc/dnsmasq.conf anpassen:
interface=vmbr0 listen-address=127.0.0.1 domain=proxmox.freifunk-dueren.de dhcp-range=192.168.5.100,192.168.5.150,12h
nano /etc/sysctl.conf anpassen:
net.ipv4.ip_forward=1 net.ipv6.conf.all.forwarding=1
nano /etc/iptables/rules.v4 anpassen:
*nat -A POSTROUTING -o wwp0s19u1u3i8 -j MASQUERADE COMMIT *filter -A INPUT -i lo -j ACCEPT # ssh erlauben, damit wir uns nicht selbst aussperren -A INPUT -i wwp0s19u1u3i8 -p tcp -m tcp --dport 22 -j ACCEPT # eingehenden Traffic erlauben der zu den ausgehenden Verbindungen, # u.a. für Clients aus dem Private-Netzwerk -A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT # alles andere eingehend verbieten -A INPUT -i wwp0s19u1u3i8 -j DROP COMMIT
Abschließend:
iptables-restore < /etc/iptables/rules.v4
WLAN Modul
Leider wird von der CPU PCI passthrough nicht unterstützt, d.h. das WLAN wird nicht über den Offloader bedient, sondern nur per Brücke an das Client Netz gehängt.
Auf der Proxmox Shell dies installieren:
apt-get install hostapd
Die Datei /etc/hostapd/hostapd.conf bearbeiten:
# Bridge-Betrieb bridge=vmbr2 # Schnittstelle und Treiber interface=wlp4s0 #driver=nl80211 # WLAN-Konfiguration ssid=Freifunk channel=11 hw_mode=g ieee80211n=1 ieee80211d=1 country_code=DE wmm_enabled=1
Diese Einträge in /etc/default/hostapd hinzufügen:
RUN_DAEMON=yes DAEMON_CONF="/etc/hostapd/hostapd.conf"
- Reboot
3 Freifunk Offloader VM
- Auf der Proxmox Weboberfläche https://192.168.5.1:8006 mit root einloggen.
- Neue VM erstellen
- Node vorgabe, VM ID etwas freies hier 101, Name Offloader
- In der erweiterten Ansicht kann Start at Boot aktiviert werden
- OS kein Medium auswählen und Type Linux 4x/3x/2.6 benutzen
- Harddisk Bus/Device SATA 0 Storage local Sitze 0,07 GiB Format RAW Disk Image Cache Write back
- CPU 1 Kern
- Memory 64 MiB
- Network erst einmal ohne Device
- Bestätigen
Auf der Konsole ins Verzeichnis /var/lib/vz/images/101 wechseln
wget https://images.aachen.freifunk.net/stable/factory/gluon-ffac-2016.2.7-1-stable-x86-64.img.gz gunzip gluon-ffac-2016.2.7-1-stable-x86-64.img.gz cp gluon-ffac-2016.2.7-1-stable-x86-64.img vm-101-disk-0.raw
- Auf der Proxmox Oberfläche unter 101 Hardware Harddisk aushängen und wieder einbinden.
- Bus Device SATA 0
- Disk Image vm-101-disk-0.raw
- Cache Write back
Der erste Start der Offloader VM darf erst erfolgen, wenn alle Netzwerkports richtig eingestellt sind.
- Unter Hardware hinzufügen Netzwerk Device
- Bridge vmbr1
- Model Virto
- Bestätigen
Dies wird auf dem Offloader LAN eth0 für den Config Mode. Später Mesh on LAN an Port 2 der APU.
- Unter Hardware hinzufügen Netzwerk Device
- Bridge vmbr0
- Model Virto
- Bestätigen
Dies wird eth1 für WAN VPN an Port 1
- Unter Hardware hinzufügen Netzwerk Device
- Bridge vmbr2
- Model Virto
- Bestätigen
Dies wird eth2 für das Client Netz an Port 3
Die VM kann gestartet werden.
Offloader konfigurieren
Der Config Mode ist exakt so, wie auf einem Freifunk Router. Er ist über Port 2 an der APU erreichbar.
- Im Experten Modus ein Passwort oder Key hinterlegen. Mesh on LAN aktivieren.
- Im normalen Modus die gewohnten Angaben und VPN aktivieren.
- Einstellungen speichern und den Config Mode abschließen.
Nach dem Neustart eine SSH Verbindung herstellen oder über den Proxmox Bildschirm auf die Konsole zugreifen:
uci add_list network.client.ifname=eth2 uci commit network
4 Webserver für Dienste im Freifunk Netz
Für den Server kann das Debian Netinstall iso Image genutzt werden.
Dieses mal gehen wir direkt auf die Proxmox Oberfläche und laden unter local Inhalt das ISO Images hoch.
- Neue VM erstellen
- Node vorgabe, VM ID etwas freies hier 102, Name Webserver
- In der erweiterten Ansicht kann Start at Boot aktiviert werden
- OS ISO Medium aus local auswählen: debian-9.1.0-amd64-netinst.iso
- Type Linux 4x/3x/2.6 benutzen
- Harddisk Bus/Device SATA 0 Storage local Sitze 10 GiB Format RAW Disk Image Cache no cache (normal)
- CPU 1 Kern
- Memory 1536 MiB
- Network Bridge vmbr2 Model Virto
- Bestätigen
Die Webserver VM kann gestartet werden und normal aufgesetzt werden.
Wenn die privacy extensions ausgeschaltet ist und die Mac Adresse nicht wechselt, der Server im gleichen Segment bleibt, wechselt die IPV6 Adresse nicht, solange alle Supernodes das gleiche Prefix announcen.
Ein DNS Name kann per responsd <Name>.nodes.ffac.rocks vergeben werden.
Alternativ kann auch ein DNS AAAA Record gesetzt werden und mit letsencrypt https gemacht werden.
5 Zweite Offloader VM an einem zweiten LTE Uplink per USB Stick (Optional)
Es kann an den USB Anschlüssen noch weitere USB LTE Sicks verwendet werden. Falls das erste Mobilfunknetz ausfällt, kann ein weiteres als Backup dienen. Der WAN Port geht über den Stick und Mesh on LAN an Port 2. Ein weiteres Client Netz wird nicht aufgesetzt.
/etc/network/interfaces editieren und folgendes ergänzen:
iface enp0s16u1 inet manual auto vmbr3 iface vmbr3 inet manual bridge-ports enp0s16u1 bridge-stp off bridge-fd 0 #LTE Stick USB
enp0s16u1 ist der Netzwerkport des LTE Sticks und kann anders nummeriert sein, Mit ip address ist zu sehen, wie genau die Nummern sind.
Die Offloader Backup VM wird eingerichtet, wie vorweg beschrieben, nur, dass die ID und der Name anders sein muss. Es werden nur zwei Netzwerkkarten benötigt, net0 an vmbr1 und net1 an vmbr3.
Den Hauptoffloader erst stoppen, da kurz zum Einrichten des Backupoffloader der Mesh Port 2 für den Config Mode gebraucht wird. Die Backup VM starten.
Die Konfiguration des Backup Offloaders benötigt Mesh on LAN und der VPN muss aktiviert werden.
Jetzt kann auch der Haupt Offloader wieder gestartet werden.
