Update: Der eigene pastebin Service

Sticky Notes hatte ich  schon mal Anfang 2012 erwähnt. Nun ist die 1.0er erschienen. Bei der neuen Version sollte man darauf achten, dass man /var/lib/php5 mit in der open_basedir Direktive angibt, ansonsten lief es jedenfalls bei mir nicht. Das ganze wirkt nun etwas aufgeräumter. Leider kann man bei den „Authentication settings“ entweder LDAP oder Datenbank nutzen. Ein „Mischen“ wie z.B. bei Ajaxplorer, ist nicht möglich.

sticky notes

Kurztipp: Nexus 4 rooten fastboot und adb

Unter Debian sid/testing und ab Ubuntu 12.10 sind fastboot und adb beim Paket Repository dabei.

$ apt-get install android-tools-fastboot
$ apt-get install android-tools-adb

Habe ich zwar erst gesehen nachdem Cyanogenmod 10.2 installiert war, aber dann hätte man sich den Schritt mit dem Runterladen der tools von „irgendeiner“ Seite sparen können.
Ich persönlich kann TWRP2 als Recovery System sehr empfehlen. Ist übersichtlicher und einfacher zu bedienen als CWM, aber da gehen die Meinungen auseinander. Beide verrichten die Aufgaben ohne Probleme.
Howtos für das rooten des Nexus 4 findet man genug, daher spare ich mir weitere Einzelheiten. Bisher läuft ein cm 10.2 nightly, ohne augenscheinliche Probleme…bis auf die Panoramafoto Funktion. Das wir aber sicherlich bald behoben sein.

Kurztipp: Webserver auf die Schnelle

Braucht man mal ganz schnell und unkompliziert einen sehr einfachen Webserver um Dateien anzubieten:

$ python -m SimpleHTTPServer 8080

und bei Python 3 (laut Kommentar)

$ python -m http.server 8080

Wobei 8080 der Port ist. Standardmäßig wird dabei das aktuelle Verzeichnis als  DocumentRoot verwendet , also immer schön drauf achten wo man sich befindet wenn man den Befehl ausführt.
Hier nochmal etwas ausführlicher Beschrieben.

virtuelles VLAN Interface

Machen wir es kurz. Man hat drei VLANs in denen man gerne wäre, aber man hat nur zwei NICs. Es wir also mit tagged VLANs gearbeitet.  Unter Debian funktionierte das wie folgt.

$ apt-get install vlan

Dann schreiben wir in die /etc/network/interfaces

auto eth1.242
iface eth1.242 inet static
 address 10.100.1.2
 netmask 255.255.252.0
 network 10.100.1.0
 broadcast 10.100.1.255

Dabei wird das VLAN 242 auf eth1 gelegt. Ein ifdown eth1;ifup eth1;ifup et1.242 sollte das Device online setzen. Im Zweifel rebooten ;-).
Will man das nur mal temporär einrichten

$ apt-get install vlan
$ modprobe 8021q (keine Ahnung ob das wirklich nötig ist)

Wir legen VLAN 242 auf eth1 an, weisen die IP zu und sind fertig

$ vconfig add eth1 242
$ ifconfig eth1.242 10.100.1.2/22

Das ganze gibt es unter http://blog.sleeplessbeastie.eu/2012/12/23/debian-how-to-create-vlan-interface/  etwas ausführlicher. Ansonsten hilft auch ein Blick in man vlan-interfaces.

Kurztipp: wget soll vorhandene Datei überschreiben

Nutzt man wget um eine bereits vorhandene Datei erneut runterzuladen bekommt man in der Regel etwas wie

$ wget http://exdc.net/DATEI
...
In »DATEI.1« speichern.

Will man aber DATEI überschreiben falls eine neuere Version auf dem Server existiert, kann man z.B. einfach den Parameter -N nutzen

$ wget -N http://exdc.net/DATEI
...
Datei auf dem Server nicht neuer als die lokale Datei »DATEI« -- kein Download.

Dabei wird die Datei nur runtergeladen wenn die Datei auf dem Server neuer bzw. die Größe unterschiedlich zur lokalen Version ist.

Das steht natürlich alles in den man pages, aber ich wollte es mal erwähnt haben, da ich heute drüber gestolpert bin.

 

Kurztipp: Apache Maintenance

Ein recht einfacher Weg den Webserver in den „Temporarily Unavailable“ Modus zu versetzen.

RewriteEngine On
RewriteCond %{ENV:REDIRECT_STATUS} !=503
RewriteCond "/var/www/hallo" -f
RewriteRule ^(.*)$ /$1 [R=503,L]

Dabei wird zur Laufzeit überprüft ob die Datei /var/www/hallo existiert. Falls dem so ist wird die Fehlerseite angezeigt. Das geht natürlich auch mit „!-f“. Die Möglichkeiten sind dabei recht vielfältig.

Kurztipp: rsync kompletten Pfad übertragen

Will man bei Rsync den kompletten Pfad einer Datei übertragen muss man die -R Option nutzen.

Ich übernehme mal das Beispiel aus der man page:

Der Befehl

rsync -av /foo/bar/baz.c remote:/tmp/

kopiert uns die Datei  baz.c direkt unter /tmp auf remote.

Der Befehl

rsync -avR /foo/bar/baz.c remote:/tmp/

kopiert uns die Datei  baz.c  unter /tmp/foo/bar/ auf remote.

-R ist also nicht in -a enthalten. Für Verzeichnisse gilt das natürlich äquivalent.

MySQL Master <-> Master Replikation aufsetzen

MySQL kann keine Master <-> Master Replikation. Wir machen das trotzdem mal mit Ubuntu 12.04 und MySQL 5.5 und hoffen, dass es funktioniert und wir in keine Split Brain Situation laufen. Wir sprechen der Einfachheit halber von db1 und db2 als unterschiedliche MySQL Server Instanzen.

Wir legen auf db1 einen Benutzer mit Replikationsrechten an

GRANT REPLICATION SLAVE , REPLICATION CLIENT ON * . * TO 'repuser'@'%' IDENTIFIED BY 'superpassword'; 

Jetzt passen wir die beiden MySQL Konfigurationen an. log_bin muss auf beiden natürlich aktiviert sein.

my.cnf auf db1:

server-id               = 1
log_bin                 = /var/log/mysql/mysql-bin.log
auto-increment-increment = 2
auto-increment-offset = 2

my.cnf auf db2:

server-id               = 2
log_bin                 = /var/log/mysql/mysql-bin.log
auto-increment-increment = 1
auto-increment-offset = 2

Diese auto-increment Optionen dienen dazu, dass es keine Probleme bei Primärschlüsseln, die automatisch hochgezählt werden, gibt.

Jetzt sind wir Faul. Wir stoppen MySQL auf db1 und db2.

$ service mysql stop

Dann löschen oder verschieben wir das MySQL Datadir auf db2. Default liegt das in /var/lib/.

Dann auf db1 als root:

$ rsync -avh --progress --stats /var/lib/mysql db2:/var/lib/

Fein, damit haben jetzt beide Instanzen den gleichen Datenbestand. Da wir als root kopiert haben sollten die Dateirechte stimmen.
Nun starten wir beide Instanzen

$ service mysql start

Wir connecten uns via mysql auf db1 und db2 und schauen mit

mysql> SHOW MASTER STATUS\G
*************************** 1. row ***************************
            File: mysql-bin.000003
        Position: 107
    Binlog_Do_DB:
Binlog_Ignore_DB:
1 row in set (0.00 sec)

an welcher Stelle sich db1 und db2 befinden und merken uns das. Es sollte zu der Zeit niemand anderes auf db1 und db2 arbeiten. Dann gehen wir via mysql auf db1 und tippen folgendes ein

CHANGE MASTER TO MASTER_HOST='db2', MASTER_USER='repuser', MASTER_PASSWORD='superpassword', MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=107;

bei den Daten MASTER_LOG_FILE und MASTER_LOG_POS geben wir die Daten ein, die wir vorher bei db2 ausgelesen haben.

Dann sind wir mutig und machen ein

mysql> start slave;

mit

mysql> show slave status\G

schauen wir ob die Replikation läuft. Da sollte dann

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

auftauchen. Nun gehen wir via mysql auf db2 und machen dort das gleiche

CHANGE MASTER TO MASTER_HOST='db1', MASTER_USER='repuser', MASTER_PASSWORD='superpassword', MASTER_LOG_FILE='mysql-bin.000003', MASTER_LOG_POS=107;

MASTER_LOG_FILE und MASTER_LOG_POS ist der „SHOW MASTER STATUS\G“ von db1.

dann starten wir auch dort den slave mit

mysql> start slave;

und schauen mit

mysql> show slave status\G

ob die Slave Prozesse laufen

Slave_IO_Running: Yes
Slave_SQL_Running: Yes

Fertig, jetzt testen wir ein bisschen und legen auf beiden MySQL Instanzen Datenbanken und Benutzer und und schauen ob diese repliziert werden.

Bemerkungen:
So geht das theoretisch. Auf Sicherheit wurde kein Wert gelegt, da geht eh jeder einen anderen Weg. Slave_IO_Running, Slave_SQL_Running und Seconds_Behind_Master sollte muss man mit Nagios & Co überwachen. Geschrieben werden sollte immer nur auf eine MySQL Instanz, nicht auf die Idee kommen mit mysql-proxy oder so was ein write scale out umsetzen zu wollen.  Man kann eine Instanz auf read only setzen so verhindert man ungewollte Manipulation auf dem „Slave“. Der Replikationsuser und root dürfen aber schreiben, sollte man im Hinterkopf behalten.  Davor am besten noch pacemaker packen, so das im Notfall problemlos auf den „Slave“ geschwenkt werden kann. Ist man sich sicher was man da tut kann man auch das read only weg lassen. Sollten die Datenbanken irgendwie Inkonsitent werden ist das der Replikation egal solange kein Replikationsfehler geworfen wird.

Mir ist bekannt das es andere und bessere Lösungen gibt, ich wollt es nur mal aufgeschrieben haben.

Notizen via Jabber online posten

Ich hoffe es gibt bessere Lösungen, aber ich erzähle mal meine beiden.
Ich brauche eine einfache Möglichkeit Notizen via jabber (xmpp) zu posten. Diese sollen über eine Webseite angezeigt werden und durchsuchbar sein.
Jabber deshalb, weil es in der Regel häufig läuft wenn ich am Rechner sitze. Ich möchte nicht extra eine Seite öffnen um mir etwas zu notieren. Die meisten Notizen sind den Aufwand nicht wert.
Dazu nutze ich schon seit langer Zeit laconica/status.net unter mexdc.exdc.net. Funktioniert wunderbar, da gibt es einen netten Jabberbot der postet einfach alles was ich ihm schreibe. Auf Wunsch kann man sich auch anderen status.net Nutzern mitteilen.
Im Laufe der Zeit ist diese Notiz Funktion immer wichtiger für mich geworden, vernetzen via identi.ca, twitter&co dabei immer nebensächlicher. Natürlich kann man sich eine dedizierte status.net Instanz für diese Funktion aufsetzen. Habe ich auch gemacht, aus diversen Gründen bin ich aber unzufrieden damit. Einer der Hauptgründe ist, dass die aktuelle status.net Software (1.1.0) ziemlich fehlerbehaftet ist und z.B. der xmpp bot nicht das tut was er soll, daher bleibe ich auch noch bei der 0.9.9er.

Nun bin ich zufällig auf https://github.com/hj91/Using-XMPP-to-post-content-on-blog-sms-facebook gestoßen. Ähnlich wie bei status.net läuft ein bot, der einfach alles was man ihm so mitteilt via WordPress (xml-rpc) veröffentlicht. Das Skript ist einigermaßen übersichtlich und lässt sich eigentlich gut anpassen. Ein paar Dinge fehlen leider dabei. So ist es nicht möglich Beiträge mit Tags zu versehen. URLs werden nicht automatisch zu Links umgewandelt. Man kann zwar „<a href=http://heise.de>heise.de</a>“ posten, was dann auch als Link angezeigt wird, aber das ist natürlich zu aufwändig. Mit ejabberd im Hintergrund läuft das ganze sehr reibungslos und ohne Unterbrechung. Ach…aussehen tut es dann so: notizen.exdc.net. Na ja was soll man da auch groß erwarten!?

Voraussetzung ist bei beiden Lösungen, dass sie komplett selbst gehostet werden können, ohne externe Abhängigkeiten. Sollte ich bei dem Skript weiter kommen, schreibe ich nochmal was dazu.

Updates:
Wählt man P2 als Theme bei WordPress  funktioniert die Konvertierung zu clickable links.
Nach einiger Zeit verliert der Bot die connection zum ejabberd Server, das wird wohl die fehlende keepalive Funktion sein.

Update 2: eingestellt da status.net 1.1.1 nun gut mit xmpp läuft, siehe hier

Kurztipp: Piwik Standortbestimmung via Apache Modul

Will man bei Piwik (1.11.1) die Standortbestimmung über das Apache Modul nutzen sind unter Debian folgende Schritte nötig:

apt-get install libapache2-mod-geoip
/etc/init.d/apache2 restart

In der /etc/apache2/mods-enabled/geoip.conf noch den Pfad zum GeoIPDBFile anpassen, bei mir schaut die Datei dann so aus:

<IfModule mod_geoip.c>
  GeoIPEnable On
#  GeoIPDBFile /usr/share/GeoIP/GeoIP.dat
  GeoIPDBFile /var/www/piwik/misc/GeoIPCity.dat
  GeoIPScanProxyHeaders On
</IfModule>

Danach sollte Piwik diverse Städte in der Besucherübersicht anzeigen. Funktioniert auch mit eingeschalteter Anonymisierung der Besucherip.

Kurztipp: Openelec RPI hohe CPU Last

Bei mir läuft noch zusätzlich tvheadend, daher ist die Last eh noch ein bisschen höher. Ein bisschen Abhilfe gegen die hohe Load hat folgende Einstellung gebracht:
/storage/.xbmc/userdata/advancedsettings.xml

<advancedsettings>
<network>
<cachemembuffersize>5282880</cachemembuffersize>
</network>
<fanartheight>560</fanartheight>
<thumbsize>256</thumbsize>
<gui>
<algorithmdirtyregions>3</algorithmdirtyregions>
<nofliptimeout>0</nofliptimeout>
</gui>
<lookandfeel>
<enablerssfeeds>false</enablerssfeeds>
</lookandfeel>
<bginfoloadermaxthreads>2</bginfoloadermaxthreads>
</advancedsettings>

Das mit den RSS feeds sollte bekannt sein und muss eigentlich nicht extra mit in die Datei. Bringt jetzt nicht die Welt, aber bei mir ist die Last deutlich gesunken. Raspbmc läuft mit merklich weniger Last auf dem 2ten RPI. Auf das „Systeminfo“ von XBMC sollte man nicht viel geben, weil das allein schon die Last enorm nach oben treibt ;-).

Link:

http://archlinuxarm.org/forum/viewtopic.php?f=31&t=3004&start=70

Kurztipp: btsync auf dem Raspberry Pi mit Raspbmc

Wer bei btsync auf dem Raspberry mit Raspbmc folgende Ausgabe bekommt

$ ./btsync
bash: ./btsync: No such file or directory

sollte einfach mal folgenden Symlink erzeugen

$ ln -s /lib/arm-linux-gnueabihf/ld-linux.so.3 /lib/ld-linux.so.3

danach sollte alles funktionieren.

./btsync --dump-sample-config > sync.conf

nicht vergessen und sync.conf anpassen vor dem Start.

Links:

http://forum.bittorrent.com/topic/17264-sync-on-ubuntu-touch-arm-device/
http://forum.bittorrent.com/topic/8746-i-can-not-execute-syncapp-arm-on-my-nas-based-on-sl3516-cpu/#entry28830

 

 

vmmemctl unter Ubuntu

Mit den Vmware-tools und Ubuntu 12.04 kann es unter ungeklärten Umständen ein Problem geben. Das vmmemctl Modul wird nicht richtig installiert bzw. kompiliert. Beim Kompilieren der Vmware-tools  nach einem Kernel Update erscheint die Meldung:

The module vmmemctl has already been installed on this system by another installer or package and will not be modified by this installer. Use the flag –clobber-kernel-modules=vmmemctl to override.

Das führt dazu das der Kernel Thread vmmemctl nicht läuft,  weil das Modul vmmemctl fehlt. Das Modul dient dazu nicht mehr benötigten Speicher wieder freizugeben um ihn anderen VMs zur Verfügung zu stellen. Zum testen einfach mal auf der VM

$ ps aux|grep vmmemctl

eingeben. Abhilfe schafft ein

vmware-config-tools.pl –clobber-kernel-modules=vmmemctl,vsock,vmxnet3,vmci,pvscsi

Die anderen Module mit rein zunehmen schadet nicht. Die tauchten bei mir auch als Meldung beim kompilieren auf. Danach sollte  der Prozess angezeigt werden.

$ ps aux|grep vmmemctl
root     30933  0.0  0.0      0     0 ?        S    13:57   0:00 [vmmemctl]

Hat man eine größere ESX Struktur kann ein Fehlen des Moduls durchaus einen spürbaren Einfluss auf die benötigte Hardware haben ;-).

Mehr Informationen dazu  findet man z. B. unter http://yuridejager.wordpress.com/2012/02/27/enable-the-vmware-balloon-driver-vmmemctl-to-prevent-swapping-in-an-imported-linux-vm/

p.s. bei den open-vm-tools gibt es kein vmmemctl Modul.

längerer Kurztipp: Schutz gegen einfache DOS Attacken mit mod_evasive

Ein alter Hut, ich kannte es bis heute nicht. Mit mod_evasive kann man einfache DOS Angriffe blocken. Getestet mit dem guten, alten Squeeze.

$ apt-get install libapache2-mod-evasive
$ a2enmod mod-evasive
$ zless /usr/share/doc/libapache2-mod-evasive/README.gz
$ mkdir /var/log/mod_evasive
$ chown www-data /var/log/mod_evasive
$ ln -s /usr/bin/mail /bin/mail

$ joe /etc/apache2/mods-available/mod-evasive.conf

<ifmodule mod_evasive20.c>
DOSHashTableSize 3097
DOSPageCount 2
DOSSiteCount 50
DOSPageInterval 1
DOSSiteInterval 1
DOSBlockingPeriod 10
DOSLogDir /var/log/mod_evasive
DOSEmailNotify thisis@waste.land
DOSWhitelist 127.0.0.1
</ifmodule>

$ ln -s /etc/apache2/mods-available/mod-evasive.conf /etc/apache2/mods-enabled/mod-evasive.conf
$ /etc/init.d/apache2 reload

Zum testen einfach mal irgendeine Seite aufrufen und ein paar mal schnell F5 drücken bis man ein 403 Forbidden erhält. Dann im logdir schauen und eigentlich sollte man auch eine mail bekommen. Im syslog sollte ein Eintrag der Art
Mar 14 11:36:15 webserver  mod_evasive[15723]: Blacklisting address 123.123.123.123: possible DoS attack
aufauchen.
Mit DOSSystemCommand kann man noch einen Befehl definieren, der ausgeführt werden soll wenn eine IP geblockt wird, also z.B. iptables Regel zum sperren der IP („sudo /sbin/iptables -A INPUT -s %s -j REJECT„) oder was auch immer.
Die Meinungen zum Einsatz von mod_evasive gehen etwas auseinander, daher sollte man es erst mal  unter Beobachtung laufen lassen und am besten vorher mal ein bisschen googlen.
Zusammen mit HAproxy oder Nginx als Reverseproxy funktioniert mod_evasive nicht. Da kann man sich  mal das Nginx Modul HttpLimitReq anschauen. mod_evasive blacklisted zwar die IPs, mehr aber leider nicht.

Links:

http://www.linux-magazin.de/Ausgaben/2005/12/Friede-im-Indianerland

http://pc-freak.net/blog/secure-apache-against-basic-denial-of-service-attacks-with-mod_evasive-on-debian/

http://spielwiese.la-evento.com/xelasblog/archives/56-Apache-DOS-Attacken-erschweren-mit-mod_evasive.html