Markus Heberling Coding == Relaxing

10Sep/144

Install custom Operating Systems on soyoustart.com

OVH has a budget offering called So you start. If you want to install an operating system, that is not covered by the automatic installation, or want to encrypt your server, or install Linux with ZFS on root, you can't use the provided installation mechanism. You can order a KVM over IP for additional costs to do the installation, or you can follow the following steps, to run the installation under Qemu/KVM. I took them from this forum entry:

Now that we have kvm installed, we can get for example an Ubuntu 14.04 Image and do the installation from there.

Now we start kvm with vnc support and do the installation from there:

The VNC Server will listen on localhost only, so that no one else can access it. You need to tunnel yourself with SSH through.

This is also helpful to start your server under KVM, to fix any boot issues you might have.

 

 

Tagged as: , 4 Comments
1May/141

Running Raspbian on Qemu with libvirt

I followed this great tutorial to get Raspbian running on Qemu. I have all my other virtual servers managed by libvirt, so I wanted to integrate  the Raspbian Qemu instance into it.

Here is my working libvirt xml for a headless installation:

I took the kernel from the tutorial mentioned above, and also prepared the image according to the tutorial.

I haven't tried to get graphics support to work.

This xml works fine for me with Ubuntu 14.04 as host.

7Nov/134

Ubuntu 13.10 LUKS Encypted ZFS Root on HP N54L

This guide installs a ZFS mirror on LUKs encrypted containers. This leads to a performance hit, since writing requires each block of data to be encrypted twice. Addituionally the HP N54L has no AES CPU instruction. All IO is very CPU bound after this. I get a write throughput of about 8M/s. I am using the system to receive ZFS backups via zfs send/receive over a DSL connection. This is working fine since the connection speed is much slower than the writing speed. This setup is not for you if you need faster write speeds.

I used the Ubuntu 13.10 64bit Desktop Live CD and copied it to an USB stick with dd. Creating the USB stick with tools like unetbootin will not work, since the HP N54L will think it is a floppy and halt at the syslinux stage.

Install the ZFS native repository for Ubuntu:

I have 2 WD Red 4 TB disks in the system. We need a small partition for grub and a small RAID for the unencrypted /boot partition. I create an additional very small raid, with a LUKS container inside, so that all keys can be derived from that. The rest of the space is for the LUKS container with a ZFS pool and the root filesystem inside.

Next we create the raid

And then create the LUKS containers

Create the zpool

install the base system

The HP N54L needs the uhci-hcd module in the initramfs. The release version of initramfs-tools is broken. There is an update in the proposed section, that fixes this. Without you won't be able to enter your password on boot.

Change into the new system

You are inside the new system now.

You are back in the host system now

 Rescue Mode

Boot the lived again and then:

To leave the system again:

 

Optionally unlock your server via SSH

Add the file /etc/initramfs-tools/hooks/unlock with the following contents:

 

You can now log into your initramfs during boot via shh with the root user and unlock the disks by calling:

Final remarks

You should probably backup your LUKs headers and store them in a safe place:

If you have sugustions on how to improve this setup, feel free to post them in the comments.

Sources

http://www.larsko.org/ZfsUbuntu

http://blog.neutrino.es/2011/unlocking-a-luks-encrypted-root-partition-remotely-via-ssh/

http://wiki.ubuntuusers.de/LUKS

26Jun/131

Accessing the Windows Phone 8X by HTC from Linux

Currently the "Windows Phone 8X by HTC" (what a stupid name) is not supported under Linux.

If you are using Ubuntu Raring, you can  use my PPA, where I have patched the USB ID of the WP8X: https://launchpad.net/~markus-tisoft/+archive/wp8x

On other systems you can compile the libmtp yourself. Download the libmtp sources and apply the following patch:

After installing the new libmtp version, your phone should be detected and you can explore it with Nautilus. Make sure your phone is not locked with a PIN while attaching the USB cable, it wouldn't work for me in that case.

I have submitted the patch upstream, so hopefully it will be included in the next version.

23May/130

ZFS im Hetzner Rescue System

Ich betreibe einen Rootserver bei Hetzner, der mittels ZFS on Linux komplett unter ZFS läuft. Wenn man da was kaputt macht kommt man mit dem Hetzner Rescue System nicht weit, weil das kein ZFS unterstützt. Es ist aber sehr einfach das nachzuinstallieren:

Jetzt ist ZFS installiert und man kann seinen pool importieren:

Danach ist man im gechrooteten Original System und kann seine kaputte Konfiguration reparieren. /dev, /proc, /sys sind gemounted, so dass auch zum Beispiel der Bootloader neu geschrieben kann, wenn man sich den mal zerschossen hat, was mit ZFS on root durchaus mal vorkommen kann.

Bevor ich das System neu starte teste ich das ganze dann gerne nochmal schell in einer virtuellen maschine, um sicher zu sein, dass auch alles wieder startet. Dazu muss vorher die chroot-Umgebung verlassen und unmounted werden:

Danach kann man sein System in kvm starten und schauen ob es wieder bootet:

Tagged as: , , No Comments
11Apr/133

Java auf dem Uberspace

Java ist auf dem Uberspace nicht vorinstalliert. Kann man aber total einfach selbst installieren:

Das war es schon. Danach ist Java installiert und kann benutzt werden. Aber bitte beachten, dass es sich um einen Shared Host handelt, also nicht zu verschwenderisch mit CPU und RAM umgehen.

Tagged as: , 3 Comments
5Nov/121

Warum überhaupt noch Piraten wählen? Einige Antworten.

Auf dem HSK-Zoom Blog ist ein Artikel erschienen, der einige kritische Fragen zur Piratenpartei stellt.  Hier sind meine Antworten darauf als einfacher Basispirat:

Sie sind in mehreren Landtagen vertreten, doch über die Politik, die sie dort machen, höre ich fast nichts. Ja, ich weiß, in der Opposition kann man nicht viel mitgestalten, aber wollten sie nicht zumindest frischen Wind in die Landesparlamente bringen? Wo ist dieser? Und wollten sich die Piraten nicht thematisch besser aufstellen? Wofür genau stehen die Piraten heute? Warum höre ich in den Nachrichten nicht auch einmal Stimmen der Piraten zu Themen, die die Menschen bewegen? Welche Ansichten vertreten die Piraten beim Thema Energiewende? Haben sich Berliner Piraten eigentlich zum Mord am Alexanderplatz geäußert? Haben sie eine Meinung zur geplanten Senkung der Rentenversicherungsbeiträge, zur möglichen Abschaffung der Praxisgebühr? Wo finde ich Stellungnahmen zu so umstrittenen Themen wie dem Betreuungsgeld?

Der nächste Bundesparteitag ist ein Programmparteitag. Dort wird das Programm weiter ausgeweitet werden. Das Antragsbuch umfasst dazu 1464 Seiten, man kann also nicht sagen, dass wir keine Themen haben. 🙂 Warum man in den Nachrichten nichts über die Themen hört, muss man die Medien fragen. Wir sind ein freies Land und die Presse kann über das berichten, was sie will. Wir müssen uns aber natürlich auch an die eigene Nase fassen, da die Personalquerelen und Shitstorms ja nun wirklich nicht sein müssten und das natürlich ein gefundenes Fressen für die Medien sind.

Da die Piratenpartei das Programm nur auf Parteitagen und nur mit 2/3 Mehrheit erweitern und ändern kann, dauert es natürlich länger als bei anderen Parteien, bei denen der Spitzenkandidat etwas sagt, was dann als Parteimeinung gilt und dann als Leitantrag auf dem nächsten Parteitag nur durchgewunken werden muss Was wirklich fehlt ist die Möglichkeit auch zwischen den Parteitagen verbindliche Beschlüsse zu fassen. Hier kann meiner Meinung nach nur ein verbindliches Liquid Feedback helfen, in dem beschlossene Initiativen den Status eines Positionspapiers erhalten, was dann auch gegenüber der Presse als Parteimeinung vertreten werden kann.

Wie war das noch? Themen statt Köpfe. Aber warum geht es dann ständig nur um bestimmte Köpfe? Wie konnte es so weit kommen, dass eine junge Frau einen derart gewinnbringenden Buchvertrag abschließt, anscheinend nur, weil sie im Vorstand der Piratenpartei ist? An ihren schriftstellerischen Qualitäten kann es nicht liegen; das wird nach der Lektüre der ersten Seiten schnell deutlich. Wieso dreht sich ständig alles um diesen Geschäftsführer und seinen Lebenswandel? Wieso informiert uns eine Abgeordnete der Piraten im Landtag von NRW über ihren ONS und das gerissene Kondom? Und wieso fallen Worte wie „Tittenbonus“, wenn ein Pirat anscheinend mal versucht, sich zu einem aktuellen politischen Thema zu äußern? Ist das der frische Wind, oder ist das Unvermögen, sich auszudrücken?

Themen statt Köpfe halte ich persönlich für einen Irrweg. Es muss immer Köpfe geben, die die Themen auch präsentieren können. Es darf natürlich nicht dazu kommen, dass die Köpfe dann wichtiger werden als die Themen, oder dass einzelne die Themen diktieren können. Die Gefahr sehe ich aber auch nicht, da alle Programmpunkte auf Parteitagen beschlossen werden und es da keine Leitanträge gibt, sondern die Anträge aus der gesamten Partei kommen.

Zu den angesprochenen Personen:

  • Julia Schramm hat meines Wissens schon bei der Bewerbung um die Vorstandswahl gesagt, dass sie einen Buchvertrag hat. Man kann ihr also nicht vorwerfen den Vertrag nur durch den Bundesvorstandsposten bekommen zu haben.
  • An Johannes Ponader gibt es sicher einiges zu kritisieren, aber ich denke nicht, dass sein Lebenswandel dazu gehört. Als Piraten stehen wir zur freien Entfaltung der Persönlichkeit und dazu gehört auch sein Leben so zu leben wie man das für richtig hält. Besonders die Kritik, dass ein "Hartzer" ja nicht seine Zeit damit verschwenden soll Politik zu machen, sondern lieber arbeiten gehen soll, kann ich nicht nachvollziehen. Gerade auch Menschen die Hartz4 bekommen muss es möglich sein auch Politik zu machen. Wir sind gegen die Hartz4 Sanktionen und stehen ja auch für ein Bedingungsloses Grundeinkommen, dass es jedem Menschen ermöglichen soll sich frei zu entfalten.
  • Warum sollte Birgit Rydlewski nicht über ihr Privatleben schreiben dürfen? Wen das nicht interessiert, der muss das ja nicht lesen. Ich finde das durchaus sympatisch, wenn man sieht, dass Politiker auch "nur" Menschen sind.
  • Was Gerwald Claus-Brunner geritten hat "Tittenbonus" zu twittern weiß ich auch nicht. Das ist völlig inakzeptabel. Insbesondere wenn man sieht, dass in der Piratenpartei ein "Penisbonus" vorzuherrschen scheint.

Wenn nächsten Sonntag Bundestagswahl wäre… Ich würde die Piraten nicht wählen.Auch wenn ich mit den etablierten Parteien in sehr vielen Punkten nicht einverstanden bin, möchte ich nicht noch eine Fraktion dort sehen, die sich in Sachen Macht ähnlich verhält wie die alten Parteien, aber dann auch noch kaum etwas zu wichtigen Themen beiträgt. Ich möchte niemanden wie Johannes Ponader im Bundestag sehen, dessen ganzes Leben sich anscheinend nur um ihn selbst dreht und dem andere Menschen egal sind. Warum sonst sollen andere arbeiten gehen, damit er sich selbst verwirklichen kann? Ich möchte auch keine Anke Domscheit-Berg im Bundestag sehen, die mal schnell die Partei wechselt, weil sie hofft, so in den Bundestag zu kommen, und die, sobald sie nicht auf Platz 1 der Landesliste gewählt wird, beleidigt analysiert, dass es daran liegt, dass sie eine Frau ist. So jemand möchte sich für Frauenrechte einsetzen? Meiner Meinung nach schadet sie mit ihrem Verhalten Frauen.

Johannes Ponader kandidiert (bisher) nicht für den Bundestag. Anke Domscheid-Berg hätte ich gerne auf Platz 1 der Landesliste in Brandenburg gesehen, da sie sich schon lange engagiert und eine echte Bereicherung für den Bundestag wäre. Im Hinblick auf die Listen in den anderen Ländern, auf denen die Frauen auch meistens auf aussichtslosen Plätzen gelandet sind, teile ich auch die Einschätzung, dass ihr Geschlecht zu ihrer Platzierung beigetragen hat. Ich denke die Piraten brauchen eine Frauenquote, sonst wird das nie was.

Es gibt bereits zu viele Abgeordnete, denen es nur um Macht, Geld und die eigene Person geht. Mittlerweile glaube ich, dass die Piraten sich nicht von diesen unterscheiden, höchstens darin, dass sie oft ungeschickter im Umgang mit den Medien und der Öffentlichkeit sind. Das liegt wohl daran, dass der Erfolg zu plötzlich kam, und mit dem Erfolg kamen jede Menge Opportunisten. Diese muss die Piratenpartei erst einmal wieder loswerden, und sie muss einen Weg finden, sich im aktuellen politischen Geschehen mehr zu Wort zu melden, mit Meinungen, Ansichten und Lösungsvorschlägen, nicht mit persönlichen Querelen oder Fehltritten. Ich denke nicht, dass sie dies bis September 2013 schaffen kann.

Ich stimme zu, dass die Piraten wieder mehr mit Themen in die Öffentlichkeit kommen müssen. Da wird der nächste Parteitag helfen, da dort (hoffentlich) das Programm stark erweitert wird. ich denke aber nicht, dass die Piratenabgeordneten Geld- und Machtgeil sind. Wenn man sich so die Podcasts zum Beispiel der Berliner anhört, haben die einen ganzen Haufen arbeit.

Ich denke, dass wir das bis September 2013 schaffen können.

29Jul/120

Parsing Flattr Buttons in HTML

I recently build this little tool FlattrStar, which can autoflattr starred items from several services. To be able to do this, it needs to parse the HTML of a website for Flattr buttons. I started FlattrStar to learn the Play Framework and Scala, so the parsing is also done in Scala. Since this is my first Scala Project, the code might be a bit suboptimal. Corrections and improvements are appreciated.

I am using tag soup, to parse the html into a Scala XML structure. This is probably not needed and could be replaced by RegExp or something, but I wanted to try the Scala XML support. You need the "org.ccil.cowan.tagsoup" % "tagsoup" % "1.2.1" jar in your classpath.

Now to the code itself. The goal is to find most Flattr links that are out there in the wild. The flattrParseHtml is called with a function, that does the actual flattring and returns Some(_) item if the Flattr was successfull and None if it wasn't. Also there is a list of URLs to parse for buttons.

First I look for <link rel="payment"> entries and try to flattr them. If nothing is found I look for buttons with rel or rev parameters, that start with flattr and links with data-flattr-uid attributes. I construct an auto submit url from this. There might be several such links on a page, like one for the whole site and one for a specific article. I choose the one with the longest link, since that will mostly be the one specific for this article. If that doesn't give anything I go and search for script elements that contain flatter_uid and flatter_url variables and construct an auto submit url for them. Last step is to parse all links that have some kind of flattr reference in them. This could be an <a href="...">Flattr This<a> or <a href="..."><img src="...flattr.png"></a> or something else where flattr occurs inside the <a> element. We grab all auto submit URLs that are hidden inside these links and try to flattr the longest one, as explained above.

For every URL I encounter in this process, I first get the redirects, because sometimes flattrable URLs are hidden behind them. Unfortunalty an auto submit URL is also redirected, so I have to stop following redirects if I encounter such an URL. You need HttpClient in your classpath for the redirect stuff.

This is not perfect and not all flattrable things are found. For example Flattr buttons from taz.de are not found, since they put the Flattr stuff in their ad delivery system and I couldn't parse that.

I declare this source as public domain, so you can use it as you like. It would be great though, if you would give back improvements and feedback.

Tagged as: , No Comments
30May/1217

SOGo, GOSa, Postfix, Amavis, Dovecot auf Ubuntu Server 12.04

Ich habe kürzlich mein Mailsystem auf LDAP umgestellt und dann auch gleich noch SOGo installiert um CalDAV und CardDAV zu haben. Hauptsächlich zur Nachvollziehbarkeit für mich selbst sind hier die Schritte, die ich auf einem frisch installierten Ubuntu 12.04 durchgeführt habe. Vielleicht hilft es ja auch jemand anderem. Ich hoffe es ist alles komplett. Wenn das mal jemand nachgemacht hat, würde ich mich über einen Kommentar freuen. Auch für Verbesserungsvorschläge der Konfiguration wäre ich dankbar.

Alle Shell eingaben sind als root durchzuführen, wenn nicht anders angegeben. Als hostname verwende ich hier mail.example.com. Die LDAP Base ist dc=example,dc=com.

Zunächst habe ich erstmal etckeeper installiert, da ich meine Konfiguratinsdateien gerne unter Versionsverwaltung habe:

GOsa wird zur Verwaltung des LDAP Systems genutzt.

Ich bevorzuge das rfc2307bis Schema für LDAP-Gruppen. Wer das nis Schema benutzen möchte, kann den nächsten Schritt weglassen.

 

Hier geht es für alle weiter. Es werden die von GOsa benötigten Schemata zum LDAP hinzugefügt:

Auf http://mail.example.com/gosa den Anweisungen folgen. Je nachdem ob man die rfc2307bis Gruppen im LDAP aktiviert hat, oder nicht muss die entsprechende Einstellung im GOsa Setup gewählt werden.

Nachdem man die generierte GOsa Konfiguration gespeichert hat, muss zunächst ein neues System in GOsa angelegt werden:

In diesem System kann nun ein neuer Mailserver angelegt werden:

Hierbei ist es wichtig, dass unter dem Punkt "Domänen, für die Mail angenommen wird" der Hostname des Servers eingetragen wird. In diesem Fall also mail.example.com.

Als nächstes werden postfix, dovecot und amavisd-new installiert. pyzor und razor verbessern die SPAM-Erkennungsrate, können aber weggelassen werden, wenn man das möchte. clamav-unofficial-sigs sind SPAM-Signaturen für clamav. mutt ist optional, aber hilfreich beim testen. phpldapadmin ist auch optimal, aber wenn man mal schnell in der LDAP-Datenbank rumeditieren will, ist es ganz hilfreich.

Das auth_username_format wird geändert, damit man sich mit der uid anmelden kann. Ausserdem muss die system Konfiguartion durch die ldap Konfiguration ersetzt werden.

In /var/lib/vmail/mail werden die Postfächer der Benutzer gespeichert. Unter /var/lib/vmail/home werden sieve scripts gespeichert.

Die Auth-Listener von Dovecot müssen die richtigen Berechtigungen haben:

Dovecot LDAP Konfiguration:

Mailaddressen zu alias auflösen:

LDAP-Gruppen auflösen:

LDAP Abfrage um die Domains herauszufinden, für die wir Mail akzeptieren:

LDAP Abfrage um den Mailboxnamen zu einer Mailaddresse herauszufinden:

Die LDAP Abfragen dem Postfix bekannt machen und Dovecot als Delivery und SASL Autentifizeirung konfigurieren:

Dovecot als delivery agent dem Postfix bekannt machen:

Virenscanner und SPAM-Checker im amavis aktivieren:

Sieve support konfigurieren:

SOGo nutzt den Port 2000 für Sieve:

SOGo benötigt für einige Regeln imapflags:

An dieser stelle sollte das Mail-System funktionieren.

Zunächst muss das SOGo repository in apt eingebunden werden. Ich habe den nightly build von SOGo 2.0 genommen, die Konfiguration sollte aber auch für SOGo 1.x passen.

/etc/apt/sources.list.d/sogo.list:

Apache kann automatisch konfiguriert werden. Für mysql sollte ein Passwort gesetzt werden. phpmyadmin ist optional, aber hilfreich wenn man mal in der Datenbank rumfuhrwerken will. Ich werde spöter phpmyadmin dazu benutzen die SOGo Datenbank anzulegen, aber das kann man natürich auch über die shell machen.

Es müssen noch ein paar module für den apache aktiviert werden:

SOGo legt seine config im home directory des sogo Benutzers an. Das liegt allerdings nicht unter /etc und wird daher nicht vom etckeeper verwaltet. Das ist doof. Deshalb verschiebe ich das home directory nach /etc/sogo:

Jetzt wird auch die SOGo Datenbank angelegt. Ich habe phpmyadmin dazu benutzt:


Und hier ist meine SOGo Konfigurationsdatei.:

Die Apache Konfiguration für SOGo muss noch angepasst werden. Den Teil mit der Erstellung von SSL Zertifikaten habe ich hier mal rausgelassen.

Jetzt muss noch SOGo gestartet und der Apache neu gestartet werden:

Ich hoffe mal, dass ich alle relevanten Einstellungen beschrieben habe. Kommentare gerne in den Kommentaren. 🙂

12May/120

Review der Kinderlieder-App beim Kinderappgarten

Heute wurde meine Kinderlieder-App vom Kinderappgarten reviewed. Hier geht's zur Review.

Auch sonst kann ich den Kinderappgarten sehr empfehlen. Da gibt es Reviews zu sehr vielen Apps die für Kinder geeignet sind. Für alle Eltern eine riesige Fundgrube.