L’Audi che dorme in garage

Quando lavoravo in Svizzera, ligio alle leggi del paese che mi ospitava, avevo comprato un’auto con targhe svizzere.

Giovane e celibe, con tante ore di rally virtuale alle spalle avevo guardato delle Mitsubishi Lancer, delle Subaru Impreza. Attratto dal motore Wankel avevo guardato le Mazda rx8. La Svizzera permette parecchie stravaganze automobilistiche e perfino modelli non UE.

Alla fine da bravo ragazzo ho preso un’Audi A3 usata, del 2009, 13000 chilometri, tre porte e circa 18k euro. Neppure decapottabile, che fa tanto crisi dei 50 anni. Rispetto alla 206 che guidavo allora, al momento del giro di prova, ho sentito subito che era un’Audi da 1 tonnellata e mezza con un motore a pena adeguato a spostarla. Ma il silenzio e il confort di guida mi hanno convinto. No, non l’ho presa per gli inserti in radica.

L’ho portata a 136000 chilometri e adesso dorme nel garage. Cosa ci ho fatto? Tante tante cose. L’epico viaggio a Oslo coi miei migliori amici, i primi amori, il primo bacio con quella che sarebbe diventata la Moglie, ci ho riportato a casa dalla maternità il mio primo figlio, ci ho traslocato una famiglia intera da Nizza a Strasburgo, il trasporto di piastrelle per la nuova casa.

Ma non è stato tutto rosa e fiori, il cambio ha ceduto, 5000 euro. I LED sul faro davanti a destra si sono spenti, 1000 euro. Spese difficili da mandare giù su un’auto che valeva sempre meno.

E adesso che dorme in garage è un lusso da circa 600 euro l’anno. Usiamo le biciclette per quasi tutto e la grande scenic famigliare per il resto.

Così, attirato da un volantino di Renault ho telefonato e preso appuntamento per farmi fare un’offerta. Su internet mi danno un valore di 4900 euro circa. Ci credo poco, ma è un punto di riferimento.

Qualche giorno fa vado all’appuntamento. Il tizio fa il giro, chiede cose, ascolta i rumorini. Mette tutto dentro al computer, mi chiede di aspettare 5 minuti per parlare al suo responsabile. Torna. Me la può comprare per 300 euro. Il computer gli ha detto 50, ma visto che suvvia è un’audi, fanno uno sforzo e offrono 300.

L’offerta è talmente ridicola che non mi fa neppure arrabbiare. Solo la benzina nel serbatoio vale più di 50 euro.

La ragione? Le auto non elettriche non si vendono più. Il venditore ha il parcheggio pieno e altre 40 auto che non sa più dove mettere. La mia non la vuole.

Per ora torna a dormire nel garage, ogni tanto fa un giro per la campagna, e chissà che un giorno non faccia un’altra avventura eccezionale…

Domotica

Da quando ho una casa mia tutta intera, mi è venuta la voglia di giocare con la domotica. L’idea era di provare ad automatizzare un sacco di cose: tapparelle, luci, riscaldamento e perché no l’inaffiatura del giardino e pure la ventilazione.

Quando si comincia ci si scontra subito col grande discriminatore: di tutto quello che è possibile, cosa è utile fare e cosa può essere accettato dagli altri membri della famiglia?

L’investimento necessario per cominciare a giocare è relativamente piccolo. Ci sono tre standard principali che servono a collegare sensori, attuatori e passerelle: zigbee, zwave e enocean. Elencati qui in ordine di costo crescente.

Ho scelto di cominciare con zigbee: l’avevo visto all’università e mi sta simpatico. In più è il meno caro, con una trentina di euro ci si può comprare una chiavetta usb zigbee, xiaomi produce sensori vari a 15-20 euro l’uno e ikea (trådfiri) ha una serie di lampadine, interruttori e altri oggetti connessi a prezzi competitivi.

Ho cominciato con la chiavetta (conbee 2) e un paio di sensori di temperatura. Poi ho aggiunto un sensore di presenza e una lampadina ikea per automatizzare la luce nelle scale della cantina.

Il software come al solito è il punto debole. Ce ne sono vari, ognuno con la sua filosofia, li ho provati tutti, o almeno i principali. Home assistant è quello più alla moda, poi c’è jeedom (con un ecosistema di plugin a pagamento su un market dedicato), domoticz e altri. Questi sono software da installare su un pc o un rasperrypi per farsi il sistema in casa.

Esistono anche le box o passerelle dei vari produttori, ikea, xiaomi, hue, ecc. Le ho evitate perché spesso sono connesse con la cloud e non ne ho voglia.

Perché dico che il software è il punto debole? Perché non è mai come si vuole. Home assistant, quello che uso, è a basso livello, adatto ad un geek che si diverte a scrivere script in yaml (ahem) anche per accendere una lampadina. Jeedom è più maturo, ad esempio ha un plugin termostato (a pagamento) molto avanzato che impara l’inerzia termica della stanza e del riscaldamento e ottimizza i consumi. Il fatto di pagare i plugin non mi disturba particolarmente, ma ho trovato le risposte dei programmatori sui forum un po’ altezzose e la comunità un po’ ostile.

Tornando al discorso del possibile e dell’utile, con un termometro in ogni stanza ho scoperto che i termostati dei caloriferi sono ampiamente sufficienti, inutile quindi investire negli attuatori per caloriferi. La luce della scala funziona, ma la latenza è alta. Il sensore ti vede, lo dice a home assistant che fa girare i suoi script e template e dice alla lampadina di accendersi. Può passare anche un secondo.

Idem per la luce del garage e della terrazza, che però rispondono più velocemente. Perché? Boh.

La cosa più avanzata che ho fatto è di far partire gli aspirapolvere robot quando non c’è nessuno in casa, basandosi sugli apparecchi collegati al wifi, solo in certi orari e non più frequentemente di una volta ogni due giorni.

Per le tapparelle devo fare un reverse engineering dell’elettronica dei telecomandi. Fattibile, ma prende tempo. L’utilità sarebbe di gestire la luce del sole d’estate e forse far finta che ci sia qualcuno in casa quando partiamo in vacanza.

L’innaffiatura del giardino è un grosso investimento economico e bon, fa piacere uscire e innaffiare con la canna.

L’unica cosa veramente utile che mi rimane è controllare la potenza della ventilazione forzata, aumentandola quando si cucina o si prende la doccia (basta misurare l’umidità dell’aria, viene gratis coi termometri).

Stellaris

È un videogioco di gestione e strategia spaziale e ha vinto non so quanti premi, recensioni ottime e voti strabilianti.

Ci sono sistemi solari, razze aliene e tutti i grandi classici di un civilization: popolazione, risorse, ricerca, guerra e diplomazia.

Bello è bello, ricchissimo di dettagli e di parametri da seguire e calibrare. Inizia a mostrare delle crepe dopo diverse ore di gioco: i filoni di ricerca si esauriscono e diventano dei costosissimi, minuscoli incrementi ai sistemi d’arma. Peggio ancora si perde il poco controllo che si aveva sulla produzione e consumo di risorse. All’improvviso non ci sono più minerali, perché? Boh. Poco dopo sovrapproduzione, senza aver cambiato nulla.

La mia partita era composta da una galassia pacifica, qualche piccola guerra, qualche pirata un po’ triste e grandi alleanze, trattati commerciali, scambi scientifici. Nessuno investe nella guerra.

La partita diventa noiosa, i pianeti sovrafollati senza vita d’uscita, la ricerca non da più frutti rivoluzionari, i criteri di vincita sono lontani.

All’improvviso arrivano dei cattivoni extradimensionali. Nessuno è preparato alla guerra. Due imperi spariscono nel giro di qualche minuto di gioco.

Cerco di trasformare l’economia in una macchina da guerra… La flotta più grossa che riesco a mettere insieme, che consuma la maggior parte delle risorse di un’economia oramai completamente squilibrata, in un sistema solare fortificato con tutto quello che avevo… I cattivoni passano e sono talmente forti che distruggono tutto senza fermarsi.

Le alleanze non funzionano, nessuno aiuta nessuno. Cerco di rimediare agli squilibri economici prima che sia troppo tardi, ma non ho gli strumenti per capire le fluttuazioni immense nelle materie prime.

Chiudo il gioco, svogliato, convinto che gli sviluppatori debbano rivedere gli equilibri interni del gioco. Troppi parametri, difficile capirne l’impatto, rendono il sistema gioco troppo complesso, in un equilibrio instabile in cui un disoccupato di troppo fa cadere un impero galattico.

Islanda

Sono stato in Islanda solo una volta, all’inizio di giugno 2016, ma penso che ci tornerò. Sono andato con due amici. L’organizzazione di base, spostamenti, pernottamenti, è stata efficiente come sempre, ma mi è rimasta l’idea che ci fosse di più da vedere e che nei sei giorni in cui siamo stati abbiamo visto solo un parte di quello che c’era veramente da vedere e da scoprire nel nostro giro a sud dell’isola.

L’Islanda sta diventando ogni giorno di più un posto sempre più turisticizzato. Guide e siti web indicano un certo numero di posti dove andare, fare foto, timbrare il cartellino e via. Cito un paragrafo tratto da un libro di fotografie di un autore locale, trovato nel negozietto del museo di fotografia di Reykjavik, di cui purtroppo non mi sono segnato i riferimenti:

[…] Every day buses come and go all the time, stopping there full
of travellers. They eat, they drink, and they go again. A frantic
moment and then they are gone. They all do the same things, make the
same noises, the same gestures, and they all look so much alike…
They fill up buses which all look the same, filled with the same
tourists. None of them stay behind. […]

E questa è l’idea che è rimasta a me, anche io ho fatto la stessa cosa. Con la differenza che noi abbiamo noleggiato un vecchio 4×4 invece che farci portare in giro da un bus turistico.

Arrivi e partenze

L’unico aeroporto internazionale è Keflavik, una vecchia base americana della guerra fredda. Probabilmente per motivi di convenienza di fusi orari un sacco di aerei, compresi i nostri, arrivano e partono intorno a mezzanotte. Da Nizza ho volato con Lufthansa via Monaco di Baviera. Piccolo brivido all’atterraggio, causa forte nebbia il pilota non si è accorto che la pista era finita e ha fatto una bella frenata: quando l’aereo si è girato per uscire dalla pista ho visto la fine della pista sotto l’ala.

Quella dell’arrivo è stata forse l’unica notte veramente buia, a causa della nebbia. Le altre sette notti, mi ricordo solo tanta luce (e il ronfare di Roberto). Comunque la mattina dopo, il primo giorno in Islanda, ci ha accolto con un cielo azzurro terso e temperature sopra i 20 gradi, che mi hanno fatto rimpiangere di non aver portato magliette e pantaloncini.

Il mitico Suzuki grand vitara

Il mezzo di locomozione

Due parole sul mezzo: i noleggi di 4×4 sono costosi, specialmente quelli che si trovano all’aeroporto. In un lampo di genio abbiamo cercato nei dintorni, trovando Kefcar che ci ha offerto un vecchio Suzuki del 2005 per circa 500 euro, per i sei giorni. Tanta ruggine, uno sterzo con un po’ tanto gioco, un cambio durissimo, ma proprio per quello ci ha fatto tanta simpatia. Bello alto, grandi finestrini, perfetto per girare in un posto con panorami mozzafiato e strade malridotte.

Reykjavik

Porta della cattedrale
Porta della cattedrale

Non ho trovato Reykjavik una città particolarmente interessante. È la capitale ed è relativamente grossa, ma in centro non ho trovato nulla di particolarmente attraente, insomma una città facilmente dimenticabile se non fosse che è l’unica città con dei palazzi veri e propri che abbiamo visto.

Ci sono alcune strade più o meno pedonali che formano una zona centrale, dove ci sono principalmente ristoranti etnici, uffici turistici e negozi di souvenir. Ci sono anche alcuni musei, abbiamo fatto un giro in quello della fotografia, in cui c’era una interessante mostra sulla vita e lo spopolamento del nord dell’Islanda.

Organ stops
Organ stops

La famosa cattedrale è in effetti impressionante ed è curiosa la porta che sembra quasi raffigurare Cthulhu. Dentro c’è un grosso organo che proprio in quei giorni stavano smontando e ripulendo.

Abbiamo mangiato tre volte a Reykjavik. La prima volta in un ristorantino consigliato da TripAdvisor, dove abbiamo fatto la conoscenza della Skyr. Dedicherò un intero capitolo allo Skyr più avanti perché se lo merita. Questo ristorante mi è piaciuto parecchio, era il Gamla vínhúsið. La seconda volta abbiamo mangiato per stanchezza in un ristorante piuttosto turistico e poco interessante, affianco al primo. Infine abbiamo fatto merenda e colazione in un posto che fa crêpes, gestito da una italiana: si chiama Eldur and Is e si trova all’inizio della strada in salita che porta alla cattedrale, sulla destra. Consiglio crêpe con lo Skyr e frutti di bosco.

Degna di una piccola nota la zona del porto da dove partono i giri in barca per i turisti: è uno strano miscuglio di passeggiata turistica fronte mare inframmezzata da cantieri navali sporchi e arrugginiti. Sempre sul fronte mare c’è una mostra permanente all’aperto, che, con cartelloni e mappe, elenca tutti i naufragi avvenuti nelle acque islandesi nel corso della storia. Sono tanti e la mostra occupa uno spazio non indifferente, vicino ad una locomotiva a vapore.

Heimaey

Vestmannaeyjar
Vestmannaeyjar

Heimaey è un isola che fa parte del piccolo arcipelago chiamato Vestmannaeyjar, formato per lo più da scogli inaccessibili. Sull’isola c’è una cittadina, chiamata Vestmannaeyjar (come l’arcipelago), raggiungibile con un traghetto dagli orari un po’ complicati. Dato che l’isola è piccola si può girare facilmente a piedi ed è consigliabile lasciare la macchina nel grosso parcheggio prima dell’imbarco del traghetto, per un risparmio economico considerevole Il pernottamento sull’isola ci è stato consigliato da Manuela, che ringrazio sentitamente, è uno dei posti più interessanti che ho visto.

La cittadina è formata quasi esclusivamente da villette, nel 1973 uno dei due vulcani che si trovano in periferia è eruttato, creando un nuovo pezzo di isola, ma distruggendo anche una parte della città.

Eldfell view
Eldfell

Leggendo wikipedia, si capisce che gli abitanti non si sono lasciati sconvolgere più di tanto: per salvare il porto, la cui imboccatura che stava per essere chiusa dal flusso della lava, hanno usato l’acqua fredda del mare per solidificare la colata e redirigerla altrove. Finita l’eruzione hanno usato il calore residuo per generare elettricità ed acqua calda. Nella foto qui sopra si vede il nuovo pezzo di isola, in basso. In lontananza si vede la costa islandese e il vulcano Eyjafjallajökull, che ha eruttato nel 2010.

Il vulcano è alto circa 200 metri e noi l’abbiamo scalato come passeggiatina prima di cena, per farci venire l’appetito. L’ultima parte è un po’ più stancante, è ripida e si cammina su del pietrisco, però la vista una volta arrivati sul bordo del cratere è magnifica. Purtroppo, anche un po’ a causa della luce bassa quella sera, non ho una foto che renda l’idea del panorama spettacolare.

Heimaey
Heimaey

L’isola è sede di una forte industria della pesca e passeggiando per il porto, mentre i miei due amici si arrampicavano a caccia (fotografica) di pulcinelle di mare, mi sono ritrovato davanti a dei pannelli pubblicitari inaspettati.

L'islanda e la Nigeria
L’islanda e la Nigeria

Ho scoperto, infatti, che uno dei prodotti più importanti dell’isola sono le teste di pesce secco, esportate verso la Nigeria, dove sono considerate una prelibatezza. Notare in basso i simpatici islandesi, provenienti da questa isoletta nebbiosa e tranquilla, vestiti da magnati nigeriani. Le spiegazioni comprendevano anche dettagli sul sistema all’avanguardia per seccare il pesce che è stato recentemente installato nei capannoni lì dietro.

Sull’isola c’è un piccolo museo dove, leggenda vuole, ci sia una pulcinella di mare viva e vegeta. Pare anche che la lasciassero toccare e accarezzare, ma che a seguito dell’aumento del numero di turisti ora non si possa più (ma nei giorni di baso afflusso, il nostro albergatore ha lasciato intendere che forse…). Non abbiamo indagato, per mancanza di tempo e, almeno per me, perché, insomma, povero uccello tocchignato dalle manine unte dei bambini di mezzo mondo, lasciatelo in pace.

Jökulsárlón

Jökulsárlón
Jökulsárlón

La famosa laguna coi pezzi di ghiaccio blu. Era il posto che volevo assolutamente vedere prima di partire e che, tra i posti più noti e frequentati che abbiamo visto, mi è piaciuto di più.

Intanto bisogna chiarire, di lagune ce ne sono due. Venendo da ovest, c’è Fjallsárlón, un po’ più lontano dalla strada e raggiungibile con un corto sterrato. Dopo qualche chilometro c’è un ponte sospeso e la seconda laguna, la più grossa e famosa Jökulsárlón.

Fjallsárlón
Fjallsárlón

Quando siamo passati noi, la prima laguna era molto più piena di blocchi di ghiaccio galleggianti ed essendo leggermente meno accessibile e meno nota c’era più tranquillità e meno pressione turistica.

Queste lagune sono formate da “piccole” lingue dell’enorme ghiacciaio che si trova al centro-sud dell’Islanda. Il ghiaccio lentamente scivola verso la laguna, si scioglie e si spezza, alimentando l’industria turistica locale. Sono disponibili giri in gommone e addirittura il giro con l’autobus anfibio, cartoline, souvenir e fast food.

Jökulsárlón
Jökulsárlón

Il paesaggio è spettacolare. Intorno ci sono le solite collinette semi-desertiche giallo marrone con qualche pianta che cerca disperatamente di sopravvivere. L’acqua è blu. Il vento arriva dritto dal ghiacciaio, freddo, ma anche di aria purissima. I blocchi di ghiaccio tendono ad essere bianco sporco, ma qua e là si vedono gli azzurri e i turchesi che spuntano. Nel canale che sfocia in mare, sotto al ponte sospeso, questi iceberg rotolano, si scontrano e si spezzano, trascinati dalla forte corrente, emettendo dei bassi boati.

La spiaggia coi blocchi di ghiaccio
La spiaggia coi blocchi di ghiaccio

Subito prima del ponte sospeso, a destra sempre venendo da ovest, poco segnalato c’è il parcheggio per la spiaggia. Parecchie foto circolano di questi blocchi di ghiaccio arenati sulla spiaggia di sabbia nera, ma quando si arriva al ponte tutti, noi compresi, guardano a sinistra, verso la laguna, e si perdono il fatto che a destra c’è un altro spettacolo della natura. Il ghiaccio che esce dalla laguna, infatti, a causa delle correnti e delle maree, si arena facilmente sulla spiaggia, per chilometri e chilometri.

Per fare delle belle foto qui ci vogliono tempo, pazienza e senso artistico. In quel momento, guarda caso, non avevo nessuna delle tre e quindi ci dobbiamo accontentare di queste due foto che rendono appena appena l’idea della lunghezza infinita della spiaggia e della varietà delle forme e dei tipi di ghiaccio che si possono trovare.

I tormentoni

Tre tormentoni ci hanno accompagnato nel nostro giro islandese. Lo Skyr, il drone e i puffin.

Lo Skyr

Lo Skyr è uno dei pochi prodotti veramente tipici dell’Islanda. Wikipedia italiana parla di un formaggio a base di latte acido, a me sembrava più simile allo yogurt greco, ma molto più leggero (concordo con Wikipedia in inglese). Non ha niente a che vedere con il Kyr della Danone.

È buonissimo, si trova puro o in vari gusti come lo yogurt. Purtroppo non lo esportano più a sud della Svizzera, per qualche motivo a me sconosciuto. Tutte le colazioni le ho fatte a base di Skyr e se mai vi capitasse sotto mano ve lo consiglio vivamente.

Il drone

Roberto si è portato sulle spalle uno zaino enorme con un drone. Con una autonomia di circa mezz’ora e solo una ricarica al giorno (alla sera in albergo) aveva il problema costante di selezionare i luoghi migliori dove usarlo. Francesco ed io l’abbiamo preso un po’ tanto in giro per via di questo drone e del suo ronzio, ma Roberto è riuscito, malgrado il nostro costante mugugno e degli uccelli gelosi del loro spazio aereo, a fare degli ottimi video (e a conquistare l’interesse di tre americane).

I puffin

I puffin, pulcinelle di mare, sono uccelli che hanno una testa particolare che li fa sembrare tristi ai nostri occhi. In teoria si trovano un po’ ovunque lungo le coste, ma noi siamo riusciti ad avvistarne solo uno, di sfuggita.

Pulcinella di mare

Il problema era che lungo la via abbiamo incontrato altre persone che ne avevano visti a bizzeffe un po’ ovunque. Ricordiamo tra gli altri: le due ragazze francesi che ne hanno visto “un paio” nelle scogliere sopra a Vestmannaeyjar e la coppia di fotografi italiani “uno stormo ci è volato addosso”. Qui di lato vedete il nostro puffin, quel puntino bianco appena riconoscibile.

La vera cuciniera Genovese

Grazie ai Distributed Proofreaders sono riuscito a preservare un vecchio libro che girava per casa, con pagine ormai ingiallite, strappate, tenuto insieme con lo spago. Ora è disponibile per tutti, nel pubblico dominio, in vari formati digitali, su Project Gutenberg:

http://www.gutenberg.org/ebooks/51857

Si tratta di una raccolta di ricette di inizio ‘900. Ci sono piatti di tutti i tipi, dolci e salati, oltre che conserve, gelati e liquori. Certi ingredienti sono un po’ difficili da trovare e alcuni attrezzi da cucina non esistono più se non in qualche piccolo museo di campagna, però ho già provato diverse ricette e sono venute buone buone 🙂

Datevi alla VERA cucina genovese!

OpenStack, Logstash and Elasticsearch: living on the edge

As part of my work for Bigfoot, I deployed a system to gather application logs and metering data coming from an OpenStackinstallation into Elasticsearch, for data analysis and processing. This post is based on OpenStack Icehouse.

Ceilometer to Elasticsearch

Ceilometer promises to gather metering data from the OpenStack cloud and aggregate it into a database, where it can be accessed by monitoring and billing software. In reality getting some data is very easy, but getting all the data is very hard, and in some cases, impossible.

Some OpenStack projects integrate the metering functionality and send their samples (VM CPU usage, disk, network, etc.) via RabbitMQ to a central agent. Other do not integrate Ceilometer (why? I don’t know) and the administrator has to run periodically a separate script/daemon to gather the information and send it out. The lack of documentation in this area is almost complete, I found out about “neutron-metering-agent” and “cinder-volume-usage-audit” by chance and doing Google searches for them, right now, results in nothing that explains what they are and how
to use them.

Once the data is gathered, Ceilometer wants to store it into a database. MongoDB is highly suggested, but it does not work together with Sahara, another OpenStack project. The issue ticket has been opened almost a year ago, and it is still open.

Mysql is not up to the task, a week of data causes the database to grow to a few tens of gigabytes. The script provided by Ceilometer to delete old data then tries to load everything in memory, hits swap and all hope is lost. I let it run for a week trying to delete one day of data, then I decided to try something else.

Ceilometer can send the data in msgpackformat via UDP to an external collector. I removed the central agent and the database and pointed Ceilometer to Logstash.
Connecting Logstash to Elasticsearch is very easy and now I can do something useful with the data. It works quite well, and here is how I did it:

First, the Ceilometer pipeline.yaml:

sources:
  - name: bigfoot_source
    interval: 60
    meters:
        - "*"
    sinks:
        - bigfoot_sink
sinks:
  - name: bigfoot_sink
    transformers:
    publishers:
      - udp://<logstash ip>:<logstash port>Code language: YAML (yaml)

This file has to be copied to all OpenStack hosts running Ceilometer agents (even on the Swift Proxy that does not have a standalone agent).

Logstash needs an input:

input {
  udp {
    port => <some port>
    codec => msgpack
    type => ceilometer
  }
}Code language: PHP (php)

and some filters:

filter {
  if [type] == "ceilometer" and [counter_name] == "bandwidth" {
    date {
      match => [ "timestamp", "YYY-MM-dd HH:mm:ss.SSSSSS" ]
      remove_field => "timestamp"
      timezone => "UTC"
    }
  }
  if [type] == "ceilometer" and [counter_name] == "volume" {
    date {
      match => [ "timestamp", "YYY-MM-dd HH:mm:ss.SSSSSS" ]
      remove_field => "timestamp"
      timezone => "UTC"
    }
    date {
      match =>["[resource_metadata][created_at]","YYY-MM-dd HH:mm:ss"]
      remove_field => "[resource_metadata][created_at]"
      target => "[resource_metadata][created_at_parsed]"
      timezone => "UTC"
    }
  }
  if [type] == "ceilometer" and [counter_name] == "volume.size" {
    date {
      match => [ "timestamp", "YYY-MM-dd HH:mm:ss.SSSSSS" ]
      remove_field => "timestamp"
      timezone => "UTC"
    }
    date {
      match =>["[resource_metadata][created_at]","YYY-MM-dd HH:mm:ss"]
      remove_field => "[resource_metadata][created_at]"
      target => "[resource_metadata][created_at_parsed]"
      timezone => "UTC"
    }
  }
}Code language: PHP (php)

These filters are needed because date formats in Ceilometer messages are inconsistent. Without these filters Elasticsearch will try to parse them and fail, discarding the messages. Perhaps there are other messages with this problem, but the only way to find them is wait for a parser exception in Elasticsearch logs.

I think this configuration is much more scalable, flexible and useful to the end user than the standard Ceilometer way, with its database and custom API for which there are no consumers.

Application logs

Managing an OpenStack deployment is hard. It is a complex distributed system, composed of many processes running on different physical machines. Each process logs to a different file, on the machine it is running on. A general lack of documentation and inconsistent use of log levels across OpenStack projects means that trying to investigate an issue is a tedious and time consuming job. Processes need to be restarted with debugging enabled, and a few important lines get lost
among tons of other stuff.

To try to simplify this situation I used again Logstash+Elasticsearch to gather all the application logs coming from OpenStack. To work at its best and provide meaningful searches (all messages from a certain Python module, all messages with exception traces), I decided to use a Python logging module that would translate the Python log objects into Logstash (json) dictionaries. This way the structure is conserved and not lost in syslog-like text translation.

Doing that is fairly simple, with a few caveats. First you will need to install python-logstash (my version reduces the number of fields that get discarded).

Then add this file to the configuration directory of the project you want to get the logs from (for example /etc/neutron/logging.conf):

[loggers]
keys=root

[handlers]
keys=stream

[formatters]
keys=

[logger_root]
level=INFO handlers=stream

[handler_stream]
class=logstash.UDPLogstashHandler args=(<logstash server>, <logstash port>, 'pythonlog', None, False, 1)Code language: TOML, also INI (ini)

And finally add this option to Neutron’s config file (it is the same for the other OpenStack projects):

log_config_append=/etc/neutron/logging.confCode language: Bash (bash)

Configuring logstash is easy, just add this:

input {
  udp {
    codec => "json"
    port => <some port>
    type => "pythonlog"
    buffer_size => 16384
  }
}Code language: PHP (php)

Now, the caveats:

  • this will disable completely any other logging option you set in the configuration files (debug, verbose, log_dir, …). Disregard what the documentation says about the fact the logging conguration will be appended, it does not, it overrides anything else and because of how the python logging system is made, there is nothing that can be done. If you use that option, all logging configuration has to reside in the logging.conf file.
  • The configuration above discards all logs with a level lower than INFO. DEBUG level is needed to investigate issues, but the volume of logs coming from a full OpenStack install at DEBUG level is just too big and imposes useless load.
  • Depending on the size and the load of your deployment, you may need to scale up both logstash and elasticsearch.

Agende nel 2014

Sono sempre alla ricerca di modi per organizzarmi meglio e periodicamente parto per delle quest, alla ricerca della soluzione definitiva ai miei problemi. Oggi riassumo i risultati delle mie ricerche sui modi migliori per organizzare una agenda di cose da fare.

I miei requisiti sono semplici, almeno all’apparenza:

  1. Client offline Android e PC (windows), sincronizzazione automatica
  2. I dati devono risiedere sul mio server
  3. Integrazione con la rubrica (compleanni, liste di persone presenti alle riunioni)
  4. Integrazione con un gestore di “attività/task”. Mi riferisco ai task inclusi nella specifica del protocollo caldav (i VTODO nella definizione dell’RFC 2445).

Sinceramente, non penso di chiedere la Luna. Il punto 1 dovrebbe essere piuttosto diffuso vista la quantità di telefoni Android e PC Windows in circolazione.Il punto 2 dovrebbe interessare a chiunque abbia o un minimo di riguardo per la propria privacy, o voglia tenere i dati della propria attività lavorativa sotto il proprio controllo e non cederlo a terzi.
Il punto 3 è questione di integrazione tra servizi esistenti, niente di nuovo da inventare. Outlook con Exchange lo fa già molto bene da tanto tempo, ad esempio.
Il punto 4, i task: mi piacerebbe poter tenere una lista delle cose che ho in mente di fare. Alcune hanno delle scadenze e altre no. Quelle che hanno scadenza dovrebbero apparire nell’agenda. Di nuovo, integrazione tra servizi, niente di nuovo.

Dopo innumerevoli ricerche, ripensamenti, installazioni e software in prova sono giunto alla conclusione che c’è parecchia strada da fare. Vediamo un po’.

Server

Per fare sincronizzazione facile ed affidabile ci vuole un server. La soluzione più promettente in quanto standardizzata e aperta sembra è caldav. Ci sono vari server, uno che ho provato è baïkal, che mi sembra faccia il suo lavoro egregiamente ed è facile da installare. Un altro è radicale, ma è implementato in Python e quindi non è facile da installare su un web server in hosting. Il mio provider di posta offre anche un server suo, basato su SabreDAV, a cui hanno aggiunto un’interfaccia web.

Il lato server è il più facile, ci sono varie soluzioni, tutte buone.

Client Android

Qui inizia il calvario. Android non supporta caldav. Ci sono app a pagamento o gratuite (beta) che fanno la sincronizzazione (ma non la fanno dei task per qualche motivo a me ignoto).

Questo già mi sembra un po’ tanto grave in un sistema operativo che fa di un punto di forza il suo essere aperto e libero.

Una volta che l’agenda è sincronizzata (ma non i task/attività, ripeto) ci sono varie app, alcune anche molto carine e ben fatte. Uso Business Calendar Pro, che ha dei bei widget, ma c’è anche SolCalendar.

Businness Calendar ha un supporto parziale per gli inviti ai meeting che arrivano da un calendario Google. Dico parziale perché appare la domanda “vuoi partecipare a questo meeting?”, ma poi non mi sembra che accada alcunché, qualunque sia la riposta.

Esiste una app, chiamata Birthday Adapter, che riempie un calendario a scelta coi compleanni presi dalla rubrica di Android. È utile, ma è un tapullo. Gli eventi sono visibili solo sul cellulare ed è ancora un altro servizio che deve girare su un dispositivo a batteria quando invece potrebbe essere fatto lato server ed essere condiviso su tutti i dispositivi.

Per i task c’è Mirakel. Che vuole una versione con patch della app per sincronizzare caldav. È tutto molto beta. Oppure c’è una app della stessa persona che fa caldav-sync, la app a pagamento per la sincronizzazione, ma è limitata e non fa cose fondamentali come i task ricorrenti (tipo qualcosa che si ripete una volta a settimana).

Client Windows

C’è Thunderbirdcon l’addon lightning. Poverino, fa il suo dovere e ha qualche bachetto. Zero sincronizzazione con la rubrica, che comunque in Thunderbird non si sincronizza. Non trova da solo tutti i calendari in un account e bisogna aggiungerli uno alla volta manualmente.
In alternativa c’è eM client. Che è un client di posta più moderno, ma che non solo vuole una licenza, ma aggiunge veramente pochissimo (una rubrica che si sincronizza) a quello che fa Thunderbird. Non sono a conoscenza di altri software, forse ci sono dei port di software Linux, come Evolution, ma nella mia esperienza è raro che tali progetti di porting funzionino decentemente e siano supportati bene.

Personalizzazioni

Ho sviluppato uno script che scarica un calendario condiviso e lo ripubblica all’interno di un calendario privato. Serve ad accentrare in un punto unico (il mio server) tutti i calendari di cui ho bisogno. Ad esempio uso un calendario pubblico di festività francesi e lo importo sul mio server, a questo modo ho quegli eventi su tutti i miei dispositivi automaticamente. Ho intenzione di estendere la cosa anche per i compleanni, basta leggere dalla rubrica condivisa e creare degli eventi in un calendario apposta.

Conclusioni

Manca del tutto un sistema di organizzazione personale, per singoli individui. Un sistema che racchiuda rubrica, calendario, posta e task manager, usando tecnologie e software esistenti e già diffusi, senza reinventare la ruota. La maggior parte delle componenti esiste già, mancano un po’ di pezzetti qui e là ed un po’ di colla per tenere insieme il tutto e dargli un aspetto decoroso. Ad averci il tempo potrebbe essere anche un progetto interessante, ma per ora purtroppo, si va avanti a script o si fa senza.

Curiosità

Durante la mia quest ho incontrato siti interessanti: