Ce tutoriel est une traduction libre de build-your-own-openstreetmap-server. Par rapport à la version originel, nous avons également apportés quelques adaptations/modifications, en particulier la partie sur le logiciel Osmosis.
La version actuelle de cet article est basé sur Ubuntu 10.04 (Lucid Lynx) sortie en avril 2010.
Parfois, à la place du terme OpenStreetMap nous utiliserons son acronyme OSM.

Introduction et historique

Débuté en 2004 suite à l'initiative de Steve Coast, OpenStreetMap a pour objectif de fournir une carte du monde librement utilisable et/ou modifiable par tous. Si nous souhaitons effectuer une comparaison, OpenStreetMap est à la cartographie ce que Wikipedia est à l'encyclopédie. C'est en quelques sorte le Wikipedia des cartes.

Au départ l'idée de Steve Coast était simple : "Si je fais un plan de mon quartier et que je mets celui-ci à disposition de tout le monde, et qu'une autre personne réalise un travail similaire, nous aurons alors tous les deux de meilleures cartes."

En Mars 2009, on dénombrait déjà plus de 100.000 contributeurs (plus de 260.000 aujourd'hui) participant à ce vaste effort mondial. Face à ce succès et afin de pouvoir utiliser, apprendre, améliorer et partager les données toute une série de logiciel a été créée. Dans ce tutoriel, nous n'utiliserons qu'une partie d'entre eux, ceux qui permettent de construire notre propre serveur de tuiles. Vous pourrez ainsi construire votre copie personelle d'OpenStreetMap afin de l'utiliser par exemple au sein de votre entreprise, dans votre école, pour votre communauté ou tout simplement par intérêt personnel.

Bien évidemment, notre objectif n'est pas de recréer toute la chaine de production et d'utilisation d'OpenStreetMap tant les moyens à mettre en oeuvre seraient considérables. En effet, ce projet opérant à l'échelle mondiale il reçoit chaque jour un flot de données toujours plus important. Cela nécessite donc qu'il fonctionne en continu sur plusieurs serveurs, certains pour les API, d'autres pour les bases de données et enfin certains qui seront utilisés à des fins de développement.

Nous nous intéresserons ici à la seul création d'un serveur à partir d'un PC « classique » afin d'obtenir au final un serveur de tuiles. Celui-ci nous permettra alors, en utilisant les données d'OSM, de fournir des cartes au format adapté à une utilisation sur Internet. Comme nous l'avons déjà souligné, même si les fonctionnalités inhérentes à OpenStreetMap ne seront pas toutes disponibles, nous serons au final capable de créer nos propres carte et de les adapter à nos propres besoins.

L'intérêt de disposer de son propre serveur

Avant d'aborder ce tutoriel, vous vous demandez sûrement quel est l'intérêt de disposer de son propre serveur puisque le site OpenStreetMap propose déjà un service similaire. En effet, on ne créé pas cela pour le plaisir mais bien parce que vous avez un objectif particulier. Vous souhaitez par exemple détourner le fonctionnement initial afin de disposer de votre propre cartographie.

C'est par exemple le cas du projet OpenCycleMap. Celui-ci est un superbe exemple, de ce qu'il est possible de faire avec les outils et les données d'OSM une fois son objectif défini. Créé par Andy Allen et Dave Stubbs, OpenCycleMap utilise les données d'OSM afin de les mettre à disposition des cyclistes. Celles-ci sont retravaillées afin de mettre l'accent sur les pistes cyclables, les magasins de vélo et les parkings vélo. Ils ont également ajouté, à la carte, les courbes de niveau et des ombrages afin de faire ressortir les collines qui sont très importantes pour les cyclistes. En effet ces derniers peuvent par exemple choisir une montée difficile, ou d'autres fois ils veulent juste rentrer à la maison en ayant fait les courses. Le brillant travail de l'équipe OpenCycleMap a été reconnu par une mention honorifique de la part de la "British Cartographic Society" ainsi que le "prestigieux" Lolcat of Awesomness décerné par la communauté OpenStreetMap.

J'espère vous avoir convaincu de l'utilité de disposer de son propre serveur. Si vous avez encore quelques doutes, imaginez que vous pourriez-avoir besoin d'avoir un accès aux cartes alors que vous ne disposez d'aucun service internet. Je vois que vous commencez à imaginer tous les avantages de disposer de son propre morceau d'infrastructure d'OpenStreetMap. Ainsi, tout ce dont vous aurez besoin, c'est un peu d'imagination et une grande soif de connaissance.

La création de notre propre serveur est longue et surtout composé de multiples étapes. Nous espérons que les étapes décrites ci-dessous vous permettront d'obtenir votre première carte. Ce tutoriel est destiné à la construction d'un serveur de tuiles à partir de rien. A partir de celui-ci vous pourrez ensuite récupérer les données d'OSM et les transformer sous la forme d'images utilisables sur un site web. Il y a beaucoup de composantes dans OpenStreetMap. Nos prochains tutoriels aborderont la façon d'utiliser votre nouveau serveur afin de personnaliser vos cartes en fonctions de vos attentes.

Allez, c'est parti !

Prérequis

Mettre à jour votre système d'exploitation

sudo apt-get update
sudo apt-get upgrade

Installer quelques outils système

Nous aurons besoin du logiciel subversion pour obtenir les dernières mises à jour depuis OpenStreetMap et d'autres serveurs. Munin permet de visualiser l'activité du serveur. Screen permet de disposer de plusieurs sessions. Htop montre les processus en cours.

sudo apt-get install subversion autoconf screen munin-node munin htop

Préparer la structure des fichiers

cd ~ 
mkdir src bin planet

Obtenir le dernier "planet" (le jeu de données OpenStreetMap dans son format d'origine)

Un nouveau "planet" est publié environ chaque semaine. Le miroir principal et les fichiers archives du "planet" sont disponibles sur http://planet.openstreetmap.org/.
En Mai 2010, sa taille dépassait les 9 Go.
Si vous n'êtes pas intéressé par le "planet" complet, vous pouvez choisir de télécharger un extrait concernant la zone qui vous intéresse.

En ssh, suivez les instructions ci-dessous sinon passez directement à la partie "Télécharger les données".

Avec plus de 9 Go de données à récupérer, c'est le moment de considérer l'utilisation de screen si vous ne connaissez pas encore ce logiciel. Il vous permet d'utiliser plusieurs fenêtres de terminal par l'intermédiaire d'une seule connexion ssh et plus encore. Allez voir ce tutoriel si vous ne le connaissez pas. Sinon, attendre la fin du téléchargement, ou utiliser un autre session ssh pour continuer.

Télécharger les données

Vous déplacez dans l'arborescence :

cd planet

Vous pouvez au choix selon si vous avez choisi de travailler avec les données Monde, Europe ou France, faire :

wget ftp.heanet.ie/mirrors/openstreetmap.org/planet-latest.osm.bz2

ou

wget http://download.geofabrik.de/osm/europe.osm.bz2

ou

wget http://download.geofabrik.de/osm/europe/france.osm.bz2

Nous avons fait le choix de nous limiter à la France pour les besoins du tutoriel mais en nous appuyant sur les données Europe redécoupées sur une France "élargie". Notre choix initial s'appuyait sur les données France mais les rendus aux frontières posaient des problèmes.

Nous allons pour cela, utiliser un utilitaire dénommé Osmosis.

Installer Osmosis

Osmosis est un programme Java pour traiter les données OpenStreetMap. Dans notre cas, il est intéressant car il permet d'extraire les données depuis des coordonnées.

Il faut préalablement installer Java ou vérifier qu'il est installé en faisant :

java -version

Sinon, faire :

sudo nano /etc/apt/sources.list

puis coller à la fin :

###########################################################################
## Commercial
deb http://archive.canonical.com/ubuntu lucid partner
 
## Sources
# deb-src http://archive.canonical.com/ubuntu lucid partner
###########################################################################

puis fermer avec ctrl + O.

Ensuite, recharger le gestionnaire de package et installer Java avec :

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install sun-java6-jre sun-java6-plugin sun-java6-jdk

Nous pouvons installer Osmosis maintenant.
Nous allons récupérer les fichiers et mettre dans le chemin ("path") l'utilitaire Osmosis avec :

cd ~
wget http://bretth.dev.openstreetmap.org/osmosis-build/osmosis-latest.zip
unzip osmosis-latest.zip
sudo mv osmosis-0.35.1 /opt/
sudo chmod -R 777 osmosis-0.35.1/
sudo ln -s /opt/osmosis-0.35.1/bin/osmosis /usr/bin/

Extraction des données France "élargie" en utilisant Osmosis

Se rendre dans le "bon" répertoire :

cd ~/planet

Si vous ne l'avez pas déjà fait, récupérer les données Europe :

wget http://download.geofabrik.de/osm/europe.osm.bz2

Ensuite, lancer :

export JAVACMD_OPTIONS=-Xmx1024M

et la commande de traitement de Osmosis :

 bzcat europe.osm.bz2 | osmosis\
  --read-xml enableDateParsing=no file=/dev/stdin\
  --bounding-box left=-6.44 bottom=40.98 right=10.36 top=51.36 --write-xml file=-\
  | bzip2 > france.osm.bz2

Préparer la base de données PostGIS

L'extension PostGIS pour PostgreSQL permet de nombreux traitements sur les données géographiques.
Taper les commandes ci-dessous pour installer PostGIS et ses autres dépendances, pour un usage avec OpenStreetMap :

sudo apt-get install postgresql-8.4-postgis postgresql-contrib-8.4
sudo apt-get install postgresql-server-dev-8.4
sudo apt-get install build-essential libxml2-dev
sudo apt-get install libgeos-dev libpq-dev libbz2-dev proj

Installer osm2pgsql à partir du dépôt

La dernière version de osm2pgsql comporte plus d'options, c'est pourquoi nous allons préférer l'installer depuis les sources plutôt que par le système de paquets :

cd ~/bin
svn checkout http://svn.openstreetmap.org/applications/utils/export/osm2pgsql/
cd osm2pgsql/
./autogen.sh
./configure
make

Configurer la base de données PostGIS

Editer /etc/postgresql/8.4/main/postgresql.conf à quatre endroits différents. Ces changements seront utiles avec les grandes quantités de données que nous allons traiter.

Nous allons utiliser l'éditeur de texte nano mais nous aurions pu utiliser vim et pour ceux qui ne sont pas en ssh, gedit (ce dernier fonctionnant de manière similaire au bloc-notes sous Windows).

Pour cela, taper :

sudo nano /etc/postgresql/8.4/main/postgresql.conf

Changer les paramètres en les recherchant et en changeant leurs valeurs.
Attention à bien supprimer le # au début des lignes concernées.

shared_buffers = 128MB # 16384 pour la version 8.1 de postgreSQL et antérieures
checkpoint_segments = 20
maintenance_work_mem = 256MB # 256000 pour la version 8.1 de postgreSQL et antérieures
autovacuum = off

Pour enregistrer, faire au clavier ctrl + O (noté ^O dans l’éditeur) puis pour quitter ctrl + x (noté ^X dans l'éditeur)

De la même, manière, éditer en faisant :

sudo nano /etc/sysctl.conf

et ajouter à la fin du fichier :

kernel.shmmax=268435456

Russ Nelson et balrog-k1n nous ont rappelé que la commande ci-dessous ne prenait effet qu'après un redémarrage. Pour avoir un fonctionnement immédiat, taper :

sudo sysctl kernel.shmmax=268435456

Redémarrer postgres pour appliquer les changements :

sudo /etc/init.d/postgresql-8.4 restart

Le redémarrage de postgres devrait renvoyer un message similaire à ci-dessous :

  * Restarting PostgreSQL 8.4 database server                 [ OK ]

Créer une base de données appelée "osm". Certains de nos futurs outils supposeront que l'on utilise ce nom pour la base de données. Remplacer par votre nom d'utilisateur le "nom_utilisateur" à deux endroits dans le code ci-dessous. Cela devra être le nom d'utilisateur qui permettra la génération de la carte avec Mapnik.

sudo -u postgres -i
createuser nom_utilisateur # Répondre oui (o au clavier) pour créer un superutilisateur
psql -c"ALTER user nom_utilisateur WITH PASSWORD 'mon_mot_de_passe'"
createdb -E UTF8 -O nom_utilisateur osm
createlang plpgsql osm

Initialiser PostGIS dans la base de données PostgreSQL :

psql -f /usr/share/postgresql/8.4/contrib/postgis.sql -d osm

La console devrait renvoyer plusieurs lignes et se terminer avec :

...
CREATE FUNCTION
COMMIT

Remplacer par votre nom d'utilisateur le "nom_utilisateur" dans les lignes suivantes. Ce sera cet utilisateur qui devra faire le rendu avec Mapnik.

echo "ALTER TABLE geometry_columns OWNER TO nom_utilisateur; ALTER TABLE spatial_ref_sys OWNER TO nom_utilisateur;" | psql -d osm

Le retour devrait être :

ALTER TABLE
ALTER TABLE

Activer "intarray", une fonction fournie par le package postgresql-contrib-8.4 déjà installé :

psql -f /usr/share/postgresql/8.4/contrib/_int.sql -d osm

Après plusieurs lignes, la fin devrait vous renvoyer :

...
CREATE FUNCTION
CREATE OPERATOR CLASS

Insérer le SRID (Spatial Reference Identifier) dans la nouvelle base de données.
Pour cela, vous aller devoir remplacer par votre nom d'utilisateur linux le nom "mon_repertoire_linux" dans la ligne de commande ci-dessous :

psql -f /home/mon_repertoire_linux/bin/osm2pgsql/900913.sql -d osm

Petit clin d'oeil, la projection 900913 signifie Google en Leet speak.

Le retour doit être :

INSERT 0 1

Charger le "planet" dans la base de données via osm2pgsql

Pour un extrait Monde, l'importation prendra 30 heures ou plus. Elle consomme beaucoup de mémoire entrée/sortie et vous pouvez l'améliorer avec des disques plus rapides.

Pour charger notre extrait de "planet" :

cd /home/mon_repertoire_linux/bin/osm2pgsql
./osm2pgsql -S default.style --slim -d osm -C 1024 /home/mon_repertoire_linux/planet/france.osm.bz2
exit

La dernière ligne peut varier en remplaçant france.osm.bz2 par planet-latest.osm.bz2 si vous avez pris les données Monde. En fonction des performances de votre ordinateur, la mémoire peut aussi être augmentée à 2048 ou diminuée à 512 par exemple au lieu de 1024 comme dans l'exemple.

Installer la bibliothèque Mapnik

La bibliothèque est le premier des deux éléments qu'on appelle parfois "Mapnik". L'autre élément de "Mapnik" est une collection d'outils qu'OpenStreetMap utilise pour faire appel à Mapnik.

Le guide officiel et mis à jour pour les instructions d'installation de Mapnik est disponible sur http://trac.mapnik.org/wiki/MapnikInstallation .

Récupérer différents packages pour pouvoir compiler la bibliothèque Mapnik.

sudo apt-get install libltdl3-dev libpng12-dev libtiff4-dev libicu-dev
sudo apt-get install libboost-python1.40-dev python-cairo-dev python-nose
sudo apt-get install libboost1.40-dev libboost-filesystem1.40-dev
sudo apt-get install libboost-iostreams1.40-dev libboost-regex1.40-dev libboost-thread1.40-dev
sudo apt-get install libboost-program-options1.40-dev libboost-python1.40-dev
sudo apt-get install libfreetype6-dev libcairo2-dev libcairomm-1.0-dev
sudo apt-get install libgeotiff-dev libtiff4 libtiff4-dev libtiffxx0c2
sudo apt-get install libsigc++-dev libsigc++0c2 libsigx-2.0-2 libsigx-2.0-dev
sudo apt-get install libgdal1-dev python-gdal
sudo apt-get install imagemagick

Compiler la bibliothèque Mapnik à partir des sources.

cd ~/src
svn co http://svn.mapnik.org/tags/release-0.7.1/ mapnik
cd mapnik
python scons/scons.py configure INPUT_PLUGINS=all OPTIMIZATION=3 SYSTEM_FONTS=/usr/share/fonts/truetype/
python scons/scons.py
sudo python scons/scons.py install
sudo ldconfig

Confirmer que la bibliothèque Mapnik est installée.

python
>>> import mapnik
>>>

Si python répond avec le second chevron ">>>" et sans erreurs, alors la bibliothèque Mapnik a bien été trouvée par Python.
Sortir de python avec :

exit()

Installer les outils Mapnik

Les outils Mapnik sont le second élément appelé parfois "mapnik". C'est une collection d'outils de OpenStreetMap pour utiliser les fonctionnalités offertes par la bibliothèque Mapnik.

cd ~/bin
svn co http://svn.openstreetmap.org/applications/rendering/mapnik

Installer les données de limites mondiales

Mapnik utilise des fichiers préparés pour générer les traits de côte pour les cartes à petite échelle. C'est ainsi plus rapide que lire la base de données entière pour faire les rendus du zoom 0 au zoom 9.

cd ~/bin/mapnik
mkdir world_boundaries
wget http://tile.openstreetmap.org/world_boundaries-spherical.tgz
tar xvzf world_boundaries-spherical.tgz
cd world_boundaries
wget http://tile.openstreetmap.org/processed_p.tar.bz2
bunzip2 processed_p.tar.bz2
tar xvf processed_p.tar
wget http://tile.openstreetmap.org/shoreline_300.tar.bz2
bunzip2 shoreline_300.tar.bz2
tar xvf shoreline_300.tar

Depuis la rédaction initiale, quelques éléments supplémentaires sont à récupérer

wget http://www.naturalearthdata.com/http//www.naturalearthdata.com/download/10m/cultural/10m-populated-places.zip
unzip 10m-populated-places.zip
wget http://www.naturalearthdata.com/http//www.naturalearthdata.com/download/110m/cultural/110m-admin-0-boundary-lines.zip
unzip 110m-admin-0-boundary-lines.zip

Obtenir sa première carte

La base de données est chargée et les outils sont installés. Nous pouvons tester que tout fonctionne correctement.

cd ~/bin/
chmod -R 777 mapnik

Editer generate_image.py pour changer les coordonnées pour générer la carte :

vim ~/bin/mapnik/generate_image.py

Puis remplacer :

#---------------------------------------------------
    #  Change this to the bounding box you want
    #
    ll = (..., ..., ..., ...)
#---------------------------------------------------
 
z = ...
imgx = ... * z
imgy = ... * z

par :

#---------------------------------------------------
    #  Change this to the bounding box you want
    #
    ll = (-6.44, 40.98, 10.36, 51.36)
#---------------------------------------------------
 
z = 10
imgx = 961 * z
imgy = 861 * z

Le code ci-dessus est obtenu en lisant l'export dans OSM :

Enregistrer et fermer avec :x

cd mapnik
chmod +x generate_xml.py
cd ~/bin/mapnik
./generate_xml.py osm.xml --dbname=osm --user=nom_utilisateur --password=mon_mot_de_passe --port=5432 --host=localhost
./generate_image.py

Allez dans le même répertoire pour visualiser un fichier image.png de dimension 9610 x 8610 (ceux qui ont suivi comprendrons pourquoi ;) ) pour confirmer que vous avez généré une carte de la France comme ci-dessous.

Félicitations !

Références et crédits

Les crédits mentionnés ci-dessous sont ceux de l'article original.
Nos remerciements vont aux différents développeurs à l'origine de la création de tous ces logiciels libres utilisés.
Merci pour

• l'aide de nombreuses personnes du chan #osm sur le serveur irc.oftc.net et particulièrement jburgess, Ldp et springmeyer
• les nombreuses contributions sur la mailing list OSM
• http://lists.openstreetmap.org/
• http://wiki.openstreetmap.org/wiki/Mapnik
• http://mapnik.org/

Merci à dbaker et à acant pour l'aide sur la précédente version de l'article.
Merci à nelson, codebrainz, Ldp, balrog-k1n et kW pour les différentes mises à jour sur les versions antérieures de l'article.

Les crédits supplémentaires relevant de notre reprise du tutoriel sont à mettre à l'actif des auteurs des pages suivantes :

• http://weait.com/content/map-tiles-and-bounding-boxes
• http://wiki.openstreetmap.org/wiki/Osmosis
• http://wiki.openstreetmap.org/wiki/User:Petrovsk/FR:osmosis
• http://doc.ubuntu-fr.org/java#par_les_depots_recommande

Nous remercions également Arnaud et Fabien pour leurs apports critiques sur la traduction et le contenu.

Informations supplémentaires

Pour d'autres informations en français, vous pouvez vous rendre sur les pages de :

• http://www.openstreetmap.fr/
• http://www.openstreetmap.org/

Ainsi que sur les pages francophones du wiki OpenStreetMap :

• http://wiki.openstreetmap.org/wiki/FR:Main_Page

Sur la liste de diffusion :

• http://lists.openstreetmap.org/pipermail/talk-fr/

Sur le chat IRC francophone :

• http://wiki.openstreetmap.org/wiki/Reunions_Francophones#Comment_acc.C3....

Nous verrons dans les tutoriels à venir la génération des tuiles depuis ces données et leur intégration dans Openlayers.

Thomas