opendata-nm-exporter/README.md

opendata-nm-exporter Boucle de comptages

OpenData NM Exporter est un outil pour récupérer et procéder aux traitements des données de l'OpenData de Nantes Metropole. Les données sont stocké dans une base de donnée PostgreSQL (MariaDB non testé). Les données stockés sont ensuite affiché par Grafana

Installation

Cloner le dépot et installer poetry et installer les paquets python3

pip3 install poetry
git clone https://git.dryusdan.fr/Dryusdan/opendata-nm-exporter.git
cd opendata-nm-exporter
poetry install  --no-dev

Configuration

Créer le fichier config.yml dans le répertoire ~/.config/opendata_nm/config.yml

Et remplissez le avec

db:
    host: <DBHOST>
    port: 5432
    user: <DBUSER>
    password: <DBPASSWORD>
    dbname: <DBNAME>

Utilisation

Créer les deux taches cron suivante :

43 4 * * * cd <HOME>/opendata-nm-exporter/src/ && <HOME>/.local/bin/poetry run python3 main.py populate-day > /var/www/opendata_nm/cron.log
43 8 * * 1 cd <HOME>/opendata-nm-exporter/src/ && <HOME>/.local/bin/poetry run python3 main.py consolidate-week > /var/www/opendata_nm/week_cron.log

Pour récupérer toutes les données, vous pouvez télécharger le fichier json complet de Nantes métropole et le faire traiter par l'outil (dans un tmux ou un screen)

wget "https://data.nantesmetropole.fr/explore/dataset/244400404_comptages-velo-nantes-metropole/download/?format=json&timezone=Europe/Berlin&lang=fr" -O ~/comptages-velo-nantes-metropole.json
poetry run python3 main.py populate-all ~/comptages-velo-nantes-metropole.json

Si la base de donnée est modifié, vous pouvez utilisez la fonction --force qui force la mise à jour de toutes les entrées enregistrés

poetry run python3 main.py populate-all ~/comptages-velo-nantes-metropole.json --force