Un exporter qui récupère les données des boucles de comptages de Nantes Métropole https://comptages-velo.dryusdan.fr
You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
Dryusdan c298cd0ac1 Merge pull request 'Improve read (black usage)' (#4) from develop into main 5 months ago
src Improve read (black usage) 5 months ago
.gitignore Initial commit 6 months ago
LICENSE Initial commit 6 months ago
README.md Improve documentation and update dependencies 5 months ago
poetry.lock Improve documentation and update dependencies 5 months ago
pyproject.toml First commit 5 months ago
schemas.sql Add schemas in git 5 months ago

README.md

opendata-nm-exporter Boucle de comptages

OpenData NM Exporter est un outil pour récupérer et procéder aux traitements des données de l'OpenData de Nantes Metropole. Les données sont stocké dans une base de donnée PostgreSQL (MariaDB non testé). Les données stockés sont ensuite affiché par Grafana

Installation

Cloner le dépot et installer poetry et installer les paquets python3

pip3 install poetry
git clone https://git.dryusdan.fr/Dryusdan/opendata-nm-exporter.git
cd opendata-nm-exporter
poetry install  --no-dev

Configuration

Créer le fichier config.yml dans le répertoire ~/.config/opendata_nm/config.yml

Et remplissez le avec

db:
    host: <DBHOST>
    port: 5432
    user: <DBUSER>
    password: <DBPASSWORD>
    dbname: <DBNAME>

Utilisation

Créer les deux taches cron suivante :

43 4 * * * cd <HOME>/opendata-nm-exporter/src/ && <HOME>/.local/bin/poetry run python3 main.py populate-day > /var/www/opendata_nm/cron.log
43 8 * * 1 cd <HOME>/opendata-nm-exporter/src/ && <HOME>/.local/bin/poetry run python3 main.py consolidate-week > /var/www/opendata_nm/week_cron.log

Pour récupérer toutes les données, vous pouvez télécharger le fichier json complet de Nantes métropole et le faire traiter par l'outil (dans un tmux ou un screen)

wget "https://data.nantesmetropole.fr/explore/dataset/244400404_comptages-velo-nantes-metropole/download/?format=json&timezone=Europe/Berlin&lang=fr" -O ~/comptages-velo-nantes-metropole.json
poetry run python3 main.py populate-all ~/comptages-velo-nantes-metropole.json

Si la base de donnée est modifié, vous pouvez utilisez la fonction --force qui force la mise à jour de toutes les entrées enregistrés

poetry run python3 main.py populate-all ~/comptages-velo-nantes-metropole.json --force