opendata-nm-exporter/README.md

# opendata-nm-exporter Boucle de comptages

OpenData NM Exporter est un outil pour récupérer et procéder aux traitements des données de l'OpenData de Nantes Metropole. Les données sont stocké dans une base de donnée PostgreSQL (MariaDB non testé).
Les données stockés sont ensuite affiché par Grafana

## Installation

Cloner le dépot et installer poetry et installer les paquets python3

```bash
pip3 install poetry
git clone https://git.dryusdan.fr/Dryusdan/opendata-nm-exporter.git
cd opendata-nm-exporter
poetry install  --no-dev
``` 

## Configuration

Créer le fichier config.yml dans le répertoire ` ~/.config/opendata_nm/config.yml`

Et remplissez le avec 
```yaml
db:
    host: <DBHOST>
    port: 5432
    user: <DBUSER>
    password: <DBPASSWORD>
    dbname: <DBNAME>
```

## Utilisation

Créer les deux taches cron suivante : 
```bash
43 4 * * * cd <HOME>/opendata-nm-exporter/src/ && <HOME>/.local/bin/poetry run python3 main.py populate-day > /var/www/opendata_nm/cron.log
43 8 * * 1 cd <HOME>/opendata-nm-exporter/src/ && <HOME>/.local/bin/poetry run python3 main.py consolidate-week > /var/www/opendata_nm/week_cron.log
```

Pour récupérer toutes les données, vous pouvez télécharger le fichier json complet de Nantes métropole et le faire traiter par l'outil (dans un tmux ou un screen)
```bash
wget "https://data.nantesmetropole.fr/explore/dataset/244400404_comptages-velo-nantes-metropole/download/?format=json&timezone=Europe/Berlin&lang=fr" -O ~/comptages-velo-nantes-metropole.json
poetry run python3 main.py populate-all ~/comptages-velo-nantes-metropole.json
```

Si la base de donnée est modifié, vous pouvez utilisez la fonction `--force` qui force la mise à jour de toutes les entrées enregistrés
```bash
poetry run python3 main.py populate-all ~/comptages-velo-nantes-metropole.json --force
```