49 lines
1.8 KiB
Markdown
49 lines
1.8 KiB
Markdown
# opendata-nm-exporter Boucle de comptages
|
|
|
|
OpenData NM Exporter est un outil pour récupérer et procéder aux traitements des données de l'OpenData de Nantes Metropole. Les données sont stocké dans une base de donnée PostgreSQL (MariaDB non testé).
|
|
Les données stockés sont ensuite affiché par Grafana
|
|
|
|
## Installation
|
|
|
|
Cloner le dépot et installer poetry et installer les paquets python3
|
|
|
|
```bash
|
|
pip3 install poetry
|
|
git clone https://git.dryusdan.fr/Dryusdan/opendata-nm-exporter.git
|
|
cd opendata-nm-exporter
|
|
poetry install --no-dev
|
|
```
|
|
|
|
## Configuration
|
|
|
|
Créer le fichier config.yml dans le répertoire ` ~/.config/opendata_nm/config.yml`
|
|
|
|
Et remplissez le avec
|
|
```yaml
|
|
db:
|
|
host: <DBHOST>
|
|
port: 5432
|
|
user: <DBUSER>
|
|
password: <DBPASSWORD>
|
|
dbname: <DBNAME>
|
|
```
|
|
|
|
## Utilisation
|
|
|
|
Créer les deux taches cron suivante :
|
|
```bash
|
|
43 4 * * * cd <HOME>/opendata-nm-exporter/src/ && <HOME>/.local/bin/poetry run python3 main.py populate-day > /var/www/opendata_nm/cron.log
|
|
43 8 * * 1 cd <HOME>/opendata-nm-exporter/src/ && <HOME>/.local/bin/poetry run python3 main.py consolidate-week > /var/www/opendata_nm/week_cron.log
|
|
```
|
|
|
|
Pour récupérer toutes les données, vous pouvez télécharger le fichier json complet de Nantes métropole et le faire traiter par l'outil (dans un tmux ou un screen)
|
|
```bash
|
|
wget "https://data.nantesmetropole.fr/explore/dataset/244400404_comptages-velo-nantes-metropole/download/?format=json&timezone=Europe/Berlin&lang=fr" -O ~/comptages-velo-nantes-metropole.json
|
|
poetry run python3 main.py populate-all ~/comptages-velo-nantes-metropole.json
|
|
```
|
|
|
|
Si la base de donnée est modifié, vous pouvez utilisez la fonction `--force` qui force la mise à jour de toutes les entrées enregistrés
|
|
```bash
|
|
poetry run python3 main.py populate-all ~/comptages-velo-nantes-metropole.json --force
|
|
```
|