Connectez votre Données Procore en téléchargeant Analytics Maquettes

• Créer un fichier d’Identifiants d’identification

• Exécuter user_exp.py script

• Exécuter en tant que PySpark

• Exécuter en tant que Python

• Choisissez votre propre méthode

Créer un fichier d’Identifiants d’identification

Vous devez d’abord générer un jeton de données dans l’application Web Procore. Voir Générer un jeton d’accès.

1. Créez un fichier appelé config.share.

2. Ajoutez les champs ci-dessous :
   {
   "shareCredentialsVersion": 1,
   "bearerToken": "",
   "endpoint": "",
   "expirationTime": ""
   }

3. Ajoutez les valeurs du jeton du porteur, du point de terminaison, de la version des identifiants de partage et du délai d’expiration reçues de Procore au fichier config.share.

Exécuter user_exp.py script

Vous pouvez utiliser les scripts suivants pour créer un fichier config.yaml avec les configurations nécessaires.

• Pour Stockage Azure:
  cron_job: #true/false
  run_as: #pyspark/python
  source_config:
  config_path: #path to the config.share file
  tables:
  - '' # table name if you want to download a specific table. Leave it empty if you want to download all tables
  source_type: delta_share
  target_config:
  auth_type: service_principal
  client_id: #client_id
  secret_id: #secret_id
  storage_account: #storage-account name
  storage_path: #@.dfs.core.windows.net/
  enant_id: #tenant_id
  target_type: azure_storage
  

• Pour MSSQL DB:
  cron_job: #true/false
  run_as: #pyspark/python
  source_config:
  config_path: #path to the config.share file
  tables:
  - '' # table name if you want to download a specific table. Leave it empty if you want to download all tables
  source_type: delta_share
  target_config:
  database: #target database
  host: #target hostname:port
  password: #password
  schema: #target schema (default to procore_analytics)
  username: #username
  target_type: sql_server

Exécuter en tant que PySpark

Si votre environnement est déjà configuré avec Spark, choisissez l’option « pyspark » lorsque vous y êtes invité ou une fois que le fichier « config.yaml » est généré, vous pouvez exécuter les commandes suivantes pour télécharger les rapports dans le répertoire de données.

• Pour l’écriture dans le stockage ADLS Gen2:
  spark-submit --packages io.delta:delta-sharing-spark_2.12:3.1.0,org.apache.hadoop:hadoop-azure:3.4.0,com.microsoft.azure:azure-storage:8.6.6,org.apache.hadoop:hadoop-common:3.4.0 --exclude-packages com.sun.xml.bind:jaxb-impl delta_share_to_sql_spark.py

• Pour l’écriture dans MSSQL DB :
  spark-submit --packages io.delta:delta-sharing-spark_2.12:3.1.0 --jars mssql -jdbc jar> delta_share_to_sql_spark.py

Exécuter en tant que Python

1. À partir de la ligne de commande, accédez au dossier en entrant la commande « cd ».

2. Installez les lots requis à l’aide de “pip install -r requirements.txt”ou “python -m pip install -r requirements.txt”.

3. Exécutez la commande python delta_share_to_azure_pandy.py.

Utilisation de SSIS

1. Ouvrez SSIS et créez un nouveau projet.

2. Dans la boîte à outils SSIS, glissez-déposez Exécuter la tâche de processus.

3. Double-cliquez sur Exécuter la tâche de traitement.

4. Allez dans l’onglet Processus.

5. À côté de Exécutable, entrez le chemin d’accès à python.exe dans le dossier d’installation de Python.

6. Dans WorkingDirectory, entrez le chemin d’accès au dossier contenant le script que vous voulez exécuter (sans le nom du fichier script).

7. Dans Arguments, entrez le nom du script delta_share_to_azure_panda.py vous souhaitez exécuter avec le .py et cliquez sur Enregistrer.

8. Cliquez sur Démarrer dans le menu supérieur du ruban.

9. Lors de l’exécution de la tâche, la sortie de la console Python s’affiche dans la fenêtre de la console externe.

10. Une fois la tâche terminée, une coche s’affiche.

Choisissez votre propre méthode

Delta Sharing est un protocole ouvert pour le partage sécurisé de données. Vous trouverez le référentiel GitHub public pour Delta Sharing à l’adresse https://github.com/delta-io/delta-sharing. Le référentiel comprend des exemples et de la documentation pour accéder aux données partagées à l’aide de divers langages tels que Python et Spark Connector (SQL, Python, Scala, Java, R).