Saltar al contenido principal

wiki-Sentinel-Ingest

Ver en Git

Sentinel Ingest

title: Sentinel Ingest​

Sentinel Ingest

Configuracion ASG​

*. Se usa la imagen del servidor de sentinel *. Las instancias del ASG correrán la versión del código que esté en la image_AWS_sentinel. *. script para que arranquen las instancias del autoscaling group:

#!/bin/bash
sudo -u ubuntu -i <<'EOF'

. /home/ubuntu/run_celery 4 spotInstance_eu process_dwnl.mid,process_dwnl.high USE_VFS=FALSE

EOF

los argumentos posicionales que recibe el script run_celery son:

  1. cantidad de procesos simultaneos de cada worker
  2. nombre que se pondrá cada worker
  3. queue de celery que consumira
  4. USE_VFS=FALSE o USE_VFS=TRUE para indicar si descarga los tiles completos o si consume de VFS

Es necesario copiar el script run_celery del repo al directorio root de la instancia.

Configuracion PM2​

Hay 2 servidores que corren workers con PM2.

Virginia:​

Correr

pm2 start workers_virginia.config.js

y esto levanta 3 workers, 1 beat y flower (front admin)

Frankfurt:​

Correr

pm2 start workers_frankfurt.config.js

y esto levanta 2 workers