Como administradores, nos vamos a encontrar en la situación de tener que descargar copias de seguridad de cursos de años pasados, para trabajar de acuerdo a las políticas de retención de datos de nuestra institución.
Estas copias de seguridad descargadas pueden entonces mantenerse por el tiempo que sea necesario en otra localización habilitada para ello, como puede ser un bucket S3 de Amazon, una carpeta en un servidor en nuestra institución o un disco duro, sin afectar al espacio contratado para Blackboard.
En SaaS, las copias de seguridad se crean automáticamente de forma diaria, y se guardan en la Colección de Contenido para su acceso durante 30 días.
Para aliviarnos en la descarga de las mismas, Blackboard ha creado un script que nos permite descargar a una carpeta local o a un bucket S3 las copias de seguridad por lotes antes de que desaparezcan del servidor.
Las descargas se realizan a través de la REST API y por tanto requieren de unos pasos previos al uso, pero luego nos permitirá dsecargar sin utilizar credenciales de usuario. Este script puede descargar las copias de seguridad de los cursos incluídos en una lista proporcionada en un archivo o bien de todos los cursos creados entre dos fechas especificadas.
El script no crea las copias, solo las descarga. Si no existe copia de un curso, no se descargará, a pesar de que el curso esté entre las fechas especificadas o en el archivo proporcionado.
Preparando la aplicación REST
Antes de nada, registraremos una aplicación en Developer Portal (puedes aprender cómo registrar aplicaciones y mucho más sobre REST API aquí) y guardaremos los tres parámetros que nos devuelve: Application key, Secret y Application ID.
Preparando Blackboard
Ahora, accede a Panel de administración > Integraciones > Integraciones API de REST y crea una nueva integración añadiendo el Application ID que copiaste y asignando a un usuario con permisos suficientes para correr esta integración.
Recomendamos crear un rol específico para esta integración, con los privilegios mínimos necesarios para realizar la tarea, y utilizar un usuario creado para esto al que se asigne el rol de sistema que hemos creado.
Los privilegios necesarios son:
- Permiso de lectura en Content Collection
- Permiso de archivo para cursos y organizaciones
- Permiso de archivo que incluye contraseñas para cursos y organizaciones
Deja el resto de opciones tal como vienen por defecto y Guarda.
Preparando el PC
Necesitarás instalar Python 3.8 o superior, pip y además de los paquetes requests y boto3. Descarga el script desde este artículo de soporte.
En pocos pasos, el script recibe un token con tu key y secret, lista los contenidos de /internal/autoArchive y descarga el último archivado de cada uno de los cursos selecionados, junto con su archivo de registro. Una vez termina, muestra un resumen de lo realizado.
Si colocas el secreto como variable de entrono, no tendrás que añadirla cada vez que corras el script, y además no aparecerá en el historial de tu shell. Si prefieres no añadirlo, el script te lo pedirá cada vez que corra.
En linux, export AUTO_ARCHIVE_SECRET='<application secret>'
En Windows, $env:AUTO_ARCHIVE_SECRET = '<application secret>'.
Lanzando el script
La invocación básica por tanto sería:
python3 auto_archive_bulk_download.py [--help] --site SITE --key KEY
[ --file FILE | --beginDate YYYY/MM/DD --endDate YYYY/MM/DD ]
[--debug] --output OUTPUT
Donde:
--help Imprimir la ayuda
--site SITE URL del entorno Blackboard al que queremos acceder, incluyendo el protocolo.
--key Key de la aplicación generada en el Developer portal
--file Ruta del archivo de texto con la lista de los identificadores de curso. Obligatorio se si omiten las fechas.
-- beginDate Fecha de creación de los cursos desde la que descargar en formato AAAA/MM/DD
--endDate Fecha de creación de los cursos hasta la que descargar en formato AAAA/MM/DD
--debug Modo debug
--output Ruta en la que guardar las copias. Puede ser local o bien un S3.
Ten en cuenta que:
- el script pedirá el secret utilizado al comienzo de la ejecución a menos que lo guardes en una variable de entorno
- el archivo contendrá únicamente un courseID por fila, sin ningún otro caracter ni separador
- si se van a utilizar fechas, habrá que especificar ambas. Se descargarán todas las copias de seguridad de cursos que fueron creados entre las dos fechas especificadas.
- los paths locales del output pueden ser absolutos o relativos, pero es importante que el directorio donde se va a descargar exista.
- Los archivos de copia de seguridad deben existir en /internal/autoArchive/ID-DEL-CURSO. Si no existen, el script no descargará nada, y nos mostrará al finalizar qué cursos tienen esta casuística.
- el script descargará la copia de seguridad más nueva de cada curso
- recuerda no correr varias instancias del script en paralelo, ya que generaría problemas de rendimiento.
Al finalizar, se mostrará en pantalla un resumen de lo realizado:
- Cuántas copias de seguridad se han descargado
- Cursos con errores, y la razón de dicho error
- Cursos con una carpeta vacía.
- Cursos con carpeta pero sin copias de seguridad. Recuerda que solo se descargan las copias de seguridad automáticas, el resto de archivos se ignoran.
- Copias de seguridad descargadas sin su correspondiente archivo de registro.
- Cursos en el archivo especificado en --file no encontrados, o cursos encontrados pero fuera del rango de fechas.
- Si el script paró antes de lo esperado y cuántos cursos no se han procesado
Ejemplos
Descargando una lista de cursos en un archivo
python3 auto_archive_bulk_download.py --site https://mysite.blackboard.com
-- key <application key> --output ~/Downloads/autoArchives
--file ~/Documents/feedFile.txt
Este modo necesita un feed-file. El script procesa un archivo con un listado de Course IDs y descargará las copias de seguridad de dichos cursos.
El feed-file es un archivo de texto plano con los ID de los cursos a descargar. Un ID de curso por fila, sin ninguna otra información, delimitador, o cabecera. Por ejemplo,
2021-ENG001 2021-ENG002 2020-MAT005
Es importante usar el Course_ID y no otros valores.
Descargando cursos creados entre fechas
python3 auto_archive_bulk_download.py --site https://mysite.blackboard.com
-- key <application key> --output ~/Downloads/autoArchives
--beginDate 2020/01/20 --endDate 2021/01/20
Descargando a buckets S3
El script puede utilizarse de modo que en vez de descargar a un directorio local, se carguen los archivos directamente a un bucket S3. Necesitarás crear un bucket y una clave de acceso con permisos suficientes para cargar archivos.
Para poder usar el bucket:
- Es necesario exportar AWS Access Key ID y Secret key como variables de entorno utilizando los nombres estándar de AWS.
- El path al bucket se indica con la notación estándar de S3 en lugar del path local. Ejemplo: s3://mybucket/myfolder/
- La barra al final de la dirección del bucket es importante, no la omitas.
Recuerda correr una única instancia del script para evitar degradar el rendimiento del servidor.
Limitaciones
Recuerda que las aplicaciones REST API tienen una limitación a 10.000 llamadas diarias. Este script usa una llamada por curso más algunas más para encontrar las carpetas, asi que en un día se pueden descargar unos 9.900 cursos si no se usan las llamadas para nada más. Si se llega al tope, el script parará, indicará cuántos cursos han quedado sin procesar y mostrará el código 1. Aquí puedes ver cómo elevar el límite de peticiones de la API.
Comentarios
0 comentarios
Inicie sesión para dejar un comentario.