Handle restricted access documents gracefully

bukosabino · Mar 6, 2024 · 639af7e · 639af7e
1 parent 4b9957f
commit 639af7e
Showing 1 changed file with 3 additions and 0 deletions.
diff --git a/src/etls/boja/scrapper.py b/src/etls/boja/scrapper.py
@@ -148,6 +148,9 @@ def download_document(self, url: str) -> BOJAMetadataDocument:
         texto_completo = ""
         soup = HTTPRequester.get_soup(url)
         try:
+            acceso_restringido = soup.find('h1', class_='title', string='Texto de acceso restringido')
+            if acceso_restringido:
+                return None            
             cuerpo = soup.find(id="cuerpo", class_="grid_11 contenidos_nivel3 boja_disposicion")        
             cabecera = soup.find(class_="punteado_izquierda cabecera_detalle_disposicion")
             if not cabecera or not cuerpo: