🤖 Web Scraping Responsable amb Robots.txt i Exportació a CSV

-

 

En aquest vídeo descobrim què és el fitxer robots.txt, com interpretar-lo i per què és essencial respectar-lo si fem Web Scraping.
📜 Robots.txt indica quines parts d’un lloc web es poden explorar automàticament i quines no.

A més, veurem com modificar el codi de scraping per recollir els títols i URLs d’articles i guardar-los en un fitxer CSV. Tot amb Python i BeautifulSoup!

📌 Què aprendràs?

✅ Què és i com llegir el fitxer robots.txt
✅ Bones pràctiques en Web Scraping
✅ Creació d’un CSV amb BeautifulSoup i Python
✅ Exemple pràctic aplicat a un blog real

🎥 Mira el vídeo aquí 👉 https://www.youtube.com/watch?v=7wajHLmUHdo


💬 Coneixies el fitxer robots.txt? T’agradaria més codi pràctic com aquest? Deixa el teu comentari!

🔔 Subscriu-te al canal per a més vídeos sobre programació, dades i tecnologia!

#WebScraping #RobotsTXT #Python #CSV #CiènciaDeDades #BeautifulSoup #Tecnologia #Català #Valencià

Comentaris

Publica un comentari a l'entrada

Entrades populars d'aquest blog

Clean Code... WTF? És realment viable?

-
Després d'haver llegit un bon grapat (realment no tants però així quede d'entés ;)) de llibres sobre fer codi clar, bona programació... no sé com dir-ho, en anglés Clean Code, he trobat a l'anar a modificar (adaptar) programes d'altres (programari lliure) que no hi havia per on agarrar-ho. Vaig a posar un cas (no, no vaig a refactoritzar-lo ni vaig a menyspreuar-lo) en el que volia "treballar" actualment. Volia fer una modificació del fòrum Simple Machines Forum (el fòrum és una passada, va molt bé i inclou de serie una versió per a mòbil que ve molt bé). El resultat és què  la funció (on supose) que volia fer la modificació, té un tamany de més de 600 línies!!! Recordem que uns dels principis (segons l'Uncle Bob) és què les funcions han de fer una i només una cosa, i han de ser curtes. El que caldria supose què és refacoritzar-lo, però a veure qui és el guapo que es posa ara a fer-ho  (hi ha molt de codi al fòrum). He de dir també que el codi està fet en...
Més informació

Comparativa dels Sistemes Polítics Espanyol, Valencià i d'un partit polític. (II)

-
El Poder Executiu En l’Estat Espanyol, el poder executiu real bé donat pel President del Govern. Aquest triarà els Vicepresidents, Ministres, etc (directa o indirectament, alguns alts càrrecs els triaran els corresponent Ministres). No hi ha cap limitació al respecte la persona elegida (no ha de ser diputada, ni cap límit de formació, etc.). Al País Valencià, l’òrgan executiu és el Consell, i, existeix, de manera anàloga, el president del Consell (què és, també, el president del Generalitat, el és conjunt d’institucions d’autogovern). S’elegix de manera anàloga al President del Govern espanyol, però amb la diferència que ha d’ésser elegit entre els diputats de les Corts Valencianes. Aquest procedirà, igual que al govern espanyol, a nomenar el seu gabinet. Al Bloc Nacionalista Valencià, el poder executiu rau en l’Executiva Nacional. Aquesta, de manera tradicional, és triada al Congrés Nacional des d’un sistema de llista tancada majoritari. Encara que tradicionalment sol haver-hi només...
Més informació

Hui he vist la por als ulls

-
Imatge
Estic trist ,molt trist.Vinc de la manifestació del 9 d'octubre i, puc dir que he vist moltes coses, però el que no he vist és democràcia. He vist moltes banderes d'Espanya i blaveres dels increpadors, però no he vist democràcia. Les seues paraules eren "ven aquí fuera", "te voy a meter esa bandera por el coño", etc. He vist com manifestants fàcilment identificables entraven a provocar i la Policia Nacional no feia res per evitar-ho, però no he vist democràcia. He vist com un pare utilitzava al seu fill per provocar, i amb actitud agresiva (inclús anava a pegar-li manotada a un), però no he vist democràcia. He vist com es permetia una manifestació no autoritzada que podia alterar l'ordre públic. Segons la sacrosanta Constitució Espanyola, això és il·legal, però no he vist democràcia. He vist com la Policia Nacional tractava respectuosament, i inclús es coordinava amb els feixites. A nosaltres ens miraven amb cara de fàstic, però no he vist democràc...
Més informació