Objetivo: ao final, carregar conteúdo normativo para uma base SQL postgres, incluindo informações de contexto.
Origem: URLs para normas, decisões e enunciados, tanto em pdf quanto em html. Arquivos fornecidos, planalto.gov., cnj, stf e stj.
Destino: em um primeiro projeto, um texto preprocessado .txt UTF8. Em um segundo momento, se evoluirmos, carga em uma base de dados estruturada SQL.
Tecnologia: primeiro momento python, pyPDF2, beautifulsoup ou selenium, regex, anaconda. segundo momento psycopg2.
Etapas: obtenção da fonte de dados bruta, exclusoes, verificação da condificação (ansi, asc, utf, etc), remocoes e exclusoes de caracteres, marcação com hashes.
Hello sir,
I am a python developer with more than 2 years of experience. I have done many projects in past. I can work on :
1. Web Scraping / Data Science / ML
2. Django
3. APP development
4. C/C++
5. Wordpress
Lets discuss your project in more detail in chat for better understanding.
Please look at my profile once. Thanks.
Jaibhan Singh Gaur.
Boa tarde,
Sou desenvolvedor Python com experiência em Automação de Tarefas e Web Scraping com todas a ferramentas citadas (Beatiful Soup, Selenium, Postgree SQL, ReGex, etc).
Gostaria de fazer parte do seu projeto. Estou pronto para começar de imediato.
Estarei esperando mais informações no chat!
I have gone through your requirement to scrape lots of websites. I am EXPERT in building scraping tools /scripts. Hence, I can SURELY work on your project. I am having 7 YEARS of EXPERIENCE in developing PHP-PYTHON (Scrapy, Selenium) based web scraper as well as WINDOWS BASED web scraping software through which I have crawled many sites such as Craigslist, Amazon, Yelp and many others. I have also worked on complex sites to bypass CAPTCHA with the use of PROXY IP bouncing techniques.. Let's work together :) Have a great day! I am glad to see your WORK HISTORY and positive reviews of other freelancers. I am really excited to work with you and would love to have a long-term business association for any of your data-related tasks.
Olá,
Obrigado por compartilhar o requisito do seu projeto.
Lemos sua exigência e entendemos. Para entender mais e esclarecer nossas dúvidas, queremos conversar com você.
Portanto, envie-nos uma mensagem para que possamos analisá-la detalhadamente e dar-lhe uma estimativa exata e começar a trabalhar.
Obrigada
Desenvolvo seu projeto com as etapas sugeridas. Onde seria um site para a disponibilização de dados estruturados, retirados das bases de dados propostas, onde seja possível a análise dos mesmos, facilitando assim a tomada de decisão de sua empresa.