Написав “Ukraine-Kyiv-Weather-Scraper” після Gmail-reader‘а. Може кому знадобиться. Це Python модуль для автоматичного збирання погоди для м. Києва (Україна) з сайту meteo.gov.ua, результат збирається в файлі csv (кожен раз створюється новий файл із міткою часу).
Запустіть ukraine_kyiv_weather_scraper.py і ваші результути будуть збережені у папці ‘result_csv’.
I started studying the Python programming in March 2020.
Since then, I have reviewed and collected thousands of PDF articles, as well as more than a thousand links to articles.
This is, so to speak, my learning path and knowledge base.
Create my first open source project – Pyxtract:
– https://github.com/skupriienko/Pyxtract
Python module for extracting texts from thousands of URL and/or PDF:
– Download and parsing articles from URLs
– Extract texts from local PDF files
– Analyze texts
– NLP preprocessing
– Visualization
– Word clouds
– Name Entity Recognition
Найпопулярніші слова в вакансіях Python Developer, які я автоматично зібрав своїм Pyxtract із кількох українських job-сайтів (вибірка за 19.09.2020). На фото кожен рядок це вакансія
Така собі табличка “бінго”. Куди ж без Experience 🙂
До речі:
– середня кількість знаків на вакансію – 1500.
– загалом у вакансіях від 1000 до 2100 знаків.
– середня кількість слів – 160 (від 100 до 225 слів).
– у вакансіях переважає нейтральна або позитивна емоційна тональність, але різні вакансії суттєво відрізняються між собою в цьому.
Емоційне забарвлення текстів вакансій Python Developer. Виявляється, є різниця.
Поки мав вільний час, вирішив написати на Python код Jobscraper для збирання вакансій Python Developer з українських сайтів роботи та додав препроцессінг текстів і скромний метааналіз із візуалізацією.
Мета була суто практична – зібрати в одну талицю всі вакансії Python Developer із різних сайтів за один день.
Ось, що з того вийшло – https://github.com/skupriienko/Jobscraper
P.S. Думаю ще додати Airtable API, щоб мати чудовий інтерфейс.
Python PDF-and-URL-parser
Назбирав на комп’ютері уже кілька тисяч PDF файлів – статті та книги з програмування. Так само зібрав тисячі посилань на сайти. Тому вирішив об’єднати все в одну таблицю csv і написав для цього такий код – https://github.com/skupriienko/PDF-and-URL-parser
Мені б раніше таку штуку, коли ще писав дисертацію… 🙂