Категорія: Data Analysis

The Pause Effect and most common words
With Pause Effect Python script you can find the topic of any text only parsing 1/30 or 1/50 of all text:
–https://github.com/skupriienko/Pause-Effect
Люблю досліджувати. Мабуть, це з дитинства.
Несподівано виявив, що достатньо 1/30 або 1/50 від усього тексту, щоб зрозуміти основну тему тексту.
Вирішив назвати цю свою знахідку “The Pause Effect”.Якщо спеціальним чином вибрати слова з будь-якого тексту (книга, стаття, туторіал тощо). Ви всі зрозумієте, про що твір, переглянувши на перші 20 найуживаніших слів.

I analyzed 1000 articles about Python
I started studying the Python programming in March 2020.
(більше…)
Since then, I have reviewed and collected thousands of PDF articles, as well as more than a thousand links to articles.
This is, so to speak, my learning path and knowledge base.
Create my first open source project – Pyxtract
Create my first open source project – Pyxtract:
– https://github.com/skupriienko/PyxtractPython module for extracting texts from thousands of URL and/or PDF:
– Download and parsing articles from URLs
– Extract texts from local PDF files
– Analyze texts
– NLP preprocessing
– Visualization
– Word clouds
– Name Entity Recognition


Fantastic Airtable relational databases
Four years ago, my life and work became much easier when I mastered the fantastic Airtable relational databases (try it –https://lnkd.in/dpnX4sE). It’s cooler than Google Sheets and intuitively much easier!
Now I have created an Upwork profile, because I see that there is a need for Airtable experts –https://lnkd.in/dt5qG6e

Найпопулярніші слова в вакансіях Python Developer
Найпопулярніші слова в вакансіях Python Developer, які я автоматично зібрав своїм Pyxtract із кількох українських job-сайтів (вибірка за 19.09.2020). На фото кожен рядок це вакансія
Така собі табличка “бінго”. Куди ж без Experience 🙂
До речі:
– середня кількість знаків на вакансію – 1500.
– загалом у вакансіях від 1000 до 2100 знаків.
– середня кількість слів – 160 (від 100 до 225 слів).
– у вакансіях переважає нейтральна або позитивна емоційна тональність, але різні вакансії суттєво відрізняються між собою в цьому.
Емоційне забарвлення текстів вакансій Python Developer
Емоційне забарвлення текстів вакансій Python Developer. Виявляється, є різниця.

Ukrainian Stopwords
Довго шукав список українських стоп-слів (Ukrainian Stopwords) для відсіювання зайвих слів при аналізі текстів.
Зустрічалися в інеті не зовсім повні. Вирішив створити свій, але найбільший з існуючих:
Тексти вакансій Python Developer
Досліджую тексти вакансій Python Developer. Ось якими словами, зазвичай, перевантажені ці тексти:
experience
python
knowledge
skill
understanding
customer
ability, able
make
want
work
software
company
build
business
offer
document
environment
technology
solution
year
developmentДодав їх усі в стоп-слова, щоб побачити справжню суть.

Create my Awesome Python Learning list
Create my Awesome Python Learning list in a table view (by Airtable) with 1070 links – https://airtable.com/shrNtoOfPJVDcO3fG/tblAYr9pYzqpWhYJ0(mostly in English, Russian and Ukrainian languages):
– Articles about Software Engineering
– Books
– Developer’s Tools
– Games for Education
– Jobs
– Math
– MOOC and courses
– Project examples for Junior
– Roadmaps
– Textbooks
– Training
– Video










