KUPRIENKO

Позначка: nlp

  • The Pause Effect and most common words

    The Pause Effect and most common words

    With Pause Effect Python script you can find the topic of any text only parsing 1/30 or 1/50 of all text:

    –https://github.com/skupriienko/Pause-Effect

    Люблю досліджувати. Мабуть, це з дитинства.
    Несподівано виявив, що достатньо 1/30 або 1/50 від усього тексту, щоб зрозуміти основну тему тексту.
    Вирішив назвати цю свою знахідку “The Pause Effect”.

    Якщо спеціальним чином вибрати слова з будь-якого тексту (книга, стаття, туторіал тощо). Ви всі зрозумієте, про що твір, переглянувши на перші 20 найуживаніших слів.

  • I analyzed 1000 articles about Python

    I analyzed 1000 articles about Python

    I started studying the Python programming in March 2020.
    Since then, I have reviewed and collected thousands of PDF articles, as well as more than a thousand links to articles.
    This is, so to speak, my learning path and knowledge base.

    (більше…)
  • Create my first open source project – Pyxtract

    Create my first open source project – Pyxtract

    Create my first open source project – Pyxtract:
    – https://github.com/skupriienko/Pyxtract

    Python module for extracting texts from thousands of URL and/or PDF:

    – Download and parsing articles from URLs
    – Extract texts from local PDF files
    – Analyze texts
    – NLP preprocessing
    – Visualization
    – Word clouds
    – Name Entity Recognition

    NER
    Boxplot

  • Найпопулярніші слова в вакансіях Python Developer

    Найпопулярніші слова в вакансіях Python Developer

    Найпопулярніші слова в вакансіях Python Developer, які я автоматично зібрав своїм Pyxtract із кількох українських job-сайтів (вибірка за 19.09.2020). На фото кожен рядок це вакансія

    Така собі табличка “бінго”. Куди ж без Experience 🙂

    До речі:
    – середня кількість знаків на вакансію – 1500.
    – загалом у вакансіях від 1000 до 2100 знаків.
    – середня кількість слів – 160 (від 100 до 225 слів).
    – у вакансіях переважає нейтральна або позитивна емоційна тональність, але різні вакансії суттєво відрізняються між собою в цьому.

  • Ukrainian Stopwords

    Ukrainian Stopwords

    Довго шукав список українських стоп-слів (Ukrainian Stopwords) для відсіювання зайвих слів при аналізі текстів.
    Зустрічалися в інеті не зовсім повні. Вирішив створити свій, але найбільший з існуючих:

    –https://github.com/skupriienko/Ukrainian-Stopwords

  • Тексти вакансій Python Developer

    Тексти вакансій Python Developer

    Досліджую тексти вакансій Python Developer. Ось якими словами, зазвичай, перевантажені ці тексти:

    experience
    python
    knowledge
    skill
    understanding
    customer
    ability, able
    make
    want
    work
    software
    company
    build
    business
    offer
    document
    environment
    technology
    solution
    year
    development

    Додав їх усі в стоп-слова, щоб побачити справжню суть.

  • Python Gmail-reader

    Python Gmail-reader

    Іноді нема часу читати купу листів, що надходять на пошту Gmail, тому створив для Python Gmail-reader, який дивиться всі листи і шукає потрібні речі – посилання, найбільш уживані слова або ж розпізнає і візуалізує вміст:

    –https://github.com/skupriienko/Gmail-reader

KUPRIENKO