скільки часу займе записати 1 мільйон рядків у базу даних

Cкільки часу займе записати 1 мільйон рядків у базу даних

На співбесіді на Junior Python Developer мене спитали, скільки часу займе записати 1 мільйон рядків у базу даних. Я відразу сказав, що мілісекунди. Ми довго сперечалися, я наводив свої доводи, але після того розмова чомусь швидко завершилася.
Вирішив перевірити, чи я помилявся. Таки не помилявся, виходить 300 мілісекунд для простого варіанту in-memory. З модулем numpy це буде і того менше – 15 мілісекунд.

До чого я це кажу? Люблю доводити справу до кінця, навіть якщо інтуїція підказує, що вибрав лише частково правильне рішення.

UPD. Буду грунтовніше вчити бази даних…

Python Developer stopwords vacancy

Тексти вакансій Python Developer

Досліджую тексти вакансій Python Developer. Ось якими словами, зазвичай, перевантажені ці тексти:

experience
python
knowledge
skill
understanding
customer
ability, able
make
want
work
software
company
build
business
offer
document
environment
technology
solution
year
development

Додав їх усі в стоп-слова, щоб побачити справжню суть.

Python Jobscraper

Python Jobscraper для збирання вакансій

Поки мав вільний час, вирішив написати на Python код Jobscraper для збирання вакансій Python Developer з українських сайтів роботи та додав препроцессінг текстів і скромний метааналіз із візуалізацією.

Мета була суто практична – зібрати в одну талицю всі вакансії Python Developer із різних сайтів за один день.

Ось, що з того вийшло – https://github.com/skupriienko/Jobscraper

P.S. Думаю ще додати Airtable API, щоб мати чудовий інтерфейс.

Python's online courses

A month when I learned 44 Python’s online courses

The most training month when I learned 44 Python’s online courses (in DataCamp and LinkedIn Learning. Here is the list of completed courses:

1.      Building Chatbots in Python(DataCamp)

2.      Building RESTful APIs with Flask(LinkedIn Learning)

3.      Building RESTful Web APIs with Django(LinkedIn Learning)

4.      Building a Paid Membership Site with Django(LinkedIn Learning)

5.      Case Study: School Budgeting with Machine Learning in Python(DataCamp)

6.      Data Science for Everyone Track(DataCamp)

7.      Data Scientist with Python Track(DataCamp)

8.      Dealing with Missing Data in Python(DataCamp)

9.      Docker for Data Scientists(LinkedIn Learning)

10.  Flask Essential Training(LinkedIn Learning)

11.  Full Stack Web Development with Flask(LinkedIn Learning)

12.  Functional Programming with Python(LinkedIn Learning)

13.  Intermediate Data Visualization with Seaborn(Datacamp)

14.  Introducing Jupyter(LinkedIn Learning)

15.  Introduction to Bash Scripting(DataCamp)

16.  Introduction to Deep Learning in Python(DataCamp)

17.  Introduction to Deep Learning with OpenCV(LinkedIn Learning)

18.  Introduction to Git(DataCamp)

19.  Introduction to Natural Language Processing in Python(DataCamp)

20.  Introduction to Network Analysis in Python(DataCamp)

21.  Learning Django(LinkedIn Learning)

22.  Linear Classiers in Python(DataCamp)

23.  Machine Learning Fundamentals with Python Track(DataCamp)

24.  Machine Learning with Tree-Based Models in Python(DataCamp)

25.  Nail Your Python Interview(LinkedIn Learning)

26.  Neural Networks and Convolutional Neural Networks Essential Training(LinkedIn Learning)

27.  Next Step Python: Decorators(LinkedIn Learning)

28.  Processing Text with Python Essential Training(LinkedIn Learning)

29.  Python Code Challenges(LinkedIn Learning)

30.  Python Data Structures: Dictionaries(LinkedIn Learning)

31.  Python Essential Libraries(LinkedIn Learning)

32.  Python Toolbox Track(DataCamp)

33.  Python for Data Science Tips, Tricks, & Techniques(LinkedIn Learning)

34.  Python for Data Visualization(LinkedIn Learning)

35.  Python: Data Analysis (2015)(LinkedIn Learning)

36.  Python: XML, JSON, and the Web(LinkedIn Learning)

37.  Secure Coding in Python(LinkedIn Learning)

38.  Sentiment Analysis in Python(DataCamp)

39.  Statistical Thinking in Python (Part 2)(DataCamp)

40.  Text Analytics and Predictions with Python Essential Training(LinkedIn Learning)

41.  Unsupervised Learning in Python(DataCamp)

42.  Using Python for Automation(LinkedIn Learning)

43.  Using Python with Excel(LinkedIn Learning)

44.  pandas Essential Training(LinkedIn Learning)