скільки часу займе записати 1 мільйон рядків у базу даних

Cкільки часу займе записати 1 мільйон рядків у базу даних

На співбесіді на Junior Python Developer мене спитали, скільки часу займе записати 1 мільйон рядків у базу даних. Я відразу сказав, що мілісекунди. Ми довго сперечалися, я наводив свої доводи, але після того розмова чомусь швидко завершилася.
Вирішив перевірити, чи я помилявся. Таки не помилявся, виходить 300 мілісекунд для простого варіанту in-memory. З модулем numpy це буде і того менше – 15 мілісекунд.

До чого я це кажу? Люблю доводити справу до кінця, навіть якщо інтуїція підказує, що вибрав лише частково правильне рішення.

UPD. Буду грунтовніше вчити бази даних…

Python Jobscraper

Python Jobscraper для збирання вакансій

Поки мав вільний час, вирішив написати на Python код Jobscraper для збирання вакансій Python Developer з українських сайтів роботи та додав препроцессінг текстів і скромний метааналіз із візуалізацією.

Мета була суто практична – зібрати в одну талицю всі вакансії Python Developer із різних сайтів за один день.

Ось, що з того вийшло – https://github.com/skupriienko/Jobscraper

P.S. Думаю ще додати Airtable API, щоб мати чудовий інтерфейс.