Написав “Ukraine-Kyiv-Weather-Scraper” після Gmail-reader‘а. Може кому знадобиться. Це Python модуль для автоматичного збирання погоди для м. Києва (Україна) з сайту meteo.gov.ua, результат збирається в файлі csv (кожен раз створюється новий файл із міткою часу).
Запустіть ukraine_kyiv_weather_scraper.py і ваші результути будуть збережені у папці ‘result_csv’.
На співбесіді на Junior Python Developer мене спитали, скільки часу займе записати 1 мільйон рядків у базу даних. Я відразу сказав, що мілісекунди. Ми довго сперечалися, я наводив свої доводи, але після того розмова чомусь швидко завершилася.
Вирішив перевірити, чи я помилявся. Таки не помилявся, виходить 300 мілісекунд для простого варіанту in-memory. З модулем numpy це буде і того менше – 15 мілісекунд.
До чого я це кажу? Люблю доводити справу до кінця, навіть якщо інтуїція підказує, що вибрав лише частково правильне рішення.
UPD. Буду грунтовніше вчити бази даних…
Найпопулярніші слова в вакансіях Python Developer, які я автоматично зібрав своїм Pyxtract із кількох українських job-сайтів (вибірка за 19.09.2020). На фото кожен рядок це вакансія
Така собі табличка “бінго”. Куди ж без Experience 🙂
До речі:
– середня кількість знаків на вакансію – 1500.
– загалом у вакансіях від 1000 до 2100 знаків.
– середня кількість слів – 160 (від 100 до 225 слів).
– у вакансіях переважає нейтральна або позитивна емоційна тональність, але різні вакансії суттєво відрізняються між собою в цьому.
Емоційне забарвлення текстів вакансій Python Developer. Виявляється, є різниця.
Досліджую тексти вакансій Python Developer. Ось якими словами, зазвичай, перевантажені ці тексти:
experience
python
knowledge
skill
understanding
customer
ability, able
make
want
work
software
company
build
business
offer
document
environment
technology
solution
year
development
Додав їх усі в стоп-слова, щоб побачити справжню суть.
Kyiv Open Andean Signs Project (KOASP)
The porject was started in Kyiv (Ukraine) for the National Museum of Ukrainian History.
The database of all known signs (aka tocapu and others) of pre-Columbian Andean region. Every culture, every chronological era. More than 1000 signs.
It will be free and open for all researchers. You can add your signs (photos, drawings, scan) and any sequencies of signs. There’ll be more than 20 database field types with filters, embeded codes for sites and other features.
Based on the Airtable – https://airtable.com/shriJqZMcMuv90PsC/tbla7pyAYuqJru6n4 (it’s read only and NOT full, if you want to access the database you need to write me a message)
Location: Kyiv
Organization: National Museum of Ukrainian History
Розпочинаю проект Перший корпус знаків і написів доколумбової Південної Америки.
Але трохи історії Два роки тому представниця The Bohdan and Varvara Khanenko Museum of Arts попросила мене зробити експертну оцінку двох керамічних посудин культури Моче, які у них зберігаються (незрозумілими були походження, датування, значення і призначення тощо).
Ще до цього Yuriy Polyukhovych сам мені розповів про ці глечики і ми планували їх разом описати, але Юра поїхав у Каліфорнійський університет (США) робити Велику базу даних всіх відомих написів стародавньої культури Майя. А самому мені не вистачало інформації про ці глечики, бо кожен був доволі унікальним в естетичному плані. За весь цей час подібні не зустрічалися.
Та минулого тижня я знайшов кілька дуже схожих посудин зі спорідненої культури Вікус Моче. Але залишається ще одна проблема – наявність знаків на одній з посудин. Фішка в тому, що один знак ніде більше мені не траплявся.
Тому я вирішив продовжити розпочату 4 роки тому німкенею Christiane Clados роботу з бази даних інкських знаків токапу (на даний момент в базі 203 знаки) та почав розширювати її до 400 знаків. Ще додам всі ті, що в мене зібрані в колекції, але доведеться попрацювати з Photoshop. Можливо, знаків буде близько 1000.
P.S. Чому цього ніхто не зробив раніше – не знаю.