python

  1. Johan Van

    Статья Определение технологий используемых сайтом с помощью Wappalyzer и Python

    Иногда, при исследовании сайта необходимо знать, какие технологии использовались при его разработке, а также используются в данный момент. Инструментов, которые предоставляют такой функционал не так уж и много. Одним из популярных решений является Wappalyzer. Посмотрим, как можно использовать...
  2. Johan Van

    Статья Работа с форматом CSV с помощью Python

    О формате CSV, а также о том, как работать с ним с помощью Python существует большое множество статей. И, казалось бы, что такого сложного в том, чтобы прочитать или записать данный формат. Однако, вспоминая себя и то время, когда я только начал изучать Python я хорошо помню некоторое...
  3. Johan Van

    Статья Перехват базовых запросов с помощью Selenium Wire и Python

    В данной статье я хотел бы вернуться к способам перехвата запросов и ответов API в браузере. С помощью Selenium в связке с Python можно парсить достаточно сложные сайты, которые требуют выполнения различного рода скриптов. Но иногда этого бывает недостаточно и требуется получить данные, которые...
  4. Johan Van

    Статья Автоматизированный сбор данных с сайта бесплатных объявлений с помощью Python

    Решил я тут на днях попробовать парсить Авито. Наверное, раньше это была одна из излюбленных площадок для обучения парсингу. И, действительно, ещё примерно год назад можно было собирать данные с этой площадки особо не напрягаясь. Но, возможно, в связи с громкими утечками данных защита от...
  5. Johan Van

    Статья Методы обхода защиты от автоматизированного ПО в браузере Chrome под управлением Selenium в Python

    При парсинге данных возникают ситуации, когда нужно получить доступ к сайту с помощью драйвера selenium. Так как на странице сайта в коде выполняются скрипты, которые добавляют в код данные, доступ к которым с помощью обычных запросов получить просто не получиться. Но, все может быть немного...
  6. Johan Van

    Статья Загрузка файла частями с помощью и без использования потоков в Python

    Загрузка файлов из интернета — это всегда интересная задача. Конечно, в нынешнее время, когда скорости соединения переваливают за сотню мегабит в секунду, это вопрос не такой актуальный, как раньше. Мне стало интересно потестировать скорость загрузки файлов и изображений с разных сайтов с...
  7. Johan Van

    Статья Реализация метода HTTP-запроса «GET» с помощью socket в Python

    Наверное все пользовались библиотекой requests и знакомы с ее методом GET. Давайте попробуем с помощью библиотеки socket реализовать модуль для выполнения простых функций данного метода, таких как: статус-код, заголовки и тело запроса. You must be registered for see element. Конечно же, мы не...
  8. Johan Van

    Статья Создаем приложение для хранения данных в базе sqlite с помощью Python и Qt. Часть 02

    Данная статья является продолжением первой части (You must be registered for see element.) в которой мы начали создавать приложение для хранения документов в формате HTML в базе данных sqlite с помощью Python и Qt Designer. И если в первой части мы рассмотрели код для взаимодействия с базой...
  9. Johan Van

    Статья Создаем приложение для хранения данных в базе sqlite с помощью Python и Qt. Часть 01

    В данной статье я попытаюсь создать приложение, которое позволяет сохранять в базу данных файлы в формате HTML. За все время, проведенное в интернете и поиске самой разнообразной информации натыкаешься на большое количество самых разнообразных страниц и статей, которые в данный момент прочитать...
  10. Берсерк

    Выдает ошибку в terminal linux

    You must be registered for see element.
  11. Johan Van

    Статья Перехват запросов с веб-страницы с помощью selenium и browsermobproxy в Python

    На поиск решения для данной статьи меня натолкнул вот этот вопрос пользователя (You must be registered for see element.). Изначально я подумал, что он просто не может найти ссылку, которая улетает в запросах для загрузки файла. Но, как оказалось, ему нужно не совсем это. А необходимо получать...
  12. Mark Klintov

    Статья Змея в пакете. Создаем TLS соединение на Python

    You must be registered for see element. Введение С появлением интернет технологий жизнь людей значительно упростилась. Все покупки, работу и другие дела можно выполнить не вставая из-за компьютера. Но вместе с этим пришли и те, кто хочет заполучить чужую конфиденциальную информацию. Чаще всего...
  13. Johan Van

    Статья Парсинг страницы с треками, формирование плейлистов и использование mutagen для чтения метаданных аудиофайлов в Python

    Давайте сегодня займемся парсингом, а заодно посмотрим, как работает библиотека для извлечения IDv3 тегов из аудиофайлов. Парсить будем сайт, с которого можно бесплатно скачать музыкальные треки. Скажем так, совместим приятное с полезным. Попрактикуемся немного в парсинге, а заодно скачаем себе...
  14. Johan Van

    Статья Кодирование/декодирование изображений и документов в формат base64 с помощью Python

    Все, кто пользуется интернетом, так или иначе сталкивались с изображениями в формате base64. Но, обычно для пользователя это «столкновение» происходит незаметно, даже если он сохраняет такую картинку себе на жесткий диск. Браузер сам проводит необходимое декодирование. Другое дело, если вы...
  15. Johan Van

    Статья Скачиваем вложения из постов группы ВК с помощью Python

    На создание данного скрипта меня натолкнула работа с плейлистами m3u, когда я пытался создать чекер работоспособности ссылок. Процесс создания частично описан вот в этой You must be registered for see element.. Тогда, для тестирования мне нужно было скачивать большое количество плейлистов...
  16. Johan Van

    Статья Используем двухэтапную (двухфакторную) аутентификацию в Python

    Двухфакторную аутентификацию в том или ином виде используют уже довольно давно. Изначально, данный способ предусматривал аутентификацию с помощью SMS-кода. Однако, такой способ не является достаточно надежным, поэтому с некоторых пор стали использовать аутентификацию на базе одноразового пароля...
  17. Johan Van

    Статья Создание меню выбора клавишами в терминале с помощью Python

    Когда мы пишем какое-то консольное приложение подразумевающее пользовательский выбор, хорошо было бы иметь такой инструмент, который бы создавал нужное нам меню и позволял перемещаться по нему с помощью стрелок на клавиатуре. Ведь это гораздо удобнее, чем просить пользователя ввести какую-либо...
  18. Johan Van

    Статья Немного об IPTV или проверка m3u с помощью Python. Часть 02

    Это вторая часть You must be registered for see element. о проверке плейлистов на работоспособность. Небольшие пояснения для тех, кто не читал первую часть. В прошлой статье мы создали небольшие инструменты для обработки плейлистов. Такие скрипты как: разбиение плейлиста на части, объединение...
  19. Johan Van

    Статья Немного об IPTV или проверка m3u с помощью Python. Часть 01

    Уже довольно давно существует такая технология, как потоковая передача данных. С ее помощью стала возможной передача медиа-контента для просмотра, к примеру, телеканалов или просто видео на компьютере или смартфоне с помощью специальных плееров, которые и созданы для этого. Для примера, это всем...
  20. Johan Van

    Статья Определение типа файла по его сигнатуре с помощью Python

    Вполне возможно, что при разработке приложений вам может понадобиться определение типа файла. И не всегда тип файла можно узнать по расширению. Если в ОС Linux это не составляет больших проблем, так как данная операционная система распознает тип файла не по расширению, а по содержимому, то вот в...