• 4 июля стартует курс «Python для Пентестера ©» от команды The Codeby

    Понятные и наглядные учебные материалы с информацией для выполнения ДЗ; Проверка ДЗ вручную – наставник поможет улучшить написанный вами код; Помощь преподавателей при выполнении заданий или в изучении теории; Групповой чат в Telegram с другими учениками, проходящими курс; Опытные разработчики – команда Codeby School, лидер по информационной безопасности в RU-сегменте

    Запись на курс до 15 июля. Подробнее ...

  • 11 июля стартует «Курс «SQL-injection Master» ©» от команды The Codeby

    За 3 месяца вы пройдете путь от начальных навыков работы с SQL-запросами к базам данных до продвинутых техник. Научитесь находить уязвимости связанные с базами данных, и внедрять произвольный SQL-код в уязвимые приложения.

    На последнюю неделю приходится экзамен, где нужно будет показать свои навыки, взломав ряд уязвимых учебных сайтов, и добыть флаги. Успешно сдавшие экзамен получат сертификат.

    Запись на курс до 20 июля. Подробнее ...

парсинг

  1. Johan Van

    Статья Скачиваем видео с YouTube с помощью Python, без использования pytube

    Что вы делаете, когда вам нужно сохранить определенное видео с YouTube, чтобы оно не потерялось? Ну, тут логично. Можно в самом YouTube создать плейлист и добавлять туда все, что нужно. Можно просто добавить страницу в закладки. Да много чего можно сделать. А еще скачать видео себе на жесткий...
  2. Johan Van

    Статья Парсим новости в бота с помощью почти забытой технологии. Использование RSS в Python

    Начинающие программисты на питоне постоянно натыкаются на уроки о том, как создать бота. И да, боты – это довольно полезная штука, но лишь в том случае, если они еще и выполняют какие-либо полезные функции. С помощью телеграмм-бота можно даже управлять компьютером удаленно. И это не так уж и...
  3. Johan Van

    Статья Проверка никнейма на доступность для регистрации с помощью Python

    В последнее время много сообщений о всяческих чекерах, сканерах и прочих программах, которые проверяют… ну, допустим доступность никнейма для регистрации на сервисе. Ведь если на сервисе никнейм не доступен, это значит, что нужно будет постараться и придумать другой. Я нашел три таких...
  4. Johan Van

    Статья Парсим данные таблиц сайта в Excel с помощью Pandas

    Парсинг данных. Эта штука может быть настолько увлекательной, что порой затягивает очень сильно. Ведь всегда интересно найти способ, с помощью которого можно получить те или иные данные, да еще и структурировать их в нужном виде. В статье «Простой пример работы с Excel в Python» уже был...
  5. Johan Van

    Статья Парсим и скачиваем «нескучные обои» с использованием потоков в Python

    Давайте сегодня подумаем о красоте. А именно, о красоте рабочего стола. А украсить его могут только «нескучные обои». Привет, Денис Попов :LOL:. Ну, а если более серьезно, то скачаем картинки с обоями с сайта, на котором их очень и очень много. Конечно же, для того, чтобы скачать картинки мы...
  6. Johan Van

    Статья Парсим сгенерированные фото с помощью Python

    Для Python, думаю, существует довольно много библиотек по генерации ненастоящих данных, которые впоследствии можно было бы использовать для регистрации на сайтах, когда указывать настоящую информацию не очень хочется. Но, вот генерация фото несуществующих людей уже связана с ИИ, ML и нейронными...
  7. Johan Van

    Статья Простой пример работы с Excel в Python

    В данной статье я хочу показать, как можно работать с книгой Excel вне зависимости от того, установлен ли у вас Microsoft Excel или нет, а также вне зависимости от того, какую операционную систему вы используете. Библиотека, которая используется для работы с книгой, независима от наличия...
  8. Johan Van

    Статья Скачивание журналов с сайта для чтения онлайн в виде картинок и сборка их в PDF

    Иногда я люблю почитать журналы. Но я уже давно их не покупал. Наверное последний купленный мой журнал был «Хакер» 2009 года. Уж не помню даже, какой выпуск. Помню, что тогда к журналам прилагался диск с программами и в этом номере был диск с дистрибутивом Linux Mandriva. Красивая была ось. Ну...
  9. Johan Van

    Статья Сортировка книг в формате PDF по годам выпуска с помощью Python

    Не знаю как у других, но у меня есть такая привычка – собирать как можно больше информации об изучаемом предмете. Не факт, что в будущем она может понадобиться, но, тем не менее, я от нее пока что не избавился. И вот, когда я начал изучать Python, конечно же, мне в голову пришла «гениальная»...
  10. Johan Van

    Статья Скачиваем видео с Rutube с помощью Python

    Рассматривая текущие реалии можно предположить, что вполне возможно, в довольно скором времени начнется миграция видеоблогеров на другие платформы для размещения своего видеоконтента. И вполне возможно, что одной из таких платформ станет Rutube. Тем более не так давно они провели презентацию, из...
  11. V

    Сбор номеров из инстаграм

    Всем привет, знает кто-нибудь софт для сбора номеров инсты? сошл кит и подобные не дают никакой конверсии
  12. W

    Качественный прокси для парсинга

    В общем задача - считывать информацию с aвитo с достаточно высокой частотой запросов. Т.е. во избежания блокировок нужны порядка 200 - 300 различных ip адресов с высокой скоростью доступа для реализации задачи. В поиске нашел несколько вариантов, но ни разу не использовал эти сервисы для...
  13. quister11

    Помогите парсит сайт или как узнать куда отправляется запрос? очень надо

    Имеется сайт Поиск человека по ИИН (налогоплательщика) в базе налоговой РК, онлайн, kgd при вводе ИИН выходит ФИО человека. На самом деле тот ресурс обращается в другой ресурс скорее в адрес налогового комитета. Хотел внедрить в веб приложение поиск (у меня приложение закрытое, программа в...
  14. А

    Нужна помощь в парсинге

    Доброго времени суток читающим Возникла проблема, а вместе с ней и вопрос: возможно ли спарсить модель RDF? Для парсинга используется язык python и его библиотеки bs4, lxml и requests Вот код: Как можно догадаться, пишу программу, узнающую дату регистрации пользователей вк Но вот беда-данные о...
  15. LTD

    Парсер, скрипт, последовательность? Вопрос от новичка

    Друзья, всем привет! С прошежшими и наступающими праздниками вас! Всем здоровья, любви и благополучия! К делу) Нужно решить следующую задачу. Условия: 1. Есть сайт с фото, изображениями. 2. У каждого изображения есть свой автор и photo ID и название. 3. У одного автора может быть 10-10000 шт...
  16. S

    Интересный ресурс

    Доброго времени суток всем! Мне порекомендовали обратиться здесь с вопросом. Если тема будет неприемлема, больше не буду. В общем вопрос такой: есть один форум лесной тематики. forums.wood.ru, так вот не могу его спарсить уже целый месяц. Дело в том, что этот ресурс непонятным для меня образом...
  17. R

    парсер сайтов по виджетам

    Доброго. Посоветуйте парсер!!!нужно спарсить сайты по виджету обратного звонка
  18. M

    получить атрибут класса при помощи php

    Привет всем! Что то у меня сегодня незаладилось... Есть страница, в ней есть тэг img с классом и атрибут src. Требуется получить атрибут src по классу. Мне стыдно обращаться с таким вопросом, но потерял уже много времени, получить все src со страницы получается легко, а вот конкретный с классом...
  19. Z

    Спарсить большой сайт

    Как можно спарсить большой сайт в html или excel формат (более 15 тыс страниц). Может есть какие-то хорошие инструменты?
  20. P

    Lotus и сервис

    Всем привет. Полмесяца уже мучаюсь с сервисом одним. В общем такая история. Дали всдл, я создал конзюмер, создаю запрос, наполняю данными. Но. Мне нужно теперь перед отправкой подписать запрос. Работая через конзюмер я не нашел способ получить соап сообщение перед отправкой. Помогите, друзья