• B правой части каждого сообщения есть стрелки и . Не стесняйтесь оценивать ответы. Чтобы автору вопроса закрыть свой тикет, надо выбрать лучший ответ. Просто нажмите значок в правой части сообщения.

  • Приглашаем на KubanCTF

    Старт соревнований 14 сентября в 10:00 по москве

    Ссылка на регистрацию в соревнованиях Kuban CTF: kubanctf.ru

    Кодебай является технологическим партнером мероприятия

Нужно написать простой парсер, но я не знаю как

.Method

Well-known member
17.12.2018
255
63
BIT
0
Кратко:

Уже порядком перечитал книг по Python и столкнулся с проблемой.
Как только дело подходит к практике, я не знаю, что делать.
Это мой первый язык программирования и раньше никакого опыта не было.

И каждый раз делаю одно и тоже, начинаю новую книгу и думаю, вот после этой точно пойму, как решать реальные задачи.
Вот, дочитал очередную книгу про скрапинг веб-сайтов, решил, что нужно написать хотя бы какой-то простой парсер, но я не знаю как.

Как вы преодолели этот барьер?
Особенно интересуют шаги / алгоритм действий людей, после их первого изученного языка.
Т.к когда уже учишь второй, то ты знаешь, что делать. Нужны, лишь основы.


Учу язык для автоматизации задач, написания парсеров и упрощения своей жизни.
Будь то даже бот на телеграмм, который даёт тебе нужную инфу, когда тебе нужно.

Может канал какой, где толково объясняют, как выстроить алгоритм действий при решении реальных задач или годную книгу.
 

mrOkey

Well-known member
14.11.2017
967
975
BIT
0
Если бы ты действительно осознавал, сколько всего входит в computer science , то понял бы меня.
Я то осознаю, просто забавляют люди вроде тебя, которые думают что им достаточно прочитать пару книг по синтаксису и они уже могут что то писать)
 

f22

Codeby Academy
Gold Team
05.05.2019
1 895
226
BIT
1 469
я не знаю, что делать.
Друг, ну ты же не в информационном вакууме живёшь.
аз начинающий, значит, Google и Youtube тебе в помощь, ну и конечно Stackoverflow

По поводу программы





Ну и десерт, где НУ ВСЁ разжёвано

Создание скрапера на Python ЦЕЛЫЙ ЧАС рассказывают именно об этом.
Первый опыт с Python. Парсинг данных веб-сайта А тут час и 45 минут толкуют...


Кто ищет, тот найдёт.
 

fork

Green Team
11.01.2018
185
35
BIT
1
Наверно нам всем стоило написать максимально прямо.
Кароче берешь идею, например написать бота в телегу, который тебе напоминалки высылает.
Поехал в гугл с вопросом как написать бота в телегу. В тупую скопировал все действия по написанию самого простого бота.
Вот у тебя на руках бот который отвечает тебе привет на любое твое слово.
Открываешь документацию телеграмма.
Параллельно ищешь как запускать скрипт по времени, что бы он все по расписанию по красоте все делал.
Там и другие проблемы возникнут с которыми ты придешь в гугл на стаковрфлоу в книжку или сюда.
Потом тебе захочется не прописывать расписание прямо в коде, а добавлять их в бд.
Потом графический интерфейс для компа и тд.
Вот ты уже частично освоил работы с api телеги, подключение и работу с бд, может быть еще и tkinter.
Для следующей своей проги уже будешь с бекграундом с кусками готового кода, и еще парочкой скиллов.
Если тебя смущает не возможность с ходу что-то написать после прочтения книги, успокойся, так и должно быть.
Программирование только практикой и решишь. В тупую всегда копировать код из инета все равно не выйдет, потому что всегда придеться его изменять под свои цели, а для этого придется разобраться как все работает.
 
I

ISemm

Друг, ну ты же не в информационном вакууме живёшь.
аз начинающий, значит, Google и Youtube тебе в помощь, ну и конечно Stackoverflow

По поводу программы





Ну и десерт, где НУ ВСЁ разжёвано

Создание скрапера на Python ЦЕЛЫЙ ЧАС рассказывают именно об этом.
Первый опыт с Python. Парсинг данных веб-сайта А тут час и 45 минут толкуют...


Кто ищет, тот найдёт.
Спасибо. Очень замечательный, и ценный пост.
 

s2xxxxxxxxxx

New member
25.10.2020
1
0
BIT
0
По-моему тут важно уметь разбивать большие задачи на более мелкие т.к. мелкие задачи гораздо проще решать. Так же нужно уметь правильно задавать вопросы и пользоваться поисковиком.
Вот выучил ты к примеру python, и решил для практики парсер написать, что делать?
1. Определить какой сайт и какую информацию будешь парсить
- Что это за информация? Текст, картинка, JSON, header ответа от сервера
- Нужно ли эмулировать действия пользователя в браузере для того, что бы достать эту информацию?
2. Из пунктов выше, определить какую библиотеку будешь использовать для парсинга
- Что умеет каждая из доступных библиотек
- Если мало опыта то удобно использовать requests в связке с BeautifulSoup или Grab
- Если нужна скорость, то это ассинхронные библиотеки aiohttp или фрэймворк scrapy (но они сложны в изучении для новичков)
- Можно воспользоваться Selenium для тех мест, где необходимо эмулировать действия пользователя
- У какой из библиотек более понятная документация
3. Куда это всё будешь сохранять
- БД, Exel или просто текстовый файл
- Опять же найти оптимальную библиотеку для сохранения информации в выбранный формат

Разделение задач поможет правильно и точно задать вопрос. Точный вопрос поможет быстрее найти правильное решение. Соединение ответов на все мелкие вопросы сформирует общую картину и путь для решения задачи.

У каждой из библиотек есть документация в которой чаще всего бывает раздел Quick start, где понятно описано, что делать, что бы начать пользоваться этой библиотекой.
Берешь пример из Quick start для отправки и обработки запросов и адаптируешь его для своих нужд.
Далее берёшь пример из Quick start для сохранения полученных данных и адаптируешь его для своих нужд.
Соединяешь два примера, охапку дров и плов готов!
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!