Парсер + работа с бд + серьезная аналитика + графические отчеты + веб интерфейс

Тема в разделе "Общие вопросы", создана пользователем aderevnya, 10 авг 2015.

  1. aderevnya

    aderevnya New Member

    Регистрация:
    10 авг 2015
    Сообщения:
    1
    Симпатии:
    0
    Здравствуйте!

    Задача:
    1. Заходить на сайты с нужными мне БД (количество от 1-2 до 1-2 десятков), на страницы с многостраничным списком. Из данного списка (динамическая выдача) уметь открывать по гиперссылкам конечные страницы. В них находить и нажимать нужную кнопку скачать файл, в диалоговом окне веб-интерфейса выбирать нужные параметры файла (нужный формат файла и т.п.) нажимать кнопку скачать данные.
    Периодичность - 1 раз в сутки. Количество конечных страниц и скачиваний файлов от нескольких тысяч до нескольких десятков тысяч.
    2. Полученные данные записывать в БД.
    3. Проводить обработку и аналитику
    4. Следующим этапом Ходить по сайтам с текстовой, в основном новостной информацией, ходить по архивам публикаций, новостей, анонсов, анализировать текстовую и графическую информацию, сохранять в БД только нужную информацию, 9не качать в локальные БД всю выборку, а только результаты свобственной аналитики), увязывать результаты 2й работы с результатами первой работы.
    Периодичность - 1 раз в сутки. Количество конечных страниц, аналитических действий и скачиваний от нескольких десятков до нескольких тысяч.
    5. Выдавать аналитику, строить графики из собранной БД.
    6. В таком режиме (наблюдения и аналитики) комплекс проработает 0,5-1 год, и результаты меня могут устраивать локальные в любых локальных формах.
    7. В перспективе, когда аналитика будет достаточная, выводить комплекс в веб интерфейс, чтобы аналитикой можно было пользоваться публично и непублично через веб.

    Подскажите пож-та, для реализации данной задачи, какие языки программирования, инструменты, библиотеки, фреймворки, которые для реализации подойдут больше всего. Изучать всё придется с нуля.
    Да. Еще желательна поддержка модульности, чтобы в будущем отдельные модули, например, работа с графикой, работа с вебом, модуль парсинга можно было реализовывать силами привлеченных сторонних программистов.


    Заранее Вас благодарю за советы!
     
Загрузка...

Поделиться этой страницей