Работа С Несколькими Базами Данных

Тема в разделе "Java", создана пользователем Anneta, 5 июл 2013.

  1. Anneta

    Anneta New Member

    Регистрация:
    5 фев 2011
    Сообщения:
    3
    Симпатии:
    0
    Здравствуйте!
    Пишу программу на java, она должна выполнять сбор отзывов с сайтов, затем пользователь принимает или отклоняет их прямо из этой программы. Базы все однотипные расположены на разных хостах.

    Из конфигурационной базы данных считываю ssh доступы(для создания тунелей) и доступы к базам данных.

    После того как считала все настройки и забила их в коллекции ArrayList выполняю перебор:

    for(DataSSH ssh: DataSSH.dataSSH){
    for(DataSitesDB db: DataSitesDB.dataSitesDB){
    if(ssh.id.equals(db.ssh)){
    sitesDB.add(new ClassSelectSitesDB(db.id,
    ssh.host, ssh.user, ssh.password,
    db.host, db.db_name, db.db_user, db.db_pass));
    }
    }
    }

    далее в классе работы с базой данных
    выполняю создание ssh тунеля, подключение к базе данных и выборку данных


    public class ClassSelectSitesDB {
    private Connection connect;
    private String idSite;
    //ssh
    private int nLocalPort = 3366; // local port number use to bind SSH tunnel
    private int sshPort = 22; // remote SSH host port number
    private String sshUser;
    private String sshPassword;
    private String sshHost;

    //db
    private int nRemotePort = 3306; // remote port number of your database
    private String dbName;
    private String dbUser;
    private String dbPass;
    private String dbHost;

    public ClassSelectSitesDB(
    String idSite,
    String sshHost, String sshUser, String sshPassword,
    String dbHost, String dbName, String dbUser, String dbPass){
    this.idSite = idSite;

    //ssh
    this.sshUser = sshUser; // SSH loging username
    this.sshPassword = sshPassword; // SSH login password
    this.sshHost = sshHost; // hostname or ip or SSH server

    // db
    this.dbHost = dbHost; // hostname or ip of your database server
    this.dbName = dbName;
    this.dbUser = dbUser;
    this.dbPass = dbPass;

    selectDB();

    }

    public void selectDB(){

    try{
    //создаем тунель
    CTestDriver ssh = new CTestDriver(sshUser, sshPassword, sshHost, sshPort, dbHost, nLocalPort, nRemotePort);

    Class.forName("com.mysql.jdbc.Driver");
    connect = DriverManager.getConnection("jdbc:mysql://localhost:"+nLocalPort+"/"+dbName, dbUser, dbPass);

    DataRevie.dataRevie.clear();
    //для автодилеров
    PreparedStatement stmtAvtodealer = connect.prepareStatement("SELECT R.review_id, R.review_title, R.review_content, R.review_date, A.avtofirm_name "
    + " FROM `gb_cms_reviews` R LEFT JOIN gb_cms_avtofirm A ON R.firm_id = A.avtofirm_id WHERE R.review_visibility = '0' AND R.review_type_id = '1'");

    ResultSet rsAvtodealer = stmtAvtodealer.executeQuery();

    while (rsAvtodealer.next()) {
    DataRevie.dataRevie.add(new DataRevie());
    DataRevie.allDataRevie.add(new DataRevie(idSite, rsAvtodealer.getString(1), rsAvtodealer.getString(2), rsAvtodealer.getString(3), rsAvtodealer.getString(4), rsAvtodealer.getString(5),"Автосалоны"));

    }

    //для банков
    PreparedStatement stmtBank = connect.prepareStatement("SELECT R.review_id, R.review_title, R.review_content, R.review_date, A.bank_h1 "
    + " FROM `gb_cms_reviews` R LEFT JOIN gb_cms_bank A ON R.firm_id = A.bank_id WHERE R.review_visibility = '0' AND R.review_type_id = '2'");

    ResultSet rsBank = stmtBank.executeQuery();

    while (rsBank.next()) {

    DataRevie.dataRevie.add(new DataRevie(idSite, rsBank.getString(1), rsBank.getString(2), rsBank.getString(3), rsBank.getString(4), rsBank.getString(5),"Банки"));
    DataRevie.allDataRevie.add(new DataRevie(idSite, rsBank.getString(1), rsBank.getString(2), rsBank.getString(3), rsBank.getString(4), rsBank.getString(5),"Банки"));

    }

    //автосервисы автозапчасти
    PreparedStatement stmtCompany = connect.prepareStatement("SELECT R.review_id, R.review_title, R.review_content, R.review_date, A.avtofirm_name "
    + " FROM `gb_cms_reviews` R LEFT JOIN gb_cms_avtofirm A ON R.firm_id = A.avtofirm_id WHERE R.review_visibility = '0' AND (R.review_type_id = '3' OR R.review_type_id = '4')");

    ResultSet rsCompany = stmtCompany.executeQuery();

    while (rsCompany.next()) {

    DataRevie.dataRevie.add(new DataRevie(idSite, rsCompany.getString(1), rsCompany.getString(2), rsCompany.getString(3), rsCompany.getString(4), rsCompany.getString(5),"Др. компании"));
    DataRevie.allDataRevie.add(new DataRevie(idSite, rsCompany.getString(1), rsCompany.getString(2), rsCompany.getString(3), rsCompany.getString(4), rsCompany.getString(5),"Др. компании"));

    }

    //Collections.sort(DataRevie.dataRevie);
    Collections.sort(DataRevie.allDataRevie);
    Collections.reverse(DataRevie.allDataRevie);
    connect.close();
    ssh.close();
    } catch (Exception ex) {
    System.out.println("Got error connect: " + ex.getMessage());
    }

    }

    }


    Сейчас загрузка данных при открытии программы и при обновление данных длится достаточно долго минуты 3-4 примерно =(
    посоветуйте как можно ускорить программу? может попробовать пул соединений или еще что нибудь?
     
  2. LuMee

    LuMee Well-Known Member

    Регистрация:
    2 май 2006
    Сообщения:
    477
    Симпатии:
    0
    Как я понимаю, разные БД опрашиваются независимо друг от друга, что наводит на мысль о целесообразности использования потоков. Выглядеть может примерно так:
    1. В ClassSelectSitesDB убираем вызов selectDB из конструктора; его будем дергать позже руками.
    2. После формирования коллекции объектов ClassSelectSitesDB для каждого из них создаем отдельный поток, в котором уже и вызываем selectDB.
    3. ClassSelectSitesDB надо подправить так, чтобы получаемые из БД данные сохранялись в его личное хранилище, а не в общее (в роли которого, как я понимаю, выступает некий DataRevie).
    4. По завершении работы всех потоков данные уже собираются в одну общую кучу, после чего соритруются, дообрабатываются и т.п.

    Можно попробовать точно также и код внутри selectDB разбить на потоки, чтобы запросы выполнялись параллельно. В итоге, конечно, можно упереться в пропускную способность сети или производительность БД, но попытка - не пытка :)
     
Загрузка...
Похожие Темы - Работа Несколькими Базами
  1. Andrey Kha
    Ответов:
    0
    Просмотров:
    26
  2. Hoasker
    Ответов:
    0
    Просмотров:
    64
  3. garri671
    Ответов:
    0
    Просмотров:
    54
  4. lelik200969
    Ответов:
    0
    Просмотров:
    52
  5. Kozolick
    Ответов:
    0
    Просмотров:
    141

Поделиться этой страницей