Запрос на сайт и получение страницы с последующим ее сохранением

  • Автор темы Автор темы lesik_1971
  • Дата начала Дата начала
L

lesik_1971

Уважаемые специалисты,

в программе необходимо получить страницу с определенного сайта (адреса), чтобы затем ее сохранить для последующей обработки (необходимо ее пропарсить). Использую Visual Studio 2005, проект под CLR-Project

Заранее благодарен за Ваши ответы.

С уважением, Алексей
 
Для: lesik_1971
в программе необходимо получить страницу с определенного сайта (адреса), чтобы затем ее сохранить для последующей обработки

Можно использовать HttpWebRequest класс


Вот пример на С#(можно адаптировать для C++)

Код:
public class InternetAffair
{
CookieContainer _requestCookieContainer = new CookieContainer();

#region Properties
public CookieContainer RequestCookieContainer
{
get { return _requestCookieContainer; }
}

#endregion

#region Methods

public string getHTML(string requestURI)
{
HttpWebResponse httpWebResponse = null;
string		 response = "";

try
{
HttpWebRequest httpWebRequest  = (HttpWebRequest)WebRequest.Create(requestURI);
httpWebRequest.Timeout		 = Constants.HttpWebRequestMinTimeOut;
httpWebRequest.UserAgent		= Constants.UserAgent;
httpWebRequest.Referer		 = Constants.Referer;
httpWebRequest.CookieContainer = RequestCookieContainer;

httpWebResponse = (HttpWebResponse)httpWebRequest.GetResponse();

if (httpWebResponse.StatusCode != HttpStatusCode.OK)
{
httpWebResponse.Close(); // Releases the resources of the response.
ColorConsole.WriteLine(ConsoleColor.White, String.Format("\nWebException\ngetHTML() resp.StatusCode: {0}", httpWebResponse.StatusCode.ToString()));
}
else
{
StreamReader receiveStream = new StreamReader(httpWebResponse.GetResponseStream());
response = receiveStream.ReadToEnd();
receiveStream.Close();
}
}
catch (System.Net.WebException we)
{
ColorConsole.WriteLine(ConsoleColor.White, String.Format("\nWebException\ngetHTML() function: {0}\nMessage: {1}", requestURI, we.Message));
response = Constants.ErrorPage;
}
finally
{
if (httpWebResponse != null)httpWebResponse.Close();
}

return response;
}
#endregion
}
 
Большое спасибо за ответ. Буду копать в этом направлении.
 
пропарсли страницу на теги но не знаю что делать с JScript JavaScript VBScript писать самому заново долго подскажите где можно найти source?
 
Мы в соцсетях:

Обучение наступательной кибербезопасности в игровой форме. Начать игру!