C # Bagaimana cara memeriksa apakah URL ada / valid?

Saya membuat program sederhana dalam visual c # 2005 yang mencari simbol saham di Yahoo! Keuangan, unduh data historis, lalu plot riwayat harga untuk simbol ticker yang ditentukan.

Saya tahu URL persis yang saya perlukan untuk memperoleh data, dan jika pengguna memasukkan simbol ticker yang ada (atau setidaknya satu dengan data di Yahoo! Finance), itu berfungsi dengan baik. Namun, saya mengalami error run-time jika pengguna membuat simbol ticker, karena program mencoba menarik data dari halaman web yang tidak ada.

Saya menggunakan kelas WebClient, dan menggunakan fungsi DownloadString. Saya memeriksa semua fungsi anggota lain dari kelas WebClient, tetapi tidak melihat apa pun yang dapat saya gunakan untuk menguji URL.

Bagaimana saya bisa melakukan ini?

Anda bisa mengeluarkan permintaan "HEAD" daripada "GET"?

(edit) - lol! Sepertinya saya pernah melakukan ini sebelumnya !; diubah ke wiki untuk menghindari tuduhan pengumpulan ulang. Jadi untuk menguji URL tanpa biaya mengunduh konten:

// using MyClient from linked post
using(var client = new MyClient()) {
    client.HeadOnly = true;
    // fine, no content downloaded
    string s1 = client.DownloadString("http://google.com");
    // throws 404
    string s2 = client.DownloadString("http://google.com/silly");
}

Anda akan try/ catchsekitar DownloadStringuntuk memeriksa kesalahan; tidak ada kesalahan? Itu ada ...

Dengan C # 2.0 (VS2005):

private bool headOnly;
public bool HeadOnly {
    get {return headOnly;}
    set {headOnly = value;}
}

dan

using(WebClient client = new MyClient())
{
    // code as before
}

Berikut adalah implementasi lain dari solusi ini:

using System.Net;

///
/// Checks the file exists or not.
///
/// The URL of the remote file.
/// True : If the file exits, False if file not exists
private bool RemoteFileExists(string url)
{
    try
    {
        //Creating the HttpWebRequest
        HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
        //Setting the Request method HEAD, you can also use GET too.
        request.Method = "HEAD";
        //Getting the Web Response.
        HttpWebResponse response = request.GetResponse() as HttpWebResponse;
        //Returns TRUE if the Status code == 200
        response.Close();
        return (response.StatusCode == HttpStatusCode.OK);
    }
    catch
    {
        //Any exception will returns false.
        return false;
    }
}

Dari: http://www.dotnetthoughts.net/2009/10/14/how-to-check-remote-file-exists-using-c/

Solusi ini cukup bagus, tetapi mereka lupa bahwa mungkin ada kode status selain 200 OK. Ini adalah solusi yang saya gunakan di lingkungan produksi untuk pemantauan status dan semacamnya.

Jika ada pengalihan url atau beberapa kondisi lain pada halaman target, pengembaliannya akan benar menggunakan metode ini. Selain itu, GetResponse () akan mengeluarkan pengecualian dan karenanya Anda tidak akan mendapatkan Kode Status untuk itu. Anda perlu menjebak pengecualian dan memeriksa ProtocolError.

Kode status 400 atau 500 akan mengembalikan false. Semua yang lain membalas dengan benar. Kode ini mudah dimodifikasi agar sesuai dengan kebutuhan Anda akan kode status tertentu.

/// <summary>
/// This method will check a url to see that it does not return server or protocol errors
/// </summary>
/// <param name="url">The path to check</param>
/// <returns></returns>
public bool UrlIsValid(string url)
{
    try
    {
        HttpWebRequest request = HttpWebRequest.Create(url) as HttpWebRequest;
        request.Timeout = 5000; //set the timeout to 5 seconds to keep the user from waiting too long for the page to load
        request.Method = "HEAD"; //Get only the header information -- no need to download any content

        using (HttpWebResponse response = request.GetResponse() as HttpWebResponse)
        {
            int statusCode = (int)response.StatusCode;
            if (statusCode >= 100 && statusCode < 400) //Good requests
            {
                return true;
            }
            else if (statusCode >= 500 && statusCode <= 510) //Server Errors
            {
                //log.Warn(String.Format("The remote server has thrown an internal error. Url is not valid: {0}", url));
                Debug.WriteLine(String.Format("The remote server has thrown an internal error. Url is not valid: {0}", url));
                return false;
            }
        }
    }
    catch (WebException ex)
    {
        if (ex.Status == WebExceptionStatus.ProtocolError) //400 errors
        {
            return false;
        }
        else
        {
            log.Warn(String.Format("Unhandled status [{0}] returned for url: {1}", ex.Status, url), ex);
        }
    }
    catch (Exception ex)
    {
        log.Error(String.Format("Could not test url {0}.", url), ex);
    }
    return false;
}

Jika saya memahami pertanyaan Anda dengan benar, Anda dapat menggunakan metode kecil seperti ini untuk memberikan hasil tes URL Anda:

WebRequest webRequest = WebRequest.Create(url);  
WebResponse webResponse;
try 
{
  webResponse = webRequest.GetResponse();
}
catch //If exception thrown then couldn't get response from address
{
  return 0;
} 
return 1;

Anda dapat membungkus kode di atas dalam sebuah metode dan menggunakannya untuk melakukan validasi. Saya harap ini menjawab pertanyaan yang Anda ajukan.

Coba ini (Pastikan Anda menggunakan System.Net):

public bool checkWebsite(string URL) {
   try {
      WebClient wc = new WebClient();
      string HTMLSource = wc.DownloadString(URL);
      return true;
   }
   catch (Exception) {
      return false;
   }
}

Ketika fungsi checkWebsite () dipanggil, ia mencoba untuk mendapatkan kode sumber dari URL yang diteruskan ke dalamnya. Jika mendapat kode sumber, itu mengembalikan true. Jika tidak, itu mengembalikan salah.

Contoh Kode:

//The checkWebsite command will return true:
bool websiteExists = this.checkWebsite("https://www.google.com");

//The checkWebsite command will return false:
bool websiteExists = this.checkWebsite("https://www.thisisnotarealwebsite.com/fakepage.html");

Ini opsi lain

public static bool UrlIsValid(string url)
{
    bool br = false;
    try {
        IPHostEntry ipHost = Dns.Resolve(url);
        br = true;
    }
    catch (SocketException se) {
        br = false;
    }
    return br;
}

Solusi ini tampaknya mudah diikuti:

public static bool isValidURL(string url) {
    WebRequest webRequest = WebRequest.Create(url);
    WebResponse webResponse;
    try
    {
        webResponse = webRequest.GetResponse();
    }
    catch //If exception thrown then couldn't get response from address
    {
        return false ;
    }
    return true ;
}

WebRequest request = WebRequest.Create("http://www.google.com");
try
{
     request.GetResponse();
}
catch //If exception thrown then couldn't get response from address
{
     MessageBox.Show("The URL is incorrect");`
}

Saya memiliki cara yang lebih sederhana untuk menentukan apakah url valid.

if (Uri.IsWellFormedUriString(uriString, UriKind.RelativeOrAbsolute))
{
   //...
}

Saya selalu menemukan bahwa Pengecualian jauh lebih lambat untuk ditangani.

Mungkin dengan cara yang kurang intensif kamu akan mendapatkan hasil yang lebih baik, lebih cepat,?

public bool IsValidUri(Uri uri)
{

    using (HttpClient Client = new HttpClient())
    {

    HttpResponseMessage result = Client.GetAsync(uri).Result;
    HttpStatusCode StatusCode = result.StatusCode;

    switch (StatusCode)
    {

        case HttpStatusCode.Accepted:
            return true;
        case HttpStatusCode.OK:
            return true;
         default:
            return false;
        }
    }
}

Kemudian gunakan saja:

IsValidUri(new Uri("http://www.google.com/censorship_algorithm"));

Server web merespon dengan kode status HTTP yang menunjukkan hasil dari permintaan misalnya 200 (terkadang 202) berarti sukses, 404 - tidak ditemukan dll (lihat di sini ). Dengan asumsi bagian alamat server dari URL benar dan Anda tidak mendapatkan batas waktu soket, pengecualian kemungkinan besar memberi tahu Anda kode status HTTP selain 200. Saya akan menyarankan untuk memeriksa kelas pengecualian dan melihat apakah pengecualian tersebut membawa kode status HTTP.

IIRC - Panggilan yang dimaksud akan menampilkan WebException atau turunan. Periksa nama kelas untuk melihat yang mana dan gabungkan panggilan dalam blok percobaan untuk menjebak kondisi.

Mengikuti dari contoh yang sudah diberikan, saya akan mengatakan, praktik terbaik juga membungkus respons dalam penggunaan seperti ini

    public bool IsValidUrl(string url)
    {
         try
         {
             var request = WebRequest.Create(url);
             request.Timeout = 5000;
             request.Method = "HEAD";

             using (var response = (HttpWebResponse)request.GetResponse())
             {
                response.Close();
                return response.StatusCode == HttpStatusCode.OK;
            }
        }
        catch (Exception exception)
        { 
            return false;
        }
   }