[Помогите!] реализовать прокси в потоках

[Yukikaze]

Цитата: Сообщение от [Na`Vi]DendI результата нет

конкретней. Что именно происходит, что не происходит, можно увидеть проблемный кусок кода?

[the-boxi]

У лока есть недостаток?
А как по другому перебирать прокси в многопотоке?
Для этого делаем переменную summ глобальной и в локе каждому потоку присваиваем её значение и потом увеличиваем на один. Так у каждого потока будет свой индекс потом закрываем лок и всё, потом по этому индексу берем из массива прокси.

Yukikaze, а почему именно чек прокси на работоспособность через гугл?
Почему нельзя получать страницу по адресу прокси? Если ответ есть то рабочее если нет то не рабочее. Все довольно просто! И экономия времени, все прокси чекеры так работают!

[Yukikaze]

Цитата: Сообщение от the-boxi Почему нельзя получать страницу по адресу прокси?

Так не факт же, только что проверял, по адрес:порт переходит нормально, но прокся не робит. ... или мне просто не свезло
В общем сейчас попробую

fixed
Попробовал, и вправду быстрее, теперь буду знать (:

Добавлено через 1 час 4 минуты
Маленько допилил класс

static class ProxyQ
{
    private static readonly object sync = new object();
    public static Queue<string> Proxyes;
    public static Queue<string> proxyCache;
    static ProxyQ()
    {
        Proxyes = new Queue<string>();
        proxyCache = new Queue<string>();
    }
    private static bool Check(string proxy)
    {
        HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://" + proxy);
        req.Timeout = 10000;
        try
        {
            req.GetResponse();
        }
        catch
        {
            return false;
        }

        return true;
    }

    public static string Next()
    {
        string proxy;
        while (Proxyes.Count > 0)
        {
            lock (sync) proxy = Proxyes.Dequeue();
            if (Check(proxy))
            {
                lock (sync) proxyCache.Enqueue(proxy);
                return proxy;
            }
        }

        lock (sync)
        {
            proxy = proxyCache.Dequeue();
            proxyCache.Enqueue(proxy);
        }

        return proxy;
    }
}

Пример реализации

class Program
{
    private static readonly Queue<string> proxyes = new Queue<string>();
    private static readonly Object sync = new object();
    static void Main()
    {
        ProxyQ.Proxyes = new Queue<string>(File.ReadAllLines("proxy.txt"));
        for (int i = 0; i < 100; i++)
        {
            ThreadPool.QueueUserWorkItem(Work, i);
        }
        Console.WriteLine("Press any key...");
        Console.ReadKey(true);
    }

    static void Work(object state)
    {
        string proxy = ProxyQ.Next();
        try
        {
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://google.ru/search?q="+state);
            request.Timeout = 20000;
            request.Proxy = new WebProxy(proxy);
            Console.WriteLine(state + ". ===" + proxy + "===");
        }
        catch(WebException e)
        {
            Console.WriteLine(state + " " + e.Message);
        }
    }
}

[[Na`Vi]DendI]

Цитата: Сообщение от Yukikaze Так не факт же, только что проверял, по адрес:порт переходит нормально, но прокся не робит. ... или мне просто не свезло В общем сейчас попробую fixed Попробовал, и вправду быстрее, теперь буду знать (: Добавлено через 1 час 4 минуты Маленько допилил класс static class ProxyQ { private static readonly object sync = new object(); public static Queue<string> Proxyes; public static Queue<string> proxyCache; static ProxyQ() { Proxyes = new Queue<string>(); proxyCache = new Queue<string>(); } private static bool Check(string proxy) { HttpWebRequest req = (HttpWebRequest)WebRequest.Create("http://" + proxy); req.Timeout = 10000; try { req.GetResponse(); } catch { return false; } return true; } public static string Next() { string proxy; while (Proxyes.Count > 0) { lock (sync) proxy = Proxyes.Dequeue(); if (Check(proxy)) { lock (sync) proxyCache.Enqueue(proxy); return proxy; } } lock (sync) { proxy = proxyCache.Dequeue(); proxyCache.Enqueue(proxy); } return proxy; } } Пример реализации class Program { private static readonly Queue<string> proxyes = new Queue<string>(); private static readonly Object sync = new object(); static void Main() { ProxyQ.Proxyes = new Queue<string>(File.ReadAllLines("proxy.txt")); for (int i = 0; i < 100; i++) { ThreadPool.QueueUserWorkItem(Work, i); } Console.WriteLine("Press any key..."); Console.ReadKey(true); } static void Work(object state) { string proxy = ProxyQ.Next(); try { HttpWebRequest request = (HttpWebRequest)WebRequest.Create("http://google.ru/search?q="+state); request.Timeout = 20000; request.Proxy = new WebProxy(proxy); Console.WriteLine(state + ". ===" + proxy + "==="); } catch(WebException e) { Console.WriteLine(state + " " + e.Message); } } }

Спасибо вам за то что вы мне всё розживали)
При работе ошибка "Очередь пуста"( proxy = proxyCache.Dequeue().

[Yukikaze]

Такая ошибка может вылезти если запустить одновременно все потоки, решается правильной работой с пулом потоков или модификацией метода Next

    public static string Next()
    {
        string proxy;
        while (Proxyes.Count > 0)
        {
            lock (sync) proxy = Proxyes.Dequeue();
            if (Check(proxy))
            {
                lock (sync) proxyCache.Enqueue(proxy);
                return proxy;
            }
        }
        //Сюда проверку по типу if(proxyCache.Count == 0) Thread.Sleep(1000); или что-то в этом же духе
        lock (sync)
        {
            proxy = proxyCache.Dequeue();
            proxyCache.Enqueue(proxy);
        }

        return proxy;
    }

Но всетаки в первую очень научится работать с потоками

[[Na`Vi]DendI]

Цитата: Сообщение от Yukikaze Такая ошибка может вылезти если запустить одновременно все потоки, решается правильной работой с пулом потоков или модификацией метода Next public static string Next() { string proxy; while (Proxyes.Count > 0) { lock (sync) proxy = Proxyes.Dequeue(); if (Check(proxy)) { lock (sync) proxyCache.Enqueue(proxy); return proxy; } } //Сюда проверку по типу if(proxyCache.Count == 0) Thread.Sleep(1000); или что-то в этом же духе lock (sync) { proxy = proxyCache.Dequeue(); proxyCache.Enqueue(proxy); } return proxy; } Но всетаки в первую очень научится работать с потоками

Я об этом уже думал,ставлю 1 поток ошибка та же..(

[Yukikaze]

Каким образом производится добавление задачи в потоки?
тупым for(i = 0; i < n; ++i) new Thread(DoWork).Start(); ?

процитирую сам себя

Цитата: Сообщение от Yukikaze можно увидеть проблемный кусок кода?

[[Na`Vi]DendI]

Цитата: Сообщение от Yukikaze Каким образом производится добавление задачи в потоки? тупым for(i = 0; i < n; ++i) new Thread(DoWork).Start(); ? процитирую сам себя

 threads = new Thread[potokov];
                    for ( i = 0; i < threads.Length; i++)
                        threads[i] = new Thread(new ThreadStart(Brute));
                        threads[i].Start();
                    }

[Yukikaze]

Не правильная конструкция

string[] loginPass = //массив связок логин;пароль
foreach(string logpas in loginPass)
{
    ThreadPool.QueueUserWorkItem(Brute, logpas);
}

и собственно сам Brute

void Brute(object param)
{
   //брутим логинпароль
}

А в твоем случае создается N одинаковых потоков без какой либо синхронизации, так еще и куча ресурсов уходит на инициализацию этих самых потоков

Добавлено через 7 минут
Так же можно проюзать такой костыль

    public static string Next()
    {
        string proxy;
        while (Proxyes.Count > 0)
        {
            lock (sync) proxy = Proxyes.Dequeue();
            if (Check(proxy))
            {
                lock (sync) proxyCache.Enqueue(proxy);
                return proxy;
            }
        }
        if(proxyCache.Count > 0) 
        {
            lock (sync)
           {
                proxy = proxyCache.Dequeue();
                proxyCache.Enqueue(proxy);
           }
           return proxy;
       }

        return null;
    }

[[Na`Vi]DendI]

Цитата: Сообщение от Yukikaze Не правильная конструкция string[] loginPass = //массив связок логин;пароль foreach(string logpas in loginPass) { ThreadPool.QueueUserWorkItem(Brute, logpas); } и собственно сам Brute void Brute(object param) { //брутим логинпароль } А в твоем случае создается N одинаковых потоков без какой либо синхронизации, так еще и куча ресурсов уходит на инициализацию этих самых потоков Добавлено через 7 минут Так же можно проюзать такой костыль public static string Next() { string proxy; while (Proxyes.Count > 0) { lock (sync) proxy = Proxyes.Dequeue(); if (Check(proxy)) { lock (sync) proxyCache.Enqueue(proxy); return proxy; } } if(proxyCache.Count > 0) { lock (sync) { proxy = proxyCache.Dequeue(); proxyCache.Enqueue(proxy); } return proxy; } return null; }

Как я понял тут работает только 1 поток ? а нужна именно многопоточностть.

[Yukikaze]

Цитата: Сообщение от [Na`Vi]DendI тут работает только 1 поток ?

нет
ThreadPool.QueueUserWorkItem добавляет метод в пулл потоков, а винда уже сама определяет сколько она может выделить потоков для выполнения задачи. При этом новые потоки не создаются и не удаляются, когда поток отработал один метод, он переходит к следующему из очереди, и так до конца

[[Na`Vi]DendI]

Цитата: Сообщение от Yukikaze нет ThreadPool.QueueUserWorkItem добавляет метод в пулл потоков, а винда уже сама определяет сколько она может выделить потоков для выполнения задачи. При этом новые потоки не создаются и не удаляются, когда поток отработал один метод, он переходит к следующему из очереди, и так до конца

Другого выхода нет ?

[Yukikaze]

[Na`Vi]DendI, поищи по форуму, здесь уже описывали альтернативные реализации многопоточности

[[Na`Vi]DendI]

Цитата: Сообщение от Yukikaze [Na`Vi]DendI, поищи по форуму, здесь уже описывали альтернативные реализации многопоточности

Ну вообщем на етих альтернативных на форуме я и написал)
пилянул так:

Thread[] threads = new Thread[potokov];
for (int i = 0; i < potokov; i++)
{

Thread thr = new Thread(new ThreadStart(Brute));
threads[i] = thr;
Thread.Sleep(55);
threads[i].Start();
}

[Yukikaze]

ужасный пример ты нашел, уж лучше так

List<Thread> Threads = new List<Thread>();
const int max = 8;
int counter = 0;

Queue<string> Logins = new Queue<string>(/* тут как бы заполнили очередь связками логин;пароль */);
while(true)
{
    if(Threads.Count > max) continue; //если максимум потоков то пропускаем итерацию
    if(Logins.Count == 0) break; //если в очереди не осталось аккаунтов то выходим из цикла
    var thread = new Thread(Brute);
    thread.IsBackground = true;
    thread.Start(Logins.Dequeue());
    Threads.Add(thread); //добавляем поток в список
}

метод брута

void Brute(object param)
{
   string pair = (string)param;
   //Используем пару лог пасс по назначению
   Threads.Remove(Thread.CurrentThread); // удаляем отработавший поток из списка
}