опрос - что лучше - купить ии за 300$ в месяц или сделать свой ?

[Dvoretskii]

искал ИИ для хакинга, пытался протестировать снифер - ничего не вышло, перепробовал несколько ии. ну не едет и все. самым резвым по ответам остается copilot, но у него память короткая, и он сегодня уже ломает то, что вчера делал, а через день так вообще восстановить не может.

вобщем начал я искать что то более понятное, и, наткнулся на Xanthorox - якобы абсолютно без цензуры, цена 300$ в месяц...
почитал немного новостей по нему, изготовил человек.
понятно.

отсюда следует, что чисто теоретически, можно:

загрузить офлайн модель себе на комп(типа worm gpt) или на арендованный сервер,
добавить нужные промпты
и все.

теперь вопрос, в чем с большей долей вероятности ждет больший успех -

• Оплатить автору этого чуда по 300$ в месяц и попробовать их отработать

или же

• Арендоваь сервер, поставить wormgpt+промпты. если не получится хотябы 300$ не потерял))

 

[Koloboking]

искал ИИ для хакинга, пытался протестировать снифер - ничего не вышло, перепробовал несколько ии. ну не едет и все. самым резвым по ответам остается copilot, но у него память короткая, и он сегодня уже ломает то, что вчера делал, а через день так вообще восстановить не может.

вобщем начал я искать что то более понятное, и, наткнулся на Xanthorox - якобы абсолютно без цензуры, цена 300$ в месяц...
почитал немного новостей по нему, изготовил человек.
понятно.

отсюда следует, что чисто теоретически, можно:

загрузить офлайн модель себе на комп(типа worm gpt) или на арендованный сервер,
добавить нужные промпты
и все.

теперь вопрос, в чем с большей долей вероятности ждет больший успех -

• Оплатить автору этого чуда по 300$ в месяц и попробовать их отработать

или же

• Арендоваь сервер, поставить wormgpt+промпты. если не получится хотябы 300$ не потерял))

Xanthorox - хз че там замоделька- я не смотрел, но никто не гарантирует, что это реально “без цензуры” или что там нет бэкдоров/логирования, а за просто попробовать несколько дороговато.

Арендовать сервер и поднять себе LLM (WormGPT, fine-tuned LLaMA, Mistral)​

Полный контроль - никто не видит твои запросы и не фильтрует ответы.
Можно экспериментировать с промптами, дообучением (LoRA, QLoRA), и делать всё под себя.
Если нужен контекст >8k токенов или реально мощная reasoning-модель (типа 70B), то придётся арендовать мощный GPU сервер, а это $500-1000/мес на нормальных провайдерах (RunPod, Vast.ai, Lambda Labs).
Если нужен аптайм 24/7 - расходы растут.
WormGPT - по факту это просто fine-tuned GPT-J (6B), то есть модель не супер умная. На сложных задачах может сыпать бред.
Я прям у себя на ноуте пользую модельку как на скрине ниже + ollama+PentestGPT - мне для моих задач хватает

 

[Andreano Messi]

и все же,что лучше?

 

[Koloboking]

и все же,что лучше?

лучше то - что подойдет именно Вам, исходя из Ваших целей и задач, во всех остальных случаях можно считать как бессмысленный спор что лучше яблоко или андроид

 

[Dvoretskii]

Можно экспериментировать с промптами, дообучением (LoRA, QLoRA), и делать всё под себя.

вот я это и хочу делать, и пытаюсь понять какую офлайн модель за основу взять.
все говорят про worm gpt,
блин, я не помню, я несколько штук пробовал - комп не едет, и плюс цензура все же есть.

но для того чтобы поставить ворм

Если нужен контекст >8k токенов или реально мощная reasoning-модель (типа 70B), то придётся арендовать мощный GPU сервер, а это $500-1000/мес на нормальных провайдерах (RunPod, Vast.ai, Lambda Labs).

ну купить сразу лаптоп с подходящими харками стоит приблизительно 2,5 тыс - получается выгоднее - за 2 месяца окупится, либо платить по 300 $ за готовую модель - за 8 месяцев отобьется на своем лаптопе офлайн модель.

при условии что я смогу ее собрать и она точно будет безцензуы... )))

 

[Dvoretskii]

Я прям у себя на ноуте пользую модельку как на скрине ниже + ollama+PentestGPT - мне для моих задач хватает

если не секрет на каких характеристиках компа она у тебя воркает? (примерно)

я пробовал ставить офлайн модели - очень сильно грузят комп, не едут..

 

[Dvoretskii]

или что там нет бэкдоров/логирования

я на это не рассчитываю вообще нигде. в наше то время.

 

[Koloboking]

если не секрет на каких характеристиках компа она у тебя воркает? (примерно)

я пробовал ставить офлайн модели - очень сильно грузят комп, не едут..

на i7-9th gen 1650gtx linux 34g ram