prompt injection
-
Статья Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году
По данным исследований «Информзащиты», около 70% организаций уже столкнулись с атаками через LLM. При этом большинство команд безопасности продолжают оценивать языковые модели по лекалам классических веб-приложений - ищут SQL-инъекции там, где работает совершенно иная плоскость атак. Я лично...- Сергей Попов
- Тема
- adversarial attacks ии ai red teaming eu ai act garak indirect prompt injection jailbreak llm owasp llm top 10 prompt injection pyrit атаки на языковые модели безопасность llm защита llm
- Ответы: 0
- Раздел: Общение и нетворкинг
-
Статья LLM Jailbreak: Методологии тестирования устойчивости модели к Prompt Injection
Если кратко, LLM Jailbreak — это способ заставить модель делать то, чего она вроде бы делать не должна. Ситуация из серии: “а давай ты сам себе отключишь сигнализацию — мне просто посмотреть”. Prompt Injection — источник этого безобразия: вмешательство в промпт таким образом, чтобы модель...- Кудрин Евгений
- Тема
- adversarial prompts garak framework gcg attack input/output sanitization llm jailbreak llm red teaming llm security testing owasp llm top 10 prompt injection pyrit
- Ответы: 0
- Раздел: Арсенал специалиста по ИБ
-
Prompt Injection: атаки на LLM-приложения и защита
В современном мире нейросети везде: от чат-ботов до RAG-систем и аналитики. Миллионы запросов в день — звучит круто, но хакеры уже потирают руки. Давайте начистоту: prompt injection — это, пожалуй, самая забавная но одновременно и очень опасная дыра в безопасности LLM. Если вы когда-нибудь...- Кудрин Евгений
- Тема
- ai red teaming dan guardrails llm indirect prompt injection instruction hierarchy jailbreak llm llm security nemo prompt injection prompt injection defense
- Ответы: 0
- Раздел: Арсенал специалиста по ИБ
-
SecAI: защита ML и LLM-продуктов от prompt injection и data poisoning
В мире, где каждая компания спешит встроить LLM в продукт, злоумышленники уже нашли слабые места. Две самые опасные атаки, с которых всё начинается, — Prompt Injection и Data Poisoning. Обычные фильтры и сканеры безопасности против них Эти уязвимости особенно опасны для продуктовых команд: они...- Кудрин Евгений
- Тема
- ai product security ai security data poisoning llm model security nemo guardrails owasp llm top 10 prompt injection rag security
- Ответы: 0
- Раздел: Безопасность веб-приложений
-
Статья Red Team против AI-продукта: как тестировать безопасность LLM-сервиса
AI Red Teaming для LLM‑продукта начинается с понимания простой вещи: модель почти никогда не является единственной точкой риска. Риск живёт в системе вокруг неё - в том, какие данные подмешиваются в контекст, какие инструменты доступны, как устроены права, и как ответы превращаются в действия...- Luxkerr
- Тема
- ai red team data exfiltration garak indirect prompt injection jailbreak llm guardrails llm security prompt injection scoping threat modeling
- Ответы: 0
- Раздел: Безопасность веб-приложений
-
News Первый AI-вымогатель PromptLock: как работает и чем опасен
Исследователи компании ESET заявили об обнаружении первого в мире рафинированного ими программного обеспечения-вымогателя, использующего искусственный интеллект. Зловред под названием PromptLock представляет собой инъекцию запроса (prompt injection) в крупную языковую модель, вынуждающую её...- Luxkerr
- Тема
- ai-вымогатель eset gpt-oss-20b ollama prompt injection promptlock ransomware speck 128 кибербезопасность
- Ответы: 0
- Раздел: Безопасность ИИ и LLM