ai red teaming
-
Статья AI Red Teaming: методология тестирования ML-систем на безопасность
Введение Задача AI red teaming - проверить, выдержит ли система столкновение с реальностью: с действиями обычного пользователя, недоброжелателя, действующего вслепую, или внутреннего сотрудника на грани нервного срыва. Пока теоретики вычерчивают на досках безупречную архитектуру доверия, red...- Кудрин Евгений
- Тема
- adversarial attacks ml ai red teaming ai safety testing jailbreak testing methodology llm red team ml security testing
- Ответы: 0
- Раздел: Безопасность ИИ и LLM
-
Статья Безопасность LLM: полная карта атак на языковые модели, prompt injection и регуляторные требования к ИИ в 2026 году
По данным исследований «Информзащиты», около 70% организаций уже столкнулись с атаками через LLM. При этом большинство команд безопасности продолжают оценивать языковые модели по лекалам классических веб-приложений - ищут SQL-инъекции там, где работает совершенно иная плоскость атак. Я лично...- Сергей Попов
- Тема
- adversarial attacks ии ai red teaming eu ai act garak indirect prompt injection jailbreak llm owasp llm top 10 prompt injection pyrit атаки на языковые модели безопасность llm защита llm
- Ответы: 0
- Раздел: Общение и нетворкинг
-
Prompt Injection: атаки на LLM-приложения и защита
В современном мире нейросети везде: от чат-ботов до RAG-систем и аналитики. Миллионы запросов в день — звучит круто, но хакеры уже потирают руки. Давайте начистоту: prompt injection — это, пожалуй, самая забавная но одновременно и очень опасная дыра в безопасности LLM. Если вы когда-нибудь...- Кудрин Евгений
- Тема
- ai red teaming dan guardrails llm indirect prompt injection instruction hierarchy jailbreak llm llm security nemo prompt injection prompt injection defense
- Ответы: 0
- Раздел: Арсенал специалиста по ИБ