Kapitelklicken springt direkt hin
Shownotes
В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке.
В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL.
Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
Telegram-чат: t.me/podlodka
Telegram-канал: t.me/podlodkanews
Страница в Facebook: www.facebook.com/podlodkacast/
Twitter-аккаунт: twitter.com/PodcastPodlodka
Ведущие в выпуске:
Стас Цыганов, Аня Симонова
Полезные ссылки:
Archestra.AI
archestra.ai
Блог Simon Willison
simonwillison.net/2025/Sep/18/agents
Статья “Why AI systems may never be secure, and what to do about it”
economist.com/science-and-technology/2025/09/2…
Статья “Anthropic: How we built our multi-agent research system”
simonwillison.net/2025/Jun/14/multi-agent-rese…
Статья “An Introduction to Google’s Approach to AI Agent Security”
simonwillison.net/2025/Jun/15/ai-agent-security
Google's Approach for Secure AI Agents
research.google/pubs/an-introduction-to-google…
Статья “Design Patterns for Securing LLM Agents against Prompt Injections”
simonwillison.net/2025/Jun/13/prompt-injection…
Код для статьи "Defeating Prompt Injections by Design"
github.com/google-research/camel-prompt-inject…
Статья “CaMeL offers a promising new direction for mitigating prompt injection attacks“
simonwillison.net/2025/Apr/11/camel
