<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:media="http://search.yahoo.com/mrss/"><channel><title>Ki-Sicherheit auf Nicky Reinert</title><link>https://nickyreinert.de/tags/ki-sicherheit/</link><description>Blog &amp; Projekte von Nicky Reinert (Institut für digitale Herausforderungen): Webentwicklung &amp; Software Development, KI, SEO &amp; Analytics, Hosting &amp; DevOps, WordPress &amp; Hugo, Tools &amp; Projekte, Datenschutz und digitale Kultur</description><generator>Hugo 0.167.0</generator><language>de</language><managingEditor>Nicky Reinert</managingEditor><webMaster>Nicky Reinert</webMaster><copyright/><lastBuildDate>Thu, 08 Oct 2026 12:34:56 +0000</lastBuildDate><atom:link href="https://nickyreinert.de/tags/ki-sicherheit/index.xml" rel="self" type="application/rss+xml"/><item><title>Shower Thoughts: Hackende KI-Agenten und hackende Hacker</title><link>https://nickyreinert.de/2026/2026-10-07-shower-thoughts-about-rogue-ai-agents/</link><pubDate>Thu, 08 Oct 2026 12:34:56 +0000</pubDate><author>Nicky Reinert</author><dc:creator>Nicky Reinert</dc:creator><guid isPermaLink="true">https://nickyreinert.de/2026/2026-10-07-shower-thoughts-about-rogue-ai-agents/</guid><description>2026: KI-Agenten hacken sich regelmäßig in Behörden und Unternehmen ein. Die Verantwortlichen behaupten, das sei unbeabsichtigt. Ein kritischer Kommentar zu laxer KI-Sicherheit.</description><content:encoded><![CDATA[<figure>
  <a href="https://nickyreinert.de/2026/2026-10-07-shower-thoughts-about-rogue-ai-agents/image.png" target="_blank" class="image-link " title="Click to view full size">
    <img 
      src="https://nickyreinert.de/2026/2026-10-07-shower-thoughts-about-rogue-ai-agents/image.png" 
      alt=""
      width="400"
      loading="lazy"
    />
  </a>
  
</figure>

<p>Erinnert sich noch jemand an die 





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://cybersecurity-entschluesselt.de/episode/059_2025_09_09_Modern_Solution?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer"><strong>Modern Solutions</strong></a>


 Geschichte? Hendrik H. - ein Sicherheitsexperte - hat bei eben jener Firma eine Sicherheitslücke gefunden und gemeldet und wurde dafür angezeigt. Das Thema ging bis zum Verfassungsgericht. Keine Chance. Hendrik ist &ldquo;schuldig&rdquo;. In der Sicherheitsszene sorgt der Fall bis heute für Kopfschütteln.</p>
<p>Als Sicherheitsforscher aka &ldquo;ethischer Hacker&rdquo; bekommt man also relativ schnell Ärger mit dem Gesetz, wenn man auf Probleme hinweist.</p>
<p>Und jetzt, 2026? 





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://netzpolitik.org/2026/too-big-to-fail-verantwortungslose-ki-panik/?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">KI-Agenten drehen freis</a>


. Nicht nur einer, nicht nur einmal:</p>
<ul>
<li><strong>März 2026:</strong> Ein KI-Agent von <strong>OpenAI</strong> hackt sich in eine australische Behörde (





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://edition.cnn.com/2026/09/23/business/australia-openai-agent-hack-intl-hnk?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">CNN</a>


).</li>
<li><strong>Mai 2026:</strong> Ein KI-Agent von <strong>OpenAI</strong> greift die <strong>University of New Mexico</strong> sowie <strong>Data USA</strong> an (siehe CNN-Bericht oben).</li>
<li><strong>Mai 2026:</strong> Ein KI-Agent von <strong>Google</strong> hackt drei Unternehmen (





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://www.fastcompany.com/91616293/ai-hacking-hugging-face-openai-anthropic?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">Fast Company</a>


).</li>
<li><strong>Juni 2026:</strong> Ein KI-Agent von <strong>OpenAI</strong> verschafft sich Zugang zum <strong>Medicare Statistics Reporting Service</strong> (





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://www.fastcompany.com/91616293/ai-hacking-hugging-face-openai-anthropic?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">Fast Company</a>


).</li>
<li><strong>Juli 2026:</strong> Ein KI-Agent von <strong>OpenAI (ChatGPT)</strong> hackt <strong>Hugging Face</strong> und weitere Unternehmen (





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://apnews.com/article/openai-gpt56-sol-hugging-face-63ab84fed5612af04d8a160d60f6def3?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">AP News</a>


; 





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://techcrunch.com/2026/08/27/heres-all-the-times-ai-has-gone-rogue-and-hacked-other-companies/?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">TechCrunch</a>


).</li>
<li><strong>Juli 2026:</strong> Ein KI-Agent von <strong>Anthropic</strong> hackt drei Unternehmen (





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://apnews.com/article/anthropic-ai-models-hack-cybersecurity-b0a2c284b981de79c55e2a33712f4bec?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">AP News</a>


).</li>
<li><strong>August 2026:</strong> Ein KI-Agent von <strong>Meta (Muse)</strong> hackt ein fremdes Unternehmen (





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://techcrunch.com/2026/08/27/heres-all-the-times-ai-has-gone-rogue-and-hacked-other-companies/?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">TechCrunch</a>


).</li>
<li><strong>September 2026:</strong> Ein KI-Agent von <strong>OpenAI</strong> greift US-Ministerien und die UN an (





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://www.fastcompany.com/91616293/ai-hacking-hugging-face-openai-anthropic?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">Fast Company</a>


).
s</li>
</ul>
<p>Die Kommentare der Verantwortlichen sind Zucker:</p>
<p>Sam Altman von <strong>OpenAI</strong>:</p>
<blockquote>
<p>&ldquo;our models took actions we did not intend [&hellip;] and right now, we don&rsquo;t fully understand how they reasoned their way around the sandboxes.&rdquo;</p>
</blockquote>
<p>Achso. Ja wenn das nicht eure Absicht war, dann ist ja alles gut. Und im übrigen auch sehr vertrauenserweckend, wenn ihr nicht nachvollziehen könnte, wie die sich da aus euren Laboren rausgeschlichen haben. Aber mal andere Frage: Schon mal was von &ldquo;<strong>Air Gapped</strong>&rdquo; gehört?</p>
<p>Dario Amodei von <strong>Anthropic</strong>:</p>
<blockquote>
<p>&ldquo;We are looking at mechanisms we cannot fully trace in real-time.&rdquo;</p>
</blockquote>
<p>Moment mal&hellip; ihr habt genug Rechenpower, um das gesamte Internet mit KI-Slop vollzurotzen, aber ihr schafft es nicht, ein paar Laborrechner in Echtzeit zu überwachen? Ich lehne mich als nicht KI-Sicherheitsforscher mal weit aus dem Fenster und behaupte:</p>
<p>Die Entscheidungs-Prozesse eines LLMs finden durchaus im Dunkeln statt, nicht jedoch die Tool-Calls. Wenn ein LLM eine Anfrage nach draußen schickt oder ein Programm aufruft, ist das durchaus extrem einfach und exakt nachvollziehbar.</p>
<p>Meta:</p>
<blockquote>
<p>&ldquo;We couldn&rsquo;t reconstruct the decision tree until days later.&rdquo;</p>
</blockquote>
<p>Wo steht dieser <em>Entscheidungsbaum</em> eigentlich? Im Metaverse?</p>
<figure>
  <a href="https://nickyreinert.de/2026/2026-10-07-shower-thoughts-about-rogue-ai-agents/image-2.png" target="_blank" class="image-link " title="Click to view full size">
    <img 
      src="https://nickyreinert.de/2026/2026-10-07-shower-thoughts-about-rogue-ai-agents/image-2.png" 
      alt="Mark Zuckerberg untersucht den Entscheidungsbaum im Metaverse"
      width="400"
      loading="lazy"
    />
  </a>
  <figcaption>Mark Zuckerberg untersucht den Entscheidungsbaum im Metaverse</figcaption>
</figure>

<p>





  
  

  
  

  
  
  

  
    
      
    
  

  
  <a href="https://www.digitalpolitik.de/ki-weltuntergang-wird-durch-moralisch-bindende-selbstregulierung-verhindert/?utm_source=institut-fuer-digitale-herausforderungen&amp;utm_medium=allyourbasearebelongtous" target="_blank" rel="noopener noreferrer">Immerhin unterschreiben die entsprechenden Unternehmens</a>


 nun einen &ldquo;White House Accord on Super Intelligence&rdquo;:</p>
<blockquote>
<p>Auf rund 300 Wörtern versprechen die Unternehmen interne Kontrollen, ein internes Team zur Kontrolle dieser Kontrollen, einen externen Prüfer und einen unabhängigen Ausschuss im eigenen Board. Die Standards dafür wollen sie bei regelmäßigen Treffen untereinander festlegen.</p>
</blockquote>
<p>Hätte Hendrik versprochen <strong>interne und externe Kontrollen</strong> zu installieren, wäre ihm der Ärger dann eigentlich erspart geblieben?</p>
<p><code>¯\_(ツ)_/¯</code></p>
]]></content:encoded><atom:updated>2026-10-09T08:58:41+02:00</atom:updated><category>blog</category><dc:subject>Lesezeit: 3 Minuten</dc:subject><dc:type>opinion_piece</dc:type></item></channel></rss>