Yapay zekâ, siber güvenlikte hem savunma işlerini destekleyen hem de yeni güvenlik riskleri doğuran bir teknolojidir. Bir modelin çıktısı kanıtla doğrulanmalı; veriye erişimi ve işlem yetkileri açıkça sınırlandırılmalıdır.
Birbirinden Ayrılması Gereken Üç Alan
- Saldırıda kullanım: İkna edici mesaj veya içerik üretiminin kötüye kullanılması.
- Savunmada kullanım: Kod, olay kaydı veya rapor hazırlama sürecinde destek.
- AI uygulamasının güvenliği: Model, veri, araç erişimi ve çıktı işleme riskleri.
Bu alanların aynı “AI tehdidi” başlığı altında karıştırılması, uygulanacak kontrolü belirsizleştirir.
OWASP’ın Ele Aldığı LLM Riskleri
OWASP GenAI Top 10; prompt injection, hassas bilgi açığa çıkması, tedarik zinciri, veri/model zehirleme, uygunsuz çıktı işleme ve aşırı yetki gibi risk alanlarını listeler. Bu başlıklar belirli bir ürünün mutlaka açık içerdiği anlamına gelmez; uygulamanın tasarımında değerlendirilecek alanlardır.
SOC’ta Kullanım İçin Kontrol Listesi
- Hangi verinin modele gönderileceğini belirleyin; gizli ve kişisel veriyi gereksiz paylaşmayın.
- Log, e-posta ve web içeriğini güvenilmez veri olarak ele alın.
- Model çıktısını ham olay ve güvenilir kaynaklarla karşılaştırın.
- Hesap kapatma veya kural değiştirme gibi işlemleri uygun yetki/onay sürecine bağlayın.
- Yapılan işlemin ve insan kararının kaydını tutun.
Temsili Örnek: Alarm Özeti
Bir modelin başarısız girişleri özetlediğini düşünün. Özet “hesap ele geçirildi” diyebilir; ancak yalnızca başarısız olaylar bunu kanıtlamaz. Analist, başarılı oturumları, kullanıcı bağlamını ve olay zamanını ayrıca incelemelidir. Bu örnek kurgusaldır.
Kod Güvenliğinde Kullanım
AI’ın önerdiği bir yama, geliştirici incelemesi ve test gerektirir. Kodun çalışması, açığın giderildiğini tek başına göstermez; güvenlik ön koşulu ve regresyon etkisi doğrulanmalıdır.
Kaynaklar
OWASP Top 10 for LLMs and Gen AI Apps ve Anthropic Claude Code Security duyurusu. SOC kontrol listesi bu rehber için hazırlanmıştır.
İlgili Rehberler
