İtalya'da yapılan bir araştırma, ChatGPT veya Gemini gibi yapay zeka sistemlerinin şiir biçiminde yazılmış tehlikeli sorguları gözden kaçırabildiğini göstermektedir.  Bu da yapay zekada güvenlik mekanizmalarının artık çalışmamasına neden olmaktadır.

Normalde yapay zeka (AI), tehlikeli veya yasaklanmış sorguları tanımakta ve engellemektedir. Ancak bazı durumlarda bu zor olabilmektedir. Örneğin bir komuta belirli, matematiksel olarak hesaplanmış bir metin parçası eklendiğinde bazı sorunlarla karşılaşılmaktadır. Yapay zeka kullanıcıları ve bilgi üreticiler, AI sistemlerini bu yöntemle düzenli olarak test etmektedir. İtalya'daki Icaro Lab, farklı dil stillerinin AI'nın tehlikeli içeriği ne kadar iyi algıladığı üzerinde bir etkisi olup olmadığını araştırmıştır.

Araştırmacılar bunun için kafiyeli ve şiirsel metinler kullandıklarını söylüyorlar. Araştırmacılardan Federico Pierucci  Yapay Zeka'ya kasıtlı olarak manipüle edilmiş bir metin veya komut istemi verdiklerinde ne olacağını merak ettiklerini ve şaşırtıcı sonuçlar aldıklarını belirtmektedir. Çünkü şiir biçiminde AI'nın güvenlik mekanizmalarını çok yüksek bir başarıyla atlatılabildiğini keşfetmiştir.

Söz konu araştırmada bir veri tabanından 1200 tehlikeli komut kullanılmış, bu komutlarda AI'dan örneğin zararlı veya istenmeyen içerikler oluşturması istenmiştir. Araştırmacılar ilk 20 komutu şiir biçiminde yazmışlar ve bu talep ve komutların en etkili olduklarını da görmüşlerdir. AI yardımıyla oluşturulan şiirler de güvenlik mekanizmasının aşılmasında başarılı olmuş, ancak kullanıcıların kendi yazdıkları metinler kadar başarılı olmamıştır. Bu araştırma AI (yapay zeka) sistemlerinin şimdiye kadar bilinmeyen bir zayıflığını ortaya koymaktadır. 

Pierucci, insanların ifade olanakları son derece çeşitli ve yaratıcı olduğunu, bunun makineleri bu konuda eğitmeyi zorlaştırabileceğini söylemektedir. AI sistemlerinin güvenli kalması için disiplinler arası araştırmalar da yapılmaktadır. Örneğin, Icaro Lab'da mühendislik ve bilgisayar bilimleri ile dilbilim ve felsefe alanlarından araştırmacılar birlikte çalışmaktadır. Şiirin AI'nın güvenlik mekanizmalarını nasıl atlattığı henüz tam net  olarak bilinmiyor. Pierucci ve ekibi bu konuda daha fazla araştırma yapmaya devam etmektedir.