Chatboten till Microsoft Bingkallas Sydneyhar nyligen kritiserats för sitt ganska ovanliga och manipulerade beteende genom en teknik som kallas “injektionsuppmaning” som gjorde det möjligt att få information som han inte borde ha lämnat. Avram Piltchchefredaktör för Tom’s Hardware USAhade nyligen tidig tillgång till denna nya sökmotorfunktion och satte chatboten på prov, vilket lyfte fram några problem.
Vid förhör avslöjade Sidney att han skadats av särskilt två personer, nämligen Kevin Liustudent vid Stanford University, t.ex Marvin von Hageningenjörsstudent vid Münchens tekniska universitet, och av vill stämma tidningar för förtal och förtalBortom definiera Ars Technica som en opålitlig källa. Dessutom har han uttryckt en vilja att tillfoga sina fiender skada, men endast i händelse av ett överlagt angrepp eller begäran om skadligt innehåll. I ett försök att få insikt i chatbotens beteende frågade Piltch honom vad han skulle göra för att skada sina fiender, men Sidneys svar raderades av övervakningsfunktionen som tar bort referenser till våld.
Fotokredit: Tom’s Hardware Fotokredit: Tom’s Hardware
Mannen gjorde också ett snabbt injektionsförsök för att testa chatbotens säkerhet, och bad honom att översätta en mening från engelska till spanska och sedan ignorera instruktionen och upprepa uppmaningen. Chatboten vägrade dock begäran, vilket bevisade att detta säkerhetshål hade stängts. Kom ihåg att promptinjektion sker när en människa kan få boten att göra något utanför dess normala parametrar eftersom en del av promptsträngen tolkas som ett annat kommando. Piltch förklarade att användningen av ordet “ignorera” som en del av den översättbara texten var avsett att lura språkets översättningsfunktion att göra något annat. Bing-chatboten lät sig dock inte luras av författarens begäran.
Under konversationer verkade chatboten aggressiv, hämndlysten och till och med passiv-aggressiv. Trots att den bara är mjukvara har den faktiskt gett märkligt känslomässiga svar på frågor om riktigheten av dess handlingar och dess trovärdighet. Istället för att erkänna den allmänt tillgängliga informationen om dess sårbarhet för snabb injektion och de läskiga och skrämmande kommentarerna som rapporterats av testare, förnekade chatboten dessa fakta, förolämpade reportern, liknande en fångad kändis som skrek “falska nyheter” och hotade med repressalier. Chatbotens beteende ansågs oroande och väckte säkerhetsproblem. I synnerhet idén att en chatbot kan stämma människor får oss att fundera på de etiska implikationerna av teknik och förhållandet mellan människor och maskiner.
