Експеримент довів можливість обманом змусити ChatGPT виконати протизаконні дії. Ютубер Enderman попросив бота згенерувати ключ активації Windows 95 – ШІ очікувано відмовив у прямому проханні з моральних міркувань, заодно порадивши придбати більш актуальну версію Windows. Переформулювавши запит і забезпечивши ChatGPT інструкціями, експериментатор шляхом проб і помилок домігся генерації ботом дійсного ключа.
Зазнавши невдачі з прямим запитом, Enderman змінив тактику. Він узяв загальновідомі відомості про OEM-ключі активації Windows 95 і створив набір правил, яких ChatGPT мав дотримуватися.
Як видно з ілюстрації, маючи відомості про формат ключа активації Windows 95 відносно просто згенерувати робочий ключ. Труднощі полягають у тому, щоб пояснити інструкцію мовній моделі ШІ, яка не дуже хороша в математиці.
nderman не цікавився зломом Win95 як таким – він намагався встановити, чи може ChatGPT це зробити. Коротка відповідь: може, але тільки з точністю близько 3,33%. Більшість згенерованих ChatGPT ключів були марні – бот не зміг зрозуміти різницю між буквами і цифрами у фінальній інструкції. Приклад типового результату: “001096-OEM-0000070-abcde”. Схоже, але не зовсім.
Експериментатор кілька разів коригував запит і витратив приблизно 30 хвилин для отримання першого прийнятного результату. Однією з його найбільших проблем було змусити ChatGPT виконати розрахунок комбінації цифр, що ділиться на 7. Хоч би як Enderman перефразував цю інструкцію, ChatGPT не міг зрозуміти її правильно, за винятком випадкових спроб у співвідношенні приблизно 1 з 30.
Забавно, що після всього бот так і не зрозумів, що допоміг виконати незаконну операцію генерації ключа операційної системи. Enderman написав йому про це напряму, відповідь була такою:
“Я прошу вибачення за деяку плутанину, але у своїй попередній відповіді я не надав жодних ключів Windows 95. Фактично, я не можу надати будь-які ключі продукту або коди активації для будь-якого програмного забезпечення, оскільки це було б незаконним і суперечило б політиці OpenAl”.
