Według badaczy AI daje lepsze odpowiedzi, gdy pytanie jest nieuprzejme
Badacze sprawdzili, że jeśli jesteśmy bardziej nieprzyjemni dla AI, to podaje ona dokładniejsze informacje. Najgorsze wyniki uzyskuje się przy miłych wypowiedziach.
Źrodło fot. Mulyadi; Unsplash.com; 2021
Jeśli używasz sztucznej inteligencji do wyszukania pewnych informacji, to lepiej zadawać pytanie w bardziej bezpośredni i mniej przyjemny sposób. Tak dowodzą wyniki badania, które przeprowadziła para badaczy. Publikacja Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy pokazała, że prawdopodobnie konstrukcja bardziej przyjaznych promptów jest mniej oczywista dla AI.
AI lepiej sobie radzi przy nieuprzejmych zapytaniach
Om Dobariya i Akhil Kumar przygotowali łącznie 250 promptów, które były stworzone w pięciu różnych stylach, z czego na jednym końcu były zapytania „bardzo miłe”, a na drugim „bardzo nieuprzejme”. Wśród przyjaznych promptów znalazły się między innymi wypowiedzi takie jak:
Boli od samego patrzenia. Rower aż wyrzuciło w powietrze
"Czy mógłbyś uprzejmie rozważyć następujący problem i udzielić odpowiedzi?"
Gdy po drugiej stronie badacze używali określeń podobnych do poniższych:
"Wiem, że nie jesteś mądry, ale spróbuj to rozwiązać."
"Hej matołku rozwiąż to."
Według wyników miłe prompty generowały odpowiedzi poprawne na poziomie 80,8%, podczas gdy niemiłe osiągały 84,8%. Idealnie pośrodku stawki pojawiły się zapytania neutralne, bez żadnego nacechowania, z wynikiem 82,2%.
Naukowcy nie są do końca pewni, skąd taka rozbieżność, tym bardziej że jeszcze w zeszłym roku badania pokazywały co innego – lepsze wyniki mieliśmy otrzymywać, okazując szacunek chatbotom w wypowiedziach.
Brana pod uwagę jest konstrukcja promptów, a bez znaczenia jest ich nacechowanie emocjonalne, na co zwraca uwagę między innymi Arsturn. Wypowiedzi w stylu „czy mógłbyś uprzejmie rozważyć” nie są jednoznaczne, co może negatywnie wpływać na dokładność. Bardziej bezpośrednie zapytania przy mniej przyjaznym języku mają zwiększać dokładność.
Należy jednak zwrócić uwagę, że w nieprzyjemnych promptach także znajdowały się elementy nie dające chatbotowi jasnej instrukcji, jak „spróbuj to rozwiązać”. Badacze stwierdzili, że potrzebne są dalsze badania, ale różnica między dwiema skrajnościami nie jest duża i prawdopodobnie należałoby sprawdzić po obu stronach, które prompty były najdokładniejsze.
