English
Aby zademonstrować tę koncepcję, powiedzmy, że próbujemy sprawdzić, czy chatbot rozumie pojęcie ubezpieczenia maszynowego. Aby potwierdzić, czy chatbot będzie w stanie rozpoznać język o ubezpieczeniach maszyn, ale nie pomyli go z innym językiem wprowadzonym jako dane do nauki, musimy napisać testy (w postaci fraz), które zawierają cechy typowe dla języka i zdefiniować raporty z odpowiednimi miarami do oceny precyzji chatbota. Mierniki jakości dla chatbota można definiować na różne sposoby. Generalnie jednak należy odpowiedzieć na jedno bardzo ważne pytanie: Co mamy na myśli mówiąc, że chatbot uczy się poprawiać klasyfikację fraz?
Odpowiedź nie jest taka prosta. Załóżmy, że mamy zdefiniowane następujące kategorie dla chatbota:
- Ubezpieczenie maszyn
- Technologia maszynowa
- Typ urządzenia
- Koszt kredytu
Jeśli użytkownik wpisze zdanie "Chcę zapłacić ubezpieczenie za moją nową maszynę", nie oznacza to, że chatbot zaklasyfikuje je tylko do jednej kategorii. Klasyfikator powinien przypisać zdanie o bardzo dużej "wartości" tylko do jednej kategorii, ale zdanie to może być również przypisane do innych kategorii o małej wartości, np:
| Wynik klasyfikacji | Nazwa kategorii |
|---|---|
| 91% | Ubezpieczenie maszyn |
| 41% | Technologia maszynowa |
| 30% | Typ urządzenia |
| 17% | Koszt kredytu |
Wyrażenie "I want to pay insurance for my new machine" zostało sklasyfikowane jako Machine Insurance o wartości 91%, podczas gdy kwota w wierszu pod spodem wskazuje na dopasowanie tego zdania do kosztu ubezpieczenia maszyny o wartości 41%. Pozostałe dwie kategorie mają jeszcze mniejszą wartość, która pasuje do wprowadzonego zdania. Załóżmy, że wartości przypisania frazy do kategorii mieszczą się w przedziale (0; 1).
Dlatego też, patrząc na wyniki pokazane powyżej, można stwierdzić, że chatbot jest pewny siebie w klasyfikowaniu tej frazy, ponieważ różnica między pierwszą prawidłową wartością klasyfikacji a drugą jest równa 50%.
Podczas klasyfikacji frazy inne kwestie, które mogą powodować problemy obejmują:
- zbyt mała różnica między dwiema pierwszymi przypisanymi kategoriami
- wartość poprawnej frazy jest zbyt niska
- równomierny rozkład klasyfikacji kategorii, wskazujący, że chatbot nie jest pewien, jak sklasyfikować frazę
Testując chatbota, nie tylko można go wyszkolić i zwiększyć jego poziom zrozumienia, ale także można ustanowić systematyczne podejście do obsługi nowego języka, co skutkuje tym, że chatbot działa na bardziej zaawansowanych poziomach ze zwiększonym zrozumieniem i umiejętnościami komunikacyjnymi.
Sprawdzanie dokładności chatbota Klasyfikacja fraz jest kluczowym aspektem rozwoju biegłości chatbota i podobnie jak w nauczaniu dzieci, umożliwia mu samodzielne uczenie się i budowanie bazy wiedzy.
