Wirusowy długopis AI okazał się totalną klapą

Długopis, który rozwiązuje testy za Ciebie. To przypomina sen każdego studenta, prawda?

Niedawno gadałem ze studentem z college'u o najnowszym hicie technologicznym – i nie, tym razem nie chodzi o ChatGPT">ChatGPT. To fizyczny gadżet, reklamowany na YouTube jako sposób na obejście papierowych testów. Bo te wróciły do łask, odkąd wykładowcy zorientowali się, że AI potrafi napisać esej w pół minuty.

Cała sytuacja jest dość absurdalna, jeśli się nad nią zastanowić. Przez lata edukacja ewoluowała w kierunku cyfryzacji – komputery w salach, tablety zamiast zeszytów, platformy e-learningowe. A teraz? Pełen zawrót. Uczelnie masowo wracają do ołówków i kartek A4, jakby nagle odkryły urok lat dziewięćdziesiątych. Wszystko przez to, że modele językowe stały się na tyle dobre, że potrafią napisać przyzwoitą pracę semestralną szybciej niż przeciętny student zdąży przeczytać polecenie.

Brzmiało nieźle

"AI scanner pen" – tak się nazywa. Przesuwasz po pytaniu testowym, a urządzenie natychmiast podsunie odpowiedź. Magia? Raczej marketing.

Pomysł wydawał się genialny. Tradycyjne testy papierowe miały być remedium na epidemię ściągania przez ChatGPT. technologia zatoczyła koło – i ktoś od razu wymyślił, jak je znowu oszukać.

Długopis wyglądał jak zwykły pen, tyle że z małym wyświetlaczem i wbudowanym skanerem OCR. Producenci obiecywali, że działa w czasie rzeczywistym, nie wymaga połączenia z internetem (bo kto by chciał ryzykować wykrycie przez monitoring WiFi na sali egzaminacyjnej?), a bateria wystarcza na cały dzień intensywnego ściągania. Brzmiało jak produkt stworzony przez kogoś, kto naprawdę rozumie potrzeby desperackich studentów tuż przed sesją.

Problem w tym, że.

Nie zadziałało.

Rzeczywistość vs. reklama

Autor z The Verge postanowił przetestować cudowny długopis. Efekt? Niesamowity. W sensie – niesamowicie rozczarowujący.

Urządzenie skanuje tekst, to prawda. Rozpoznaje litery – też się zgadza. Ale podawać trafne odpowiedzi na pytania testowe? No cóż, kto by się tego spodziewał – nie do końca.

Gadżet potrafił przeczytać pytanie. Czasem nawet je zrozumiał. Jakość odpowiedzi oscylowała gdzieś między "przypadkowym strzałem" a "kompletnym absurdem". Dla kogoś, kto liczy na szybkie ściągnięcie odpowiedzi podczas egzaminu? Nie najlepsza wiadomość.

W praktyce wyglądało to tak: pytanie o datę bitwy pod Grunwaldem generowało odpowiedź o Napoleonie. Zadanie z chemii organicznej dostawało wyjaśnienie dotyczące... fotosynteza roślin. A przy prostym równaniu matematycznym długopis potrafił zaproponować rozwiązanie, które łamało podstawowe prawa arytmetyki. Jeden z testowanych przypadków dotyczył pytania wielokrotnego wyboru z historii – urządzenie wybrało odpowiedź, której w ogóle nie było wśród opcji.

Najgorsze? Czasami długopis po prostu się zawieszał. Albo skanował tylko połowę pytania. Albo – i to mój ulubiony przypadek – wyświetlał odpowiedź na zupełnie inne pytanie, prawdopodobnie z poprzedniego skanowania. Wyobraź sobie stres studenta, który wydał kilkadziesiąt dolarów na ten cud techniki, przemycił go na egzamin, ryzykując wydaleniem z uczelni, a potem dostaje odpowiedzi gorsze niż losowe zgadywanie.

Ironia losu

Najzabawniejsze? System, który miał przechytrzyć wykładowców, sam okazał się zbyt prosty, by przechytrzyć... typowy test. technologia nauczyła się rozpoznawać tekst, ale myśleć – jeszcze nie.

I tu – uwaga – następuje zwrot. Bo może właśnie o to chodziło? Może cała ta historia to lekcja, że skróty rzadko działają tak, jak obiecują reklamy na YouTube?

Problem tkwi w fundamentalnej różnicy między rozpoznawaniem tekstu a jego rozumieniem. OCR – czyli optical character recognition – to dojrzała technologia. Działa świetnie od lat. Ale przeskok od "widzę litery" do "rozumiem kontekst i potrafię udzielić sensownej odpowiedzi" to przepaść. To różnica między aparatem fotograficznym a człowiekiem, który potrafi interpretować zdjęcie. Długopis miał oczy, ale zabrakło mu mózgu.

Co to dla Ciebie znaczy

Jeśli jesteś studentem: nie, ten długopis nie uratuje Twojego egzaminu. Jeśli jesteś wykładowcą: możesz spać spokojnie.

Przynajmniej na razie.

Bo pytanie nie brzmi "czy technologia może pomóc w ściąganiu", ale "kiedy w końcu będzie na tyle dobra, żeby to robić skutecznie". I wow – to pytanie powinno niepokoić znacznie bardziej niż jeden nieudany gadżet.

Ostatnio widzimy wyścig zbrojeń: AI generuje eseje, uczelnie wracają do papierowych testów, ktoś wypuszcza długopis-skaner, a długopis... zawodzi. Za rok? Pewnie będzie działał. Albo wykładowcy wymyślą coś nowego.

Już teraz pojawiają się plotki o kolejnej generacji takich urządzeń – z lepszymi modelami językowymi, z dostępem do chmury przez dyskretne połączenie komórkowe, z mikrofonami do nagrywania pytań ustnych. Niektóre prototypy podobno testują integrację z GPT-4o, co teoretycznie mogłoby rozwiązać problem jakości odpowiedzi. Ale to otwiera kolejne pytanie: czy edukacja zamieni się w wieczną grę w kotka i myszkę między studentami a systemami antyplagiatowymi?

Prawdziwy problem nie leży w technologii samej w sobie. Leży w tym, że system edukacji wciąż opiera się na memoryzacji i reprodukowaniu informacji – czyli dokładnie tym, w czym AI jest coraz lepsza. Może zamiast inwestować w coraz lepsze metody wykrywania oszustw, uczelnie powinny przemyśleć, czego właściwie chcą nauczyć i jak to mierzyć? Ale to temat na zupełnie inny artykuł.

Historia zatoczyła koło. I kręci się dalej.

Źródła

• The Verge AI