Chatbot, non oracolo": cosa è successo quando abbiamo provato a sostituire i nostri consulenti con ChatGPT

Nelle ultime settimane abbiamo sentito parlare molto di come l'IA generativa cambierà completamente il panorama del marketing digitale. Lanciato sulla scena nel novembre 2022, ChatGPT è esploso, raggiungendo 1 milione di utenti in soli 5 giorni. Da allora, si sta facendo strada nell'uso quotidiano, dalla correzione delle e-mail alla formattazione del codice, fino alla scrittura di testi rap.

In fifty-five, dove ci occupiamo di consulenza per i marchi sull'uso della tecnologia per alimentare casi d'uso di marketing nuovi e all'avanguardia, non ci è voluto molto per iniziare a testare le capacità del nuovo chatbot più in voga della città. In particolare, avendo collaborato con un numero significativo di marchi famosi per la migrazione a Google Analytics 4 (GA4) ben prima del tramonto di Universal Analytics, abbiamo deciso di metterlo alla prova su un'attività che i nostri consulenti svolgono regolarmente. Rispondere alle domande poste dai nostri clienti utilizzando GA4. Ecco i risultati:

Chat GPT risponde correttamente ad appena 12 delle 42 domande di GA4

Delle 42 domande che abbiamo posto, ChatGPT ha fornito solo 12 risposte accettabili da inviare ai nostri clienti, con una percentuale di successo di appena il 29%. Altre otto risposte (19%) sono state considerate "semi-corrette". Si trattava di risposte che interpretavano male la domanda e fornivano una risposta diversa da quella richiesta (anche se di fatto corretta), oppure presentavano una piccola quantità di informazioni errate in una risposta altrimenti corretta. Ad esempio, ChatGPT ci ha detto che la riga "Altro" che si trova in alcuni report di GA4 è un raggruppamento di molte righe di dati a basso volume (corretto), ma che i casi in cui ciò si verifica sono definiti dagli "algoritmi di apprendimento automatico di Google" (errato - ci sono regole standard in atto).

I modelli di intelligenza artificiale sono limitati dai dati di addestramento

Il restante 52% delle risposte era di fatto errato e in alcuni casi attivamente fuorviante. La ragione più comune è che ChatGPT non utilizza dati di formazione oltre il 2021, quindi molti degli aggiornamenti recenti non sono stati presi in considerazione nelle sue risposte. Ad esempio, Google ha annunciato ufficialmente l'abbandono di Universal Analytics solo nel 2022, quindi ChatGPT non è in grado di dire quando ciò avverrà. In questo caso, il bot ha almeno messo in guardia la sua risposta da questo contesto, esordendo con "Per quanto ne so, il termine è fissato al 2021...".

Tuttavia, alcune delle risposte rimanenti sono state sbagliate con una preoccupante sicurezza, come il bot che ci ha detto che "GA4 utilizza un approccio basato sull'apprendimento automatico per tracciare gli eventi e può identificare automaticamente gli eventi di acquisto in base ai dati raccolti ".

‍SebbeneGA4 disponga di eventi "Enhanced Measurement" tracciati automaticamente, questi sono generalmente definiti ascoltando un semplice codice all'interno dei meta-dati di una pagina web, piuttosto che attraverso un modello di apprendimento automatico o statistico. Inoltre, gli eventi di acquisto non rientrano certamente nell'ambito della misurazione avanzata.

La spiegazione del secondo tipo di risposte errate può essere data da un'altra limitazione dei dati di addestramento di ChatGPT. C'è molta disinformazione in giro per il web, che in linea di massima è stata utilizzata per addestrare il chatbot, che è stato addestrato utilizzando dei modelli. Molti degli articoli di supporto di Google su GA4 sono cosparsi del termine "apprendimento automatico" e questo è stato successivamente ripreso in articoli esterni sulla piattaforma, quindi non sorprende che sia stato citato nelle risposte a 17 domande, compresa la risposta errata di cui sopra.

Infine, vale la pena di ricordare che l'utilizzo di ChatGPT presenta un elemento di casualità: si può dare al bot la stessa richiesta due volte e ottenere risposte leggermente diverse.

Un ottimo punto di partenza, ma nessun oracolo

In sintesi, ci sono molte ragioni per cui ChatGPT non è allo stesso livello dei consulenti di fifty-five nel fornire risposte equilibrate a domande complesse sulle tecnologie di marketing. Tuttavia, fornisce un ottimo punto di partenza per discutere le sue risposte su un determinato argomento e per approfondire la ricerca. Questo è in linea con il supporto che l'IA può dare oggi al mondo del lavoro. La maggior parte dei lavori non rischia di essere completamente assorbita dall'IA, ma strumenti come ChatGPT fanno un ottimo lavoro per migliorare la produttività, stimolare la creatività e avviare una conversazione. Come scrive il BCS, "l'IA non sostituirà il vostro lavoro, ma qualcuno che usa l'IA lo farà".