¿Sabe Bard cuántas veces aparece la letra «e» en «ketchup»?

Una de las cosas que más disfruto del aprendizaje automático es cómo demuestra, con bastante precisión, que los ingenieros no saben cómo trabaja la gente. Tome modelos de lenguaje grande, por ejemplo. Me dijeron que me quitarían el negocio, haciéndome innecesario; Son inteligentes. Planificarían el itinerario perfecto para mi viaje a París, con puntos destacados en torno a bares y restaurantes. Ciertamente es preciso y completo..

Inspirado por Tweet sobre mayonesaAhora, se dispuso a hacer un experimento divertido con Google Bard.

Elijo hacer esto por dos razones. Primero, este tipo de prueba es algo que se hace con los niños pequeños mientras se les enseña a leer. Haz que conozcan las letras y los sonidos que hacen. Pero en segundo lugar, sospecho firmemente que esta actividad común no se registra en ningún dato que extrae Bard porque no es del tipo que está escribiendo.

Obviamente, esto es absurdo, pero es absurdo porque Podemos mirar la palabra «ketchup» y ver claramente la «e». Bardo no puede hacer eso. Vive en un mundo completamente cerrado de datos de entrenamiento.

Este tipo de problema es con los LLM. El lenguaje es una tecnología humana muy antigua, pero nuestra inteligencia es anterior. Como todos los animales sociales, tenemos que hacer un seguimiento de las relaciones de estado, razón por la cual nuestros cerebros son tan grandes y raros. El lenguaje es una herramienta muy útil. ¡Escribo para ganarme la vida! – Pero no es lo mismo que conocimiento. Flota sobre un montón de otras cosas que damos por sentado.

A menudo pienso en el artículo de Rodney Brooks de 1987, «Inteligencia sin representación«, que es más relevante que nunca. No negaría que el uso del lenguaje y la inteligencia están relacionados, pero la inteligencia precede al lenguaje. Si tratas con el lenguaje en ausencia de inteligencia, como vemos en los LLM, obtienes resultados extraños. Brooks compara lo que sucede con los LLM con un grupo Uno de los primeros investigadores que intenta construir un avión centrándose en los asientos y las ventanas.

Estoy seguro de que todavía tiene razón en eso.

Entiendo la tentación de intentar tener una conversación compleja con el MA. Mucha gente quiere desesperadamente que podamos construir una computadora inteligente. Estas fantasías suelen aparecer en la ciencia ficción, el género más leído por los nerds, e indican un anhelo de saber que no estamos solos en el universo. Es el mismo impulso que impulsa nuestros intentos de contactar con la inteligencia alienígena.

Pero tratar de fingir que LLM puede pensar es una fantasía. Puedes preguntar sobre el subconsciente, si quieres, pero estarías orgulloso. No hay nada allí. Quiero decir, Mira sus intentos de arte ASCII!

Cuando hace algo como esto, una tarea que su niño promedio de cinco años superará y reprobará en una maestría en inglés, comienza a ver qué tan inteligente En realidad Él trabaja. Claro, hay personas que piensan que LLM tiene conciencia, pero Estas personas me parecen estar trágicamente ausentes en la sociedad.incapaz de entender o estimar con precisión qué tan inteligente es la gente común.

Sí, Bard puede producir destellos. De hecho, como la mayoría de los chatbots, se destaca en la autocompletación de copias de marketing. Quizás esto sea un reflejo de la cantidad de texto del anuncio que aparece en sus datos de entrenamiento. Bard y sus ingenieros probablemente no lo verían de esa manera, pero qué comentario tan devastador sobre nuestra vida diaria en línea.

La publicidad es una cosa. Pero la capacidad de producir textos publicitarios no es un signo de inteligencia. Hay muchas cosas que no nos molestamos en escribir porque no tenemos que hacerlo y otras cosas que sabemos No puedo Tipo: como andar en bicicleta. Tomamos muchos atajos al hablar entre nosotros porque las personas operan más o menos con la misma base de información sobre el mundo. Hay una razón para eso: todos somos en el mundo. Un chatbot no lo es.

Estoy seguro de que alguien aparecerá para decirme que los chatbots mejorarán y solo estoy siendo malo. En primer lugar: es vaporware hasta que se envíe, nena. Pero en segundo lugar, realmente no sabemos cuán inteligentes somos o cómo pensamos. Si hay un uso real para los chatbots, es iluminar las cosas de nuestra inteligencia que damos por sentadas. O como dice alguien más sabio que yo: El mapa no es el territorio. El lenguaje es el mapa. El conocimiento es el área.

Hay un montón de cosas que los chatbots no saben ni pueden saber. La verdad es que no se necesita mucho esfuerzo para aprobar el LLM de Turing Test siempre que haga las preguntas correctas.