Anthropic enseñó a la IA a mejorar las consultas a sí misma

El año pasado, una de las nuevas profesiones populares en el campo de la inteligencia artificial fue el puesto de ingeniero que escribe consultas a modelos de IA. Ahora Anthropic ha decidido automatizar esta tarea, confiándola a la propia IA.

Los modelos de lenguaje grandes en muchos casos brindan respuestas adecuadas incluso a las consultas de usuarios no profesionales, pero a veces incluso un pequeño cambio en la redacción puede mejorar significativamente su calidad. Por lo general, esto requiere que usted mismo realice varias formulaciones o recurra a los servicios de un ingeniero, pero la nueva función propuesta por Anthropic puede simplificar la tarea. El panel de control de Anthropic Console, diseñado para desarrollar aplicaciones de terceros basadas en el modelo Claude AI, ahora tiene una nueva pestaña Evaluar asociada con el generador de consultas incorporado. Este generador toma una breve descripción de la solicitud como entrada y genera una mucho más larga y específica basada en ella. Es poco probable que esta herramienta deje a los ingenieros sin trabajo, pero puede ahorrarles tiempo y ayudar a los usuarios comunes.

En la sección Evaluar, los desarrolladores de aplicaciones de terceros pueden probar qué tan efectivas son las sugerencias generadas por sus aplicaciones en una variedad de escenarios. Puede, por ejemplo, cargar un ejemplo válido en un conjunto de pruebas o pedirle a Claude que genere dichas consultas de prueba usted mismo para comparar su efectividad y calificar las respuestas en una escala de cinco. En el ejemplo dado por Anthropic, el desarrollador determinó que su aplicación estaba produciendo respuestas demasiado cortas en varios casos de prueba; una de las líneas de la solicitud ayudó a alargarlas, después de lo cual este esquema se aplicó a todos los casos de prueba.

Anteriormente, el cofundador y director ejecutivo de Anthropic, Dario Amodei, señaló que la redacción de consultas es uno de los aspectos más importantes para la implementación generalizada de la IA generativa. “Parece simple, pero en 30 minutos un ingeniero de demanda a menudo puede hacer funcionar una aplicación si no funcionó antes”.dijo Amodei.