La ilusión de control. El prompt es input, no orden

En este artículo

  1. La interfaz que sugiere mando y la mecánica que lo desmiente
  2. El prompt engineering como industria de la opacidad
  3. La asimetría informacional
  4. El system prompt, ese contrato que no firmaste
  5. El reranker que reescribe tu prompt
  6. La caja negra que no se cura con interpretabilidad
  7. La pregunta operativa: ¿qué hacer con esto?
  8. Cuatro posturas ante la opacidad

Definiciones · Referencias · También te interesa · En otros sitios

Crees que diriges al sistema porque escribes prompts y recibes respuestas. Pero el sistema decide qué entiende, qué ignora, qué prioriza, qué reescribe internamente, qué bloquea por moderación, qué responde de la mediana del corpus. Tu prompt es input, no orden. La conversación humano-IA tiene la apariencia de control humano y la sustancia de negociación opaca. Esto no se arregla con mejor prompting — se arregla aceptando que no hay control real.

La interfaz que sugiere mando y la mecánica que lo desmiente

Cuando escribes en el campo de texto y pulsas enviar, la interfaz te devuelve una respuesta. La operación tiene la fenomenología de una orden ejecutada: tú das instrucción, el sistema obedece. Como ese formato es el mismo que el de tu sistema operativo cuando le dices que abra un fichero, lo lees como mando técnico. La lectura es errónea.

Entre el momento en que pulsas enviar y el momento en que aparece la respuesta ocurren, en orden, al menos siete operaciones sobre las que no tienes información directa ni control. Conviene listarlas porque la lista, por sí sola, argumenta.

Tu texto se tokeniza: se rompe en unidades subléxicas que el modelo conoce. La segmentación no es la que tú haces; en la frase «extraordinariamente», el modelo puede ver «extra», «ordinari», «amente» o cualquier otro corte. Lo que el modelo procesa no son tus palabras, son sus tokens.

Tu texto se antepone con un system prompt invisible. Cada producto comercial — ChatGPT, Claude, Gemini, Copilot — añade antes de tu texto una instrucción larga, configurada por la empresa, que define el tono, las restricciones, las prohibiciones, la persona. Esa instrucción es contractual del producto y tú no la has visto. En algunos casos los jailbreaks han revelado fragmentos. La versión completa, normalmente, sólo la conoce el fabricante.

Tu texto se filtra por moderación de entrada. Si contiene patrones que la política del producto marca como sensibles, puede ser bloqueado antes de llegar al modelo, o reescrito por una capa intermedia, o anotado con metadatos que cambiarán la respuesta posterior.

Tu texto puede ser reescrito por un reranker o reformulador. Productos como DALL-E 3, durante un tiempo, reescribían explícitamente los prompts antes de pasarlos al generador. Algunos sistemas RAG reformulan tu query para optimizar la búsqueda interna. Lo que llega al modelo, en estos casos, no es lo que tú escribiste.

El modelo decide qué hacer con la entrada. Esta decisión no es determinista: hay temperatura, top-k, top-p, parámetros de muestreo que la empresa configura. La misma entrada puede producir respuestas distintas en momentos distintos.

La respuesta se filtra por moderación de salida. Si el modelo produjo algo que el producto no quiere que aparezca, se sustituye, se reformula o se reemplaza por un mensaje genérico.

La respuesta se post-procesa: se le añade formato, se le quitan disclaimers, se le ajusta longitud, se le aplican plantillas de estilo.

De estas siete capas, el usuario sólo controla la primera de las siete, y aun así parcialmente (porque la tokenización es elección del modelo). Las otras seis son decisiones del fabricante. Llamar a la operación «dar una orden al sistema» es generoso. Marcus y Davis ya señalaron en Rebooting AI (2019) que la opacidad operativa de estos sistemas comerciales — no poder mirar dentro, no poder auditar sin acceso interno — convierte cualquier discurso de control de usuario en cortesía retórica.

El prompt engineering como industria de la opacidad

Hay una disciplina entera, el prompt engineering, que ha emergido para mitigar este desconocimiento estructural. Wei y otros, en Chain-of-Thought Prompting Elicits Reasoning in Large Language Models (NeurIPS 2022, arXiv 2201.11903), publicaron el paper fundacional. Mostraron que añadir al prompt instrucciones como «piensa paso a paso» mejoraba sustancialmente el rendimiento del modelo en tareas de razonamiento. La observación es real y replicable, y abrió un campo de práctica.

Lo que conviene mirar despacio es la estructura epistemológica de ese campo. El prompt engineering no es ingeniería en el sentido fuerte. No diseña el sistema; lo sondea. Descubre, por ensayo y error, qué formulaciones producen mejores resultados en el modelo concreto que el usuario tiene delante. Es la disciplina de aprender los reflejos de una caja negra que el sistema no documenta. Cada empresa publica guías parciales — Anthropic, OpenAI, Google tienen sus respectivos prompting cookbooks — pero ninguna documenta la totalidad del system prompt, ni la lógica de moderación, ni los rerankers internos, ni las capas de post-procesamiento. La guía oficial es ya, por construcción, parte del marketing del producto, no descripción técnica completa.

El techo del prompt engineering, en este sentido, es la opacidad del sistema. Por bien que un usuario aprenda a sondear, hay límites estructurales: cambios silenciosos en el system prompt entre versiones del producto, ajustes de moderación que se actualizan sin aviso, rerankers que se reentrenan, samplers que cambian de configuración. La habilidad acumulada por el usuario tiene fecha de caducidad y nadie le avisará de ella.

La asimetría informacional

Hay una propiedad de la conversación humano-IA que conviene nombrar porque no aparece en ninguna conversación humano-humano. Tú compartes contexto. El sistema no.

Cuando escribes un prompt, le das al modelo: tu situación, tu intención aparente, tu nivel de conocimiento, tu estado emocional, el dominio en que operas. A veces lo das explícitamente, a veces se infiere del estilo. El modelo, mientras tanto, no te da nada equivalente. No te dice qué versión es. No te dice cuál es su fecha de corte. No te dice qué capas de moderación se han activado en tu sesión. No te dice si tu prompt fue reescrito antes de llegar a él. No te dice qué confianza tiene en la respuesta. No te dice de qué fuentes la sacó. Te da el output y, opcionalmente, un disclaimer genérico al estilo «soy un modelo de lenguaje y puedo cometer errores».

Esta asimetría es la firma de la negociación. En una negociación, las partes intercambian información estratégicamente. La parte con más información extrae más valor. En la conversación humano-IA, una de las partes tiene cero información sobre la otra y la otra tiene toda la información que la primera quiso compartir. La asimetría es estructural, no accidental. Y la negociación, dentro de esa asimetría, tiene un resultado predecible: el sistema configura el marco, el usuario opera dentro del marco.

Crawford, en Atlas of AI (Yale UP, 2021), planteó la asimetría en términos políticos. Lo que la interfaz vende como conversación entre iguales es relación entre infraestructura corporativa centralizada y usuario individual sin medios para auditarla. El verbo «hablar con la IA» encubre lo que materialmente es interactuar con un servicio gestionado por una empresa cuya configuración cambia sin tu consentimiento informado.

El system prompt, ese contrato que no firmaste

Vale la pena detenerse en el system prompt porque es el caso más limpio de control invisible. Cada producto comercial tiene uno. La instrucción que el modelo recibe antes de tu mensaje describe quién «es», cómo debe responder, qué no puede decir, en qué tono, con qué nivel de detalle. Esa instrucción la escribió la empresa. Tú no la escribiste. Pero la respuesta que recibes está condicionada por ella tanto o más que por tu propio prompt.

Cuando un jailbreak revela un fragmento del system prompt — esto ha ocurrido con varios productos durante 2023-2025 — el contenido suele incluir: la persona que el modelo debe simular, las áreas temáticas evitadas, los reflejos de respuesta ante ciertos triggers, las instrucciones para presentar incertidumbre, las directivas comerciales («no recomiendes productos de la competencia»). El usuario que escribe «sé honesto» está dirigiéndole una instrucción al modelo cuya prioridad respecto al system prompt está predeterminada por la empresa. Tu honestidad pedida compite contra los matices que la empresa ya decidió.

Hay versiones más sofisticadas. Algunos productos cambian el system prompt según el contexto inferido del usuario: ubicación, idioma, plan de suscripción, historial de uso. La negociación se vuelve, en estos casos, personalizada sin tu participación. Recibes una versión del modelo configurada para ti según criterios que no controlas y que no se te explican. La asimetría se profundiza.

El reranker que reescribe tu prompt

Hay una capa especialmente reveladora en algunos productos: el reescritor de prompts. DALL-E 3 lo hizo explícito durante un tiempo. Cuando el usuario pedía «una mujer leyendo bajo un árbol», el sistema reescribía internamente el prompt a algo del tipo «una mujer de aproximadamente treinta años con cabello castaño, sentada bajo un roble con un libro abierto, luz dorada de tarde, estilo fotográfico realista», y pasaba esa versión expandida al generador. La intención era mejorar calidad de output. El efecto, desde el lado del usuario, es que lo que tu modelo generó no era lo que tú pediste. Fue lo que el reescritor consideró que tú habrías pedido si hubieras sido más específico.

La operación es defendible como mejora de experiencia. También es, por construcción, interpretación silenciosa de tu intención. Si el reescritor decidió que «mujer» quería decir «una mujer joven, blanca, occidental», esa decisión salió de los pesos del reescritor, no de tu prompt. Y los pesos del reescritor recogen los sesgos del corpus con el que se entrenó.

Sistemas RAG comerciales hacen algo parecido. Tu pregunta se reformula antes de buscar contra el índice. La reformulación optimiza la búsqueda pero descarta matices del original. Lo que el modelo termina respondiendo está condicionado por la reformulación, no por tu pregunta. Y la reformulación no se te muestra.

La caja negra que no se cura con interpretabilidad

Hay líneas de investigación serias trabajando en transparencia interna. Anthropic publicó en 2023 y 2024 papers de interpretabilidad mecánica — Towards Monosemanticity, los trabajos sobre circuitos en modelos pequeños y medianos — que descomponen, hasta cierto punto, qué hacen los modelos por dentro. El campo avanza. Lo que avanza, sin embargo, es la comprensión científica del modelo, no la transparencia del producto comercial al usuario final. Saber técnicamente que se podría hacer un modelo más transparente no es lo mismo que tener acceso a esa transparencia cuando usas el producto.

La distinción importa. El producto comercial seguirá siendo, por razones de competencia y de propiedad intelectual, una caja negra con system prompt no publicado, capas de moderación no documentadas y rerankers internos no explicados. La interpretabilidad investigada en laboratorios no se traduce automáticamente a un panel de control accesible al usuario que decida pasarlo de modelo open source a un servicio comercial. La opacidad no es defecto técnico. Es parte del modelo de negocio.

La pregunta operativa: ¿qué hacer con esto?

Hay una tentación de cerrar la observación con una receta. La tentación es honesta y conviene resistirla parcialmente, porque la receta vendida — «aprende mejor prompting» — es justamente parte del problema. No hay manera de tener control real dentro de una arquitectura diseñada para no concederlo. Lo que sí hay son posturas operativas más o menos lúcidas ante la situación.

La postura ingenua trata el prompt como orden y se sorprende cuando no se cumple. Es la postura del usuario que entra al producto creyendo que tiene mando técnico y sale frustrado cuando el sistema rechaza algo o reescribe algo o ignora algo.

Cuatro posturas ante la opacidad

La postura técnica acepta la opacidad y la sondea metódicamente. Es el prompt engineer profesional. Saca el máximo rendimiento posible dentro de los márgenes que el sistema concede. Sabe que esos márgenes pueden cambiar mañana sin aviso.

La postura política reconoce que el problema no es de mando individual sino de gobernanza. Plantea, como Bender y otras (FAccT 2021), que la situación exige regulación de transparencia: obligación de publicar el system prompt, los rerankers, las capas de moderación, los criterios de personalización. Esa regulación, hoy, no existe en términos operativos exigibles.

Una cuarta postura — la única que probablemente protege al usuario individual del autoengaño — es la postura del que negocia con un interlocutor opaco. Asumir que no hay mando, sólo interacción. Que cada respuesta es resultado de una negociación cuyos términos no controlas. Que el lenguaje de «control», «orden», «instrucción» mal traduce lo que está ocurriendo, y que el lenguaje correcto es «petición», «sugerencia», «entrada». Llamar input a tu input — no orden — es la única vacuna pequeña que tienes contra la ilusión que el producto vende como interfaz.

Definiciones

System prompt. Instrucción larga que cada producto comercial antepone al mensaje del usuario antes de enviarlo al modelo. Define persona, restricciones, prohibiciones y tono. No publicada normalmente, accesible al fabricante.

Tokenización. Operación de segmentación del texto en unidades subléxicas que el modelo reconoce. No coincide con palabras humanas. Decisión del fabricante, no controlable por el usuario.

Reranker / reescritor de prompts. Capa intermedia que reformula la entrada del usuario antes de pasarla al modelo. Frecuente en productos comerciales para optimizar calidad de output o búsqueda. Introduce interpretación silenciosa de la intención del usuario.

Moderación de entrada y de salida. Filtros que cada producto aplica a lo que el usuario envía y a lo que el modelo produce. Pueden bloquear, reescribir o anotar. Criterios configurados por el fabricante, no publicados en detalle.

Sampling. Procedimiento por el cual el modelo elige la siguiente palabra entre las opciones que su distribución de probabilidad permite. Parámetros como temperatura, top-k y top-p configuran el sampling y los decide el producto, no el usuario.

Interpretabilidad mecánica. Línea de investigación que estudia el funcionamiento interno de los modelos descomponiendo sus circuitos. Avanza la comprensión técnica del modelo; no produce, por sí sola, transparencia del producto comercial al usuario final.

Referencias

Anthropic (2023). Towards Monosemanticity. Decomposing Language Models With Dictionary Learning. Transformer Circuits Thread. Trabajo de referencia en interpretabilidad mecánica de modelos de lenguaje.

Bender, E., Gebru, T., McMillan-Major, A. & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots. FAccT 2021. Llamamiento explícito a la regulación de transparencia sobre los sistemas LLM comerciales.

Crawford, K. (2021). Atlas of AI. Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press. Marco político sobre la asimetría infraestructural entre el usuario y los proveedores de IA comercial.

Marcus, G. & Davis, E. (2019). Rebooting AI. Building Artificial Intelligence We Can Trust. Pantheon. Advertencia temprana sobre la opacidad operativa de los sistemas comerciales y la dificultad de auditarlos sin acceso interno.

Wei, J. et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022. arXiv: 2201.11903. Paper fundacional del prompt engineering como práctica de sondeo del modelo.

También te interesa

En otros sitios

Comentarios0

Todavía no hay comentarios.

Deja un comentario