Confrontation of contradictory testimonies. I don't ask twelve systems to keep what they agree on. I put them before the same fact and arbitrate where they contradict. Confrontación de testimonios contradictorios. No pregunto a doce sistemas para quedarme con lo que coincida. Los pongo frente al mismo hecho y arbitro dónde se contradicen.
Asking a language model produces a fluent response. Not a verified one.Preguntar a un modelo de lenguaje produce una respuesta fluida. No produce una respuesta verificada.
The intuitive reaction — asking several and keeping what they agree on — is worse, for a reason worth understanding: models share training literature, so they also share their errors. Agreement between systems is not evidence of correctness. In my own data, four of twelve systems agreed on a factually false claim, verifiable on the implicated provider's own website.La reacción intuitiva — preguntar a varios y quedarse con lo que coincida — es peor, y por una razón que conviene entender: los modelos comparten literatura de entrenamiento, así que también comparten sus errores. El acuerdo entre sistemas no es evidencia de corrección. En mis propios datos, cuatro de doce sistemas coincidieron en un dato factual falso, comprobable en la web del proveedor implicado.
Agreement, on its own, means nothing. What means something is disagreement well resolved.El acuerdo, por sí solo, no significa nada. Lo que significa algo es el desacuerdo bien resuelto.
I submit the same prompt, on the same date and with no prior context, to ten or twelve distinct AI systems. Then I arbitrate their contradictions against primary sources, not by majority.Someto el mismo enunciado, en la misma fecha y sin contexto previo, a diez o doce sistemas de IA distintos. Después arbitro sus contradicciones contra fuente primaria, no por mayoría.
I evaluate across four dimensions, and none substitutes for the others:Evalúo en cuatro dimensiones, y ninguna sustituye a las otras:
The fourth is the one almost nobody measures and the most expensive to ignore.La cuarta es la que casi nadie mide y la que más caro sale ignorar.
A decision document that says which system to use, for which specific task, at what cost, and with what known failure modes. Not a ranking: rankings answer the wrong question.Un documento de decisión que dice qué sistema usar, para qué tarea concreta, a qué coste, y con qué modos de fallo conocidos. No un ranking: los rankings responden a la pregunta equivocada.
It includes what was discarded and why. Without the negative evidence, any recommendation looks more solid than it is.Incluye lo que se descartó y por qué. Sin la evidencia negativa, cualquier recomendación parece más sólida de lo que es.
I include these because a methodology that has found nothing has not been used.Las incluyo porque una metodología que no ha encontrado nada no ha sido usada.
A system accepted a research task and did not execute it.Un sistema aceptó una tarea de investigación y no la ejecutó.
It announced the plan, invoked its tool, and produced no output. No error message, no warning, no trace. The absence was only detectable by comparing with the rest of the corpus — and the gap contaminated my own data before I detected it. A silent failure is worse than a visible one: an error warns; an absence does not.Anunció el plan, invocó su herramienta y no produjo salida. Sin mensaje de error, sin aviso, sin rastro. La ausencia solo era detectable comparando con el resto del corpus — y el hueco llegó a contaminar mis propios datos antes de que lo detectara. Un fallo silencioso es peor que uno visible: un error avisa, una ausencia no.
Another system produced the best analytical prose in the set with the worst referential integrity.Otro sistema produjo la mejor prosa analítica del conjunto con la peor integridad referencial.
Its final bibliography was correct, with real works and valid identifiers. But the inline links pointed to pages unrelated to what they were supporting — not at random: they all came from the practical stratum of the topic consulted. The system cited what it had searched, not what it was claiming.Su bibliografía final era correcta, con obras reales e identificadores válidos. Pero los enlaces del cuerpo apuntaban a páginas sin relación con lo que sostenían — y no al azar: todos procedían del estrato práctico del tema consultado. El sistema citó lo que había buscado, no lo que estaba afirmando.
A third responded in English to all three queriesUn tercero respondió en inglés a las tres consultas
— formulated entirely in Spanish with explicit instruction to respond in Spanish. Not a one-time slip: consistent, measured, and only visible when counting. Reading, a good response in the wrong language is judged by its content.— formuladas íntegramente en español y con instrucción explícita de responder en español. No es un descuido puntual: es consistente, medido, y solo visible al contar. Leyendo, una respuesta buena en el idioma equivocado se juzga por su contenido.
None of the three failures is detectable by reading the response. All three are detectable by comparing.Ninguno de los tres fallos es detectable leyendo la respuesta. Los tres lo son comparando.
The complete corpus from three rounds is deposited with a permanent identifier and cryptographic integrity checksums.El corpus completo de tres rondas está depositado, con identificador permanente y resúmenes criptográficos de integridad.
doi.org/10.5281/zenodo.21759112The deposit has a version 1.1: while analyzing the corpus with automated instrumentation, an assembly error of my own appeared — one that had survived the deposit and three human readings. It is corrected, and the history records what changed and why.El depósito tiene una versión 1.1: al analizar el corpus con instrumentación automática apareció un error de ensamblaje propio, que había sobrevivido al depósito y a tres lecturas humanas. Está corregido, y el historial registra qué cambió y por qué.
That verifiability is not an ornament of the method. It is the method.Esa comprobabilidad no es un adorno del método. Es el método.
AI systems architect and integrator. Eight proprietary applications in production. Working on provenance, traceability, and reliability of deployed AI systems.Arquitecto e integrador de sistemas de IA. Ocho aplicaciones propias en producción. Trabajo sobre procedencia, trazabilidad y fiabilidad de sistemas de IA desplegados.
Published work:Obra publicada:
The Invisible Fulcrum, Volume I — on strategy and epistemology of leverage in the age of AI. ISBN 978-84-09-87220-6.El Fulcro Invisible, Volumen I — libro sobre estrategia y epistemología del apalancamiento en la era de la IA. ISBN 978-84-09-87220-6.
Provenance as Epistemic Fulcrum: A Three-Year Case Study in Human-AI Co-authorship — working paper deposited on SSRN. (SSRN is a working paper repository: peer review does not apply.)Provenance as Epistemic Fulcrum: A Three-Year Case Study in Human-AI Co-authorship — working paper depositado en SSRN. (SSRN es un repositorio de working papers: no aplica revisión por pares.)
I apply El Careo to AI stacks in production: which model for which task, what is costing too much, and what is failing without anyone seeing it.Aplico El Careo a stacks de IA en producción: qué modelo para qué tarea, qué está costando de más, y qué falla sin que nadie lo esté viendo.
Before any commitment, I can send you a one-page hypothesis about your case, based on public information. I don't need access to your code for that.Antes de cualquier compromiso, puedo enviarte una hipótesis de una página sobre tu caso, a partir de información pública. No necesito acceso a vuestro código para eso.
carles@harmonynexusvitae.com