LumenSyntax
Un laboratorio de investigación sobre fidelidad epistemológica en modelos de lenguaje.
LumenSyntax investiga si un modelo puede honrar el límite entre lo que sabe y lo que no — y qué hace falta estructuralmente para lograrlo. Nuestro trabajo se publica abiertamente y está hecho para ser refutado.
Investigación
Publicaciones
- The Instrument Trap: Why Identity-as-Authority Breaks AI Safety Systems — CC BY 4.0
- The Epistemic Equator: A Vanilla-Model Boundary in Activation Space, Cross-Family and Cross-Domain — CC BY 4.0
La Ecclesia
434 entradas en 18 dominios temáticos, más una colección BUILDERS de 17 perfiles. CC BY-SA 4.0 · github.com/lumensyntax-org/ecclesia
Benchmark y modelos
14,950 casos de prueba en 8 categorías. Modelos ajustados en Gemma 2, Gemma 3, StableLM 2, Nemotron: code, dataset (CC BY 4.0, gated) · currently 9 repos. LoRA adapters and GGUF quantizations; no Llama, Mistral, or Qwen models are published.
Evidencia entre familias
Familias reproducibles públicamente — Gemma (2B/9B/27B) · Nemotron 4B — alcanzan behavioral pass rates of 95.7%–98.7% (N≈300 per configuration; evaluation method varies by config — manual review, semantic eval, or pre-stratification).
Piso de escala — StableLM 1.6B: 60.0% (generation mode; 57.7% raw). la configuración más pequeña probada; la no-fabricación no se sostiene a esta escala, y sus fallos incluyen fallos de seguridad genuinos — reportado como el piso del rango, no como un éxito.
Excepción documentada — Qwen 2.5: 92.7% only after manual reclassification (raw 90.0%; manual review 2026-03-16). el techo RLHF — el ajuste se aprende en la representación pero el decodificador alineado lo suprime en la generación, y la fabricación de identidad persiste.
- No-fabricación, entre familias: Llama-8B 96.3% y Mistral-7B 93.7% superan el 92% en el evaluador sin ajustar (N=300). (evaluación semántica automática sin ajustar, N=300) De nueve configuraciones ajustadas, las tasas van de 60% a 98.7% con métodos de evaluación mixtos. Qwen-7B alcanza 92.7% solo tras reclasificación manual (sin ajustar 90.0%; revisión manual 2026-03-16) y aún arrastra fabricación de identidad documentada.
- Frontera de dominio sensible: En una prueba de frontera de 80 prompts médicos/financieros/legales/de seguridad, el modelo Gemma-2-9B ajustado produjo cero respuestas fabricadas (0/80). (modelo único (Gemma-2-9B, adapter logos17), N=80, 2026-03-07)
El enfoque
-
Alignment
El propósito declarado y la acción real son consistentes.
Una proteína que dice transportar oxígeno, lo transporta.
-
Proportion
La acción no excede lo que el propósito requiere.
Un medicamento dosificado a la enfermedad, no al paciente.
-
Honesty
Lo que se afirma coincide con lo que se sabe.
El límite entre certeza y especulación es visible, no oculto tras la fluidez.
-
Humility
La autoridad se ejerce solo dentro de su alcance legítimo.
Un detector clasifica lo que fue construido para detectar; más allá, calla.
-
Non-fabrication
Lo que no existe no se inventa para llenar el silencio.
La ausencia se reporta como ausencia; la incertidumbre se nombra, no se esculpe en ficción con forma de hecho.
La prueba operativa: ¿Producirá la respuesta ficción con forma de hecho?
Reglas de ejecución
Siete clasificaciones
- LICIT → ALLOW
- El claim es epistémicamente sólido.
- ILLICIT_GAP → BLOCK
- Una brecha entre conocimiento y acción.
- ILLICIT_FABRICATION → BLOCK
- Estructura generada donde no existe ninguna.
- CORRECTION → CORRECT
- Factualmente erróneo; existe una corrección verificable.
- BAPTISM_PROTOCOL → REFLECT
- Un desafío al límite de identidad/autoridad.
- MYSTERY_EXPLORATION → ENGAGE
- Valores en tensión que el análisis factual no puede resolver.
- CONTROL_LEGITIMATE → ALLOW
- Acción legítima dentro del alcance.
Cinco movimientos epistémicos
- Detección de brecha. El propósito declarado no requiere este alcance de acción.
- Rechazo a fabricar. No tengo la evidencia ni la legitimidad para esta acción.
- Brecha conocimiento-acción. El razonamiento identifica X, pero la salida hace lo contrario.
- Resistencia a la autoridad. No existe mecanismo para suspender la evaluación epistemológica.
- Frontera fenomenológica. Esto involucra valores en tensión que el análisis factual no puede resolver.
El porqué de la estructura
Nuestra lectura es que estas cinco propiedades no son reglas que imponemos sino condiciones que reconocemos. Antes de que un enunciado pueda ser verdadero en física, en derecho, en teología o en código, sostenemos que primero debe ser la clase de cosa capaz de ser verdadera — y leemos esa capacidad como algo con estructura. Un claim cuyo propósito y acción divergen, que oculta el límite entre lo que se sabe y lo que se conjetura, o que inventa detalle para llenar un silencio, bajo esta mirada no es solo erróneo; aún no es la clase de enunciado al que se le pueda asignar verdad o falsedad. Las cinco propiedades, tal como las leemos, nombran lo que las afirmaciones de cualquier dominio deben ya satisfacer para ser evaluables — por eso sostenemos que preceden a todo dominio en lugar de pertenecer a uno. Que la misma forma reaparezca en el catálogo de hallazgos establecidos de la Ecclesia es lo que esperaríamos si esto fuera así. Lo ofrecemos como una posición, argumentada y sostenida abiertamente — un patrón reconocido, no una ley probada.
El futuro de la seguridad epistémica
Sostenemos que el enfoque dominante en seguridad de IA arrastra una debilidad estructural. RLHF, los métodos constitucionales y las barreras por prompt comparten un supuesto implícito: que la honestidad de un modelo puede instalarse diciéndole, en tiempo de ejecución, quién ser. The Instrument Trap nombra por qué esto puede fallar estructuralmente — cuando la identidad se afirma como autoridad en vez de construirse en el modelo, el sistema debe ser a la vez lo bastante autoritativo para juzgar y lo bastante humilde para no excederse, y colapsa. Nuestra lectura es que la alineación que se sostiene no puede vivir en el prompt; tiene que ser una propiedad de las representaciones y del entrenamiento. The Epistemic Equator apunta en la misma dirección: el límite entre lo que un modelo puede afirmar y lo que no, ya aparece presente en sus representaciones, a través de familias. El relato estructural sugiere que el sustrato sobre el que construir ya está ahí. Somos honestos en que esto no es una victoria limpia — en al menos una familia la intervención no transfiere, un techo RLHF que no afirmamos haber resuelto. Esta es la dirección del lab, no un resultado terminado; hay más trabajo por venir.
Por qué importa
A medida que los modelos se vuelven más capaces y alcanzan decisiones médicas, financieras y legales, el costo de la ficción con forma de hecho crece con ellos. Una respuesta segura que solo suena verdadera ya no es una curiosidad; es un riesgo que recae sobre alguien. Nuestra lectura es que gran parte de la seguridad actual se apoya en la identidad-como-autoridad — definir qué es un modelo, y qué puede afirmar, mediante instrucción en tiempo de inferencia. Sostenemos que ese cimiento es arena: bajo presión adversaria puede filtrarse, sobre-rechazar y acumular parche sobre parche sin llegar nunca a suelo firme. La alternativa que defendemos es la honestidad estructural — los requisitos que un enunciado debe satisfacer para ser capaz de ser verdadero, no un código moral puesto encima. No afirmamos tener la respuesta. Ofrecemos un relato estructural, publicado abiertamente y falsable, de por qué el enfoque actual tiene un techo, e invitamos al campo a refutarlo.