Privacidad, parcialidad y el factor humano

Esta página describe un marco de diseño: los principios y las restricciones según los cuales se está desarrollando el sistema de gestión de datos (Digital Twin). No se trata de una descripción del sistema de producción y no debe interpretarse como tal. Si necesita saber qué está en funcionamiento en la actualidad -dónde se almacenan los datos, quién puede acceder a ellos, qué establecen los contratos-, esa es la página de seguridad, y es la única página que consideramos la fuente fidedigna sobre el estado actual. La clave está en mantener ambas cosas diferenciadas: un principio de diseño y un control implementado son cosas distintas, y al confundirlos es como los proveedores acaban prometiendo una infraestructura que no tienen.

Hay dos cuestiones que se plantean antes que cualquier otra en esta página: si los datos de los clientes se utilizan para entrenar modelos y dónde se almacenan realmente dichos datos. Ambas preguntas se responden en la página de seguridad, y hemos optado deliberadamente por no repetir las respuestas aquí. Un compromiso redactado en dos lugares, en cuatro idiomas, es un compromiso que, a la larga, acabará diciendo dos cosas diferentes; por lo tanto, hay una página que las recoge y otra que se actualiza cuando se producen cambios. El marco que aquí se describe se refiere al funcionamiento previsto de la evaluación. No sustituye a la documentación técnica y contractual, y en caso de discrepancia entre ambas, prevalece la página de seguridad.

Cada uno de esos sesgos se contrarresta de la misma manera: la evaluación se basa en lo que se ha dicho, no en cómo ha sonado ni en quién parecía estar diciéndolo. Se indica al motor que ignore los nombres, los pronombres y los indicadores demográficos si se mencionan, y que pase por alto los errores gramaticales, las vacilaciones y los modismos para centrarse en la intención subyacente. Esa es la solución de diseño frente a los sesgos relacionados con la elocuencia y los estereotipos. En lo que respecta a las interpretaciones erróneas, la norma es más estricta. Una valoración debe citar las palabras exactas de la transcripción que la justifiquen. Si la cita no figura allí, la evaluación se rechaza en lugar de presentarse: una afirmación sobre el comportamiento de alguien que no se sustente en un momento citable no es un hallazgo, sino una suposición con buena gramática. Nada de esto elimina el sesgo. Lo que hace es eliminar las vías más fáciles que conducen a él y hacer visibles las restantes; por eso el estudio de validación se lleva a cabo comparándolo con evaluadores humanos, en lugar de con nuestras propias expectativas.

Un modelo de evaluación, si no se supervisa, se desvía. Los criterios se relajan, un mismo comportamiento obtiene puntuaciones diferentes en marzo respecto a las de enero, y nadie se da cuenta porque no hay un punto de referencia con el que compararlo. El marco responde a esto mediante una supervisión con intervención humana: evaluadores de comportamiento cualificados revisan, de forma ciega, muestras anonimizadas de transcripciones y comparan sus valoraciones con las generadas por el sistema. Cuando hay discrepancias, se recalibran los criterios. Se trata de la misma comparación que constituye el núcleo del estudio de validación, el cual se lleva a cabo como un control continuo y no como una acción puntual. Un alumno también puede solicitar una revisión humana de los comentarios con los que no esté de acuerdo. Los comentarios automatizados que no pueden cuestionarse no son comentarios, sino un veredicto, y este sistema no está diseñado para emitir veredictos.