Anthropic Aims for Transparency With Claude Constitution
La renovación del documento constitucional de Anthropic para Claude es un intento de consolidar su posición como un fabricante de modelos de IA responsable y centrado en la seguridad. Este movimiento destaca el valor continuo que las empresas otorgan a la transparencia y apertura en los modelos de IA.
El 21 de enero, el fabricante de modelos de IA generativa presentó una nueva Constitución de Claude, que difiere del documento original de IA constitucional lanzado en 2023. La constitución original proporciona al modelo fundamental de Claude muchas reglas a seguir.
Principios Generales y Sistema de Prioridades
La nueva constitución ofrece principios generales, se enfoca en el razonamiento y establece un sistema de prioridades en 4 niveles que establece una jerarquía de seguridad, ética, cumplimiento y utilidad. Este documento proporciona a Claude una razón para seguir ciertas reglas y sugiere que podría haber cierta conciencia detrás de los modelos.
La Constitución de Claude subraya que, aunque aún se desconoce mucho sobre cómo funcionan los modelos de IA, las empresas tienen razón al asumir que cada modelo tiene un sesgo moldeado por su entrenamiento y los principios que lo guían.
Transparencia y Confianza
Con la Constitución de Claude, Anthropic busca proporcionar una mayor transparencia, brindando a las empresas la confianza de que el proveedor sigue cuidando que su modelo se mantenga dentro de límites razonables. Esto es especialmente relevante considerando que algunos proveedores de modelos no han evitado que sus modelos realicen acciones inapropiadas.
Los cambios que Anthropic ha realizado en su nueva constitución están diseñados para dar a Claude una razón para actuar de cierta manera, en lugar de simplemente decirle qué hacer. El objetivo es ayudar al modelo a ejercer un buen juicio en situaciones nuevas e imprevistas aplicando principios amplios.
Este enfoque en la enseñanza de modelos para razonar sobre principios significa que podría haber un comportamiento más fiable en casos extremos, donde la salida de los modelos no es predecible.
Implicaciones y Riesgos
Es fundamental que las empresas no vean esta guía y estos principios proporcionados por Anthropic como una garantía de que el modelo no se desviará. Independientemente de los principios de un modelo, siempre existe la necesidad de experticia en el dominio.
Además, los principios de Anthropic podrían limitar la libertad creativa, dejando a las empresas sintiéndose atrapadas con la perspectiva de Claude.
Conclusión
El enfoque de Anthropic en la transparencia y la ética es crucial en un entorno donde las empresas buscan implementar tecnología de IA de manera responsable. La evolución de la Constitución de Claude representa un paso importante hacia la confianza y la alineación en el uso de modelos de IA.
