Cómo se elaboró una política de IA antes de que la tecnología superara la gobernanza
La inteligencia artificial ha ingresado a las operaciones de los departamentos de bomberos locales y está superando nuestras políticas de manera que puede representar un riesgo para cualquier agencia. En respuesta, se buscó desarrollar una política de uso de IA antes de que el uso superara la gobernanza.
Poniéndose al día
A menudo, somos lentos para adoptar, entender o aceptar tecnologías emergentes. Sin embargo, a medida que la plataforma ChatGPT entró en su cuarto año de disponibilidad pública, se hizo cada vez más evidente que nuestra hesitación en el desarrollo de políticas podría poner a nuestra agencia en riesgo. Lo que comenzó como miembros que buscaban independientemente formas de integrar la IA en sus vidas laborales rápidamente se convirtió en un área de preocupación organizacional cuando se supo que algunas personas estaban utilizando el software para ayudarles a redactar narrativas de informes de incendios y médicos.
Los bomberos no consideran que la parte administrativa de la profesión sea la más gratificante. Por lo tanto, parece obvio, en retrospectiva, que habría una evolución natural en el uso de este software para acortar el tiempo y los errores en esos aspectos del trabajo. Pero la falta de una forma de gestionar, controlar o proporcionar expectativas era una brecha administrativa que necesitaba ser abordada rápidamente.
El mayor desafío administrativo fue crear un documento de gobernanza que fuera aplicable a todos los departamentos del municipio, lo suficientemente flexible como para evolucionar sin necesidad de constantes actualizaciones, y que aún proporcionara una dirección clara para los empleados. Se involucró de inmediato al departamento de TI para ayudar a redactar una política que tuviera la oportunidad de que cada departamento incorporara necesidades específicas.
Construyendo nuestra política
Una vez que se tomó la decisión de que la organización gestionaría el uso de chatbots de IA, fue necesario proporcionar los recursos requeridos a los miembros. Se centró en la plataforma ChatGPT y se exigió el uso de una suscripción comercial de pago, ya que ChatGPT no utiliza nada de las membresías de pago en el entrenamiento de futuros modelos.
La política también establece claramente que la información de identificación personal (PII) o la información de salud protegida (PHI) está estrictamente prohibida en el chatbot. Es importante considerar cómo ingresar información que puede parecer inocente puede convertirse en PII. Por ejemplo, se tuvo que determinar si los miembros podían ingresar direcciones, información básica de llamadas y resultados de incidentes, especialmente si eventualmente podrían conectarse de manera que señale a un individuo específico. Nuestro proveedor actual de RMS tiene integraciones de escritura de informes de IA que los miembros pueden usar, pero no pueden utilizar chatbots no nativos para ayudar con la redacción de informes de incidentes o pacientes.
Entendiendo que la IA se está integrando en casi todo el software, también era importante no restringir nuestros procesos de una manera poco realista. Por lo tanto, la política del municipio incluye un lenguaje que permite automáticamente el uso de IA que se ha integrado internamente en sistemas de software previamente aprobados, así como la aceptación de integraciones ampliamente utilizadas como Google.
De forma intencionada, nuestra política sugiere —pero no define completamente— situaciones donde se puede utilizar un chatbot. Simplemente no hay forma de capturar todos los casos de uso, pero se permite en lugares como la redacción de subvenciones, evaluaciones de personal, gestión de proyectos, análisis de datos y comunicaciones diarias. Otra herramienta útil es conectar el chatbot a una carpeta compartida que contenga todos los SOG, directivas y memorandos, lo que permite a los usuarios realizar búsquedas conversacionales de todos los documentos al mismo tiempo.
Por último, la política enfatiza que el producto final es responsabilidad del usuario. Debido a que la mayoría de los chatbots utilizan modelado predictivo, pueden tener la capacidad de proporcionar información inexacta. Cualquier producto de chatbot debe ser revisado minuciosamente por el empleado, incluyendo asegurarse de que la información fuente sea válida.
Tomar acción temprana
A medida que nuestro departamento adopta esta tecnología, hemos visto los beneficios de eficiencia y comunicación de la IA, pero también ha habido una curva de aprendizaje que esperamos continúe en el futuro. Hay algunos consejos simples para ayudar a los usuarios a minimizar esa curva, incluyendo tomar los cursos introductorios gratuitos a través de la empresa de chatbots y completar la configuración de personalización en el sistema.
A medida que la IA continúa evolucionando, los departamentos de bomberos que participen en un desarrollo de políticas temprano, colaborativo y abierto estarán mejor posicionados para guiar su uso de maneras que protejan tanto al personal de la agencia como a las organizaciones a las que sirven. No es un ejercicio técnico, sino una responsabilidad de liderazgo donde el departamento de bomberos debe desempeñar un papel activo.
