Limitaciones y buenas prácticas - Helpdesk Conversacional v2

De dónde toma la información el bot para responder

Al utilizar el Helpdesk conversacional (versión con IA), es muy importante entender de donde toma la información para responder el bot.

La IA del bot está entrenada y programada para que únicamente responda sobre la información que le fue cargada: en las bases de conocimiento y -en caso de que aplique- de alguna integración a medida que se haya hecho (Ej: saldo de vacaciones por colaborador).

Entonces: ¿qué respuestas NO responderá el bot?

• Preguntas de conocimiento general (Ej: "¿En qué mes estamos?", "¿Es feriado no laborable mañana?" o "¿Cómo es la formula para calcular la superficie de un círculo?")

• Cualquier pregunta sobre la empresa, cuya información que no fue cargada en la base de conocimiento (Ej: "¿Cómo pido un aumento?")

Te explicamos por qué tomamos esta decisión: para evitar que el bot arroje información incorrecta por error. 

Vamos con un ejemplo para que se entienda: Imaginemos una organización con tiendas de venta al por menor, que abre todos los días incluyendo feriados. Y siendo mañana un feriado, un colaborador le pregunta al bot: 

"¿Mañana es feriado nacional? En ese caso, ¿debemos venir a trabajar?"

Si no estuviera la limitación de solamente responder con información de las bases de conocimiento es posible que el bot le responda: "Es correcto, mañana es feriado, por lo tanto es día no laborable". Donde se da una respuesta, que si bien es correcta técnicamente, puede interpretarse de manera errónea donde el colaborador piense que no debe asistir al trabajo.

Este es simplemente un ejemplo dentro de miles posibles en cada cliente, para ilustrar por qué es necesario -en términos generales- limitar las respuestas de la IA a únicamente la información cargada.

____

Limitaciones de Helpdesk Conversacional

Antes que nada, es importante aclarar que al usar Inteligencia Artificial generativa, estamos usando diferentes modelos de OpenAI (GPT). Y estos modelos no son 100% a prueba de errores.

Es decir, siempre es una posibilidad que el bot responda erróneamente, que no encuentre una información, que no logre interpretar una pregunta de un usuario, o que no logre relacionar temas que el usuario esperaría.

A continuación describimos las limitaciones más frecuentes con las que se encuentran los clientes.

Preguntas genéricas o poco específicas

Cuando las preguntas son demasiado generales o hacen referencia a conceptos que aparecen de forma repetida en los documentos (o no de manera explícita), resultará más difícil para el bot encontrar coincidencias relevantes.

Ejemplo: "necesito ayuda", "cómo solicitar", etc.

Respuestas determinísticas

El bot de I.A. no es "determinístico". Esto significa que el bot no responde a las preguntas con la información EXACTAMENTE como le fue cargada en las bases de conocimiento, sino que toma esa información, la interpreta y genera una respuesta.

Según la pregunta del usuario, el bot de IA podrá responder la pregunta con información parcial, o incluso tomando información de bases de conocimiento diferentes.

• Si estás buscando que la respuesta del bot sea siempre exactamente tal como la escribiste en las bases de conocimiento, entonces tu elección ideal de bot a utilizar es la de un bot con árbol.

• O bien, una buena idea también siempre hacer preguntas en detalle de una temática para obtener más detalles

Listados

2a) Al no ser un bot "determinístico" (como explicamos en un punto anterior), entonces puede que el bot a darte una respuesta que implica un listado

Vamos con un ejemplo: El usuario le dice a Lara "beneficios" esperando un listado con todos los beneficios. Y en la base de conocimiento hay cargados 8 conocimientos distintos que son "beneficios", que están dentro de la "categoría madre" de beneficios, es posible que el bot no liste siempre esos 8 beneficios. A veces podrá listar 7, o incluso si percibe que alguna otra base de conocimiento es un beneficio, puede listar más de 8.

Esto es así, porque la IA interpreta la información y genera respuestas en base a esa interpretación

2b) Cuando un usuario le hace una pregunta, el bot podrá seleccionar como máximo hasta 15 conocimientos diferentes para responder a esa pregunta

Vamos con un ejemplo: Si el usuario le dice a Lara "beneficios", y en la base de conocimiento hay cargados 26 conocimientos distintos que hablan de "beneficios", entonces no utilizará todos ellos para generar una respuesta, solo se mostrarán los 15 que el bot encuentre y considere de mayor relevancia.

Buena práctica: Para resolver los 2 problemas recién mencionados, se suele recomendar armar un nuevo conocimiento que liste los todos los beneficios. Ejemplo:

Ten en cuenta que si usas filtros, debes generar diversos listados y mantenerlos actualizados.

Alucinaciones

Una "alucinación" es un concepto técnico que se utiliza cuando hablamos de Inteligencia Artificial, y refiere cuando una IA inventa información que parece real pero que no es verdadera.

Aunque nuestra tecnología esta optimizada para minimizar y limitar las alucinaciones, y sea difícil que te encuentres con alguna de ellas, ocasionalmente el bot puede incurrir en una alucinación al recurrir a información de conocimiento general, en lugar de limitarse estrictamente a los documentos proporcionados. Esto ocurre con mayor frecuencia en preguntas muy genéricas donde falta precisión para delimitar en cuál base de conocimiento está la respuesta.

Organigrama y estructura de la compañía

Por más que la tecnología esté integrada con la información de los colaboradores, esto no implica que pueda responder a preguntas como por ejemplo estas:

• ¿Quién es mi jefe directo?

• ¿Quien es el líder del departamento comercial?

• ¿En qué área trabaja es David Gonzalez?

En caso de que requieras que el bot pueda responder algunas de estas preguntas, te recomendamos hables con el Customer Success Manager a cargo de tu cuenta.

Complejidad del documento: PDF

En caso de que hayas requerido cargar un documento PDF (disponible solo para el segmento Enterprise): si el documento es muy técnico, tiene gráficos interpretativos o requiere conocimientos específicos para interpretarlo, es probable que no funcione para Helpdesk. 

Buenas prácticas para la carga de bases de conocimiento

Es primordial revisar todas las bases de conocimiento que son cargadas a la plataforma. 

Por favor, lee el siguiente artículo sobre limitaciones en Helpdesk Conversacional.