Limitaciones del modelo - Helpdesk Conversacional

De dónde toma la información el bot para responder

Al utilizar el módulo de Helpdesk conversacional (versión con IA), es muy importante entender de dónde toma el bot la información para responder.

La IA del bot está entrenada y programada para que únicamente responda sobre la información que le fue cargada: en las bases de conocimiento y -en caso de que aplique- de alguna integración a medida que se haya hecho (Ej: saldo de vacaciones por colaborador).

Entonces: ¿qué respuestas NO responderá el bot?

• Preguntas de conocimiento general (Ej: "¿En qué mes estamos?", "¿Es feriado no laborable mañana?" o "¿Cómo es la formula para calcular la superficie de un círculo?")

• Cualquier pregunta sobre la empresa, cuya información no fue cargada en la base de conocimiento (Ej: "¿Cómo pido un aumento?")

Esto funciona así para evitar que el bot arroje información incorrecta por error. 

Por ejemplo, imaginemos una organización con tiendas de venta al por menor que abre todos los días incluyendo feriados. Y siendo mañana un feriado, un colaborador le pregunta al bot: "¿Mañana es feriado nacional? En ese caso, ¿debemos venir a trabajar?"

Si no estuviera la limitación de solamente responder con información de las bases de conocimiento es posible que el bot le responda: "Es correcto, mañana es feriado, por lo tanto es día no laborable". Donde se da una respuesta, que si bien es correcta técnicamente, puede interpretarse de manera errónea donde el colaborador piense que no debe asistir al trabajo.

Limitaciones de Helpdesk Conversacional

Antes que nada, es importante aclarar que al usar Inteligencia Artificial generativa, estamos usando diferentes modelos de OpenAI (GPT). Y estos modelos no son 100% a prueba de errores.

Es decir, siempre es una posibilidad que el bot responda erróneamente, que no encuentre una información, que no logre interpretar una pregunta de un usuario, o que no logre relacionar temas que el usuario esperaría.

A continuación describimos las limitaciones más frecuentes con las que se encuentran los clientes.

Preguntas genéricas o poco específicas

Cuando las preguntas son demasiado generales o hacen referencia a conceptos que aparecen de forma repetida en los documentos (o no de manera explícita), resultará más difícil para el bot encontrar coincidencias relevantes.

Ejemplo: "necesito ayuda".

Respuestas determinísticas

El bot de I.A. no es "determinístico". Esto significa que el bot no responde a las preguntas con la información EXACTAMENTE como le fue cargada en las bases de conocimiento, sino que toma esa información, la interpreta y genera una respuesta.

Según la pregunta del usuario, el bot de IA podrá responder la pregunta con información parcial, o incluso tomando información de bases de conocimiento diferentes.

Si estás buscando que la respuesta del bot sea siempre exactamente tal como la escribiste en las bases de conocimiento, entonces tu elección ideal de bot a utilizar es la de un bot con árbol.

Listados

Al no ser un bot "determinístico" (como explicamos en un punto anterior), a veces puede generar respuestas que incluyan listados.

Por ejemplo: El usuario le dice a Lara "beneficios" esperando un listado con todos los beneficios. Aunque en la base de conocimiento haya 8 artículos o documentos distintos que son "beneficios", es posible que el bot no liste siempre esos 8 beneficios. A veces podrá listar 7, o incluso si percibe que alguna otra base de conocimiento es un beneficio, puede listar más de 8. Esto es así porque la IA interpreta la información y genera respuestas en base a esa interpretación.

Límite de conocimientos por respuesta

Cuando un usuario le hace una pregunta, el bot podrá seleccionar como máximo hasta 15 conocimientos diferentes para responder a esa pregunta.

Vamos con un ejemplo: Si el usuario le dice a Lara "beneficios", y en la base de conocimiento hay 26 conocimientos distintos que hablan de "beneficios", entonces no utilizará todos ellos para generar una respuesta, solo se mostrarán los 15 que el bot encuentre y considere de mayor relevancia.

Buena práctica: Para resolver los últimos 2 problemas recién mencionados (listados y límites de conocimientos), se recomienda incluir un nuevo artículo que liste los todos los beneficios. Ejemplo:

Ten en cuenta que si usas filtros, debes generar diversos listados y mantenerlos actualizados.

Alucinaciones

Una "alucinación" es un concepto técnico que se utiliza cuando hablamos de Inteligencia Artificial, y refiere cuando una IA inventa información que parece real pero que no es verdadera.

Aunque nuestra tecnología esta optimizada para minimizar y limitar las alucinaciones, y sea difícil que te encuentres con alguna de ellas, ocasionalmente el bot puede incurrir en una alucinación al recurrir a información de conocimiento general, en lugar de limitarse estrictamente a los documentos proporcionados. Esto ocurre con mayor frecuencia en preguntas muy genéricas donde falta precisión para delimitar en cuál base de conocimiento está la respuesta.

Organigrama y estructura de la compañía

Por más que la tecnología esté integrada con la información de los colaboradores, esto no implica que pueda responder a preguntas como por ejemplo estas:

• ¿Quién es mi jefe directo?

• ¿Quien es el líder del departamento comercial?

• ¿En qué área trabaja es David Gonzalez?

En caso de que requieras que el bot pueda responder algunas de estas preguntas, te recomendamos que te comuniques con tu focal point (equipo de Implementaciones, Soporte o tu Customer Success Manager) en Lara AI actualmente.

Complejidad del documento: PDF

En caso de que hayas requerido cargar un documento PDF (disponible solo para el segmento Enterprise): si el documento es muy técnico, tiene gráficos interpretativos o requiere conocimientos específicos para interpretarlo, es probable que no funcione para Helpdesk. 

Ante cualquier duda o inconveniente, por favor contactate con soporte@lara.ai.