Materias · 🏛️ Universidad y trabajo
LLMs y usos
Ejercicios resueltos de LLMs y usos paso a paso, con el error que más se comete en cada uno: Tokens y costo de uso de un LLM, Alucinaciones y límites de un modelo de lenguaje y más. Gratis y en español.
Preguntarle al tutor de LLMs y usosSin instalar nada. Puedes probar antes de crear cuenta.
Ejercicios resueltos de LLMs y usos
Resueltos paso a paso, como te los explicaría el tutor, y con el error que más se comete.
Tokens y costo de uso de un LLM
Una empresa de Barranquilla quiere resumir automáticamente 2.000 correos al mes. Cada correo trae unas 1.500 palabras y el resumen debe salir en unas 150. El modelo cobra USD 3 por millón de tokens de entrada y USD 15 por millón de salida, y el dólar está a $4.000. ¿Cuánto cuesta al mes en pesos?
Cómo se resuelve
- 1Los modelos no cobran por palabra sino por token, que son pedazos de palabra. En español la relación ronda 1,5 tokens por palabra (más que en inglés, porque el español tiene palabras más largas y más conjugaciones). Se trabaja con esa aproximación.
- 2Entrada por correo: 1.500 palabras × 1,5 = 2.250 tokens. Al mes: 2.250 × 2.000 = 4.500.000 tokens, o sea 4,5 millones.
- 3Salida por correo: 150 × 1,5 = 225 tokens. Al mes: 225 × 2.000 = 450.000 tokens, o sea 0,45 millones.
- 4Costo de entrada: 4,5 millones × USD 3 por millón = USD 13,50. Costo de salida: 0,45 millones × USD 15 por millón = USD 6,75.
- 5Total: 13,50 + 6,75 = USD 20,25 al mes. En pesos: 20,25 × 4.000 = $81.000.
- 6Vale la pena notar de dónde sale el grueso: la entrada cuesta la quinta parte por token pero son diez veces más tokens, así que termina pesando dos tercios de la factura. En cualquier proyecto con LLM, lo que se manda pesa más que lo que se recibe.
Respuesta: Unos $81.000 al mes (USD 20,25): USD 13,50 de entrada y USD 6,75 de salida.
El error de siempre: Presupuestar solo la salida, porque «es lo que el modelo produce». La entrada es la que se dispara, y sobre todo en un chat: en una conversación se reenvía el historial completo en cada turno, así que el turno 10 paga otra vez los nueve anteriores y el costo crece como el cuadrado del número de turnos, no como el número de turnos. El otro error es contar 1 token = 1 palabra: la factura real llega un 50 % por encima de lo presupuestado, porque en español cada palabra pesa alrededor de 1,5 tokens.
Alucinaciones y límites de un modelo de lenguaje
Un abogado en Bogotá le pide a un LLM tres sentencias de la Corte Constitucional sobre un tema, con su número de sentencia. El modelo entrega tres citas con formato impecable, pero dos no existen. Explica por qué pasa y qué hay que cambiar en el diseño del sistema.
Cómo se resuelve
- 1Un LLM no consulta una base de datos: predice la continuación más probable del texto, token por token. Cuando le piden el número de una sentencia, produce la secuencia que más se parece al número de una sentencia, y eso es exactamente lo que entrega.
- 2Por eso las citas falsas se ven perfectas. El número tiene una forma muy regular —la letra de la sala, un guion, un consecutivo y el año: T-760 de 2008, C-355 de 2006, SU-111 de 1997— y la forma es justo lo que el modelo aprendió bien. Lo que no aprendió es cuál de todas las combinaciones posibles existe de verdad.
- 3Además, los datos puntuales y raros son lo peor que retiene: un modelo recuerda con solidez lo que aparece miles de veces y con mucha fragilidad lo que aparece una o dos. El número de una sentencia concreta es el caso extremo de dato raro. El modelo tampoco tiene una señal interna que distinga «esto lo sé» de «esto lo estoy construyendo», así que suena igual de seguro en los dos casos.
- 4El cambio de diseño es dejar de preguntarle de memoria. Se le pone la fuente delante: se busca en la base oficial, se le entregan los textos encontrados en el contexto y se le pide que responda únicamente con lo que está ahí, citando el fragmento. Eso es RAG, y convierte la tarea de «recordar» en «leer», que es en lo que el modelo sí es bueno.
- 5Y se agrega verificación automática antes de mostrar nada: cada número de sentencia que aparezca en la respuesta se consulta contra la fuente; si no existe, no se muestra. La verificación es un programa, no otra pregunta al modelo.
Respuesta: Pasa porque el modelo genera texto plausible, no consulta registros, y el número de una sentencia es fácil de imitar y difícil de recordar. La solución es recuperar los documentos reales y pasárselos en el contexto (RAG), más una verificación programática de cada cita antes de publicarla.
El error de siempre: Creer que agregar «no inventes, responde solo si estás seguro» resuelve el problema. Baja un poco la frecuencia y sube la de respuestas evasivas, pero el modelo no tiene forma de medir su propia certeza sobre un dato puntual: no puede distinguir un recuerdo de una reconstrucción. Lo único que de verdad corta las citas falsas es que la fuente esté en el contexto y que un programa verifique la cita contra el original.
¿Y si tu ejercicio no es ninguno de estos?
No hace falta buscar el ejercicio exacto en internet. Trae el tuyo, o pide los que te falten.
Todo esto es gratis y sin instalar nada. Puedes probar antes de crear cuenta.
Lo que cubre
- Tokens y costo de uso de un LLM
- Alucinaciones y límites de un modelo de lenguaje
Preguntas que le puedes hacer
- Tokens y costo de uso…Explícame «Tokens y costo de uso de un LLM» con un ejemplo práctico y dime en qué suele equivocarse la gente.
- Alucinaciones y límit…Explícame «Alucinaciones y límites de un modelo de lenguaje» con un ejemplo práctico y dime en qué suele equivocarse la gente.
Cómo enseña este tutor
Es riguroso y completo: justifica cada paso y nombra el teorema, la norma o la buena práctica que está aplicando, para que puedas citarla en tu trabajo o en el parcial.
- · Te muestra el camino completo, no solo el resultado.
- · Si algo no te cuadra, te lo explica otra vez de otra manera.
- · Con una foto de tu cuaderno te dice dónde está el error.
- · Te arma quizzes de lo que acabas de ver para saber si de verdad quedó.
Otras materias de Universidad y trabajo
