Podlodka #433 – Как оцениваются LLM

Когда-то для оценки AI мы использовали только тест Тьюринга – человек общался с собеседником через чат, а потом пытался определить, кожаным или кремниевым был его собеседник. Сегодня мы видим, что оценка качества работы LLM – гораздо более сложная задача. Вместе с Пашей Чижовым из PleIAs мы закопались в то, как вообще сегодня оценивается AI, и обсудили все виды бенчмарков, арен, метрик, их врожденные недостатки, а заодно и как быть, когда по капоту вашего КАМАЗа ползет черт.

Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: t.me/podlodka
Telegram-канал: t.me/podlodkanews
Страница в Facebook: www.facebook.com/podlodkacast/
Twitter-аккаунт: twitter.com/PodcastPodlodka

Ведущие в выпуске:
Евгений Кателла, Егор Толстой

Полезные ссылки:

Бенчмарки
huggingface.co/datasets/cais/mmlu
huggingface.co/datasets/MMMU/MMMU
huggingface.co/datasets/allenai/ai2_arc
huggingface.co/datasets/Rowan/hellaswag
huggingface.co/datasets/allenai/winogrande
huggingface.co/datasets/Idavidrein/gpqa
lastexam.ai
swebench.com
arcprize.org/arc-agi
github.com/t3dotgg/SnitchBench

Арена
lmarena.ai

Фреймворк для эвалов
github.com/EleutherAI/lm-evaluation-harness

Бумаги
arxiv.org/abs/2504.07825
arxiv.org/abs/2311.12022
arxiv.org/abs/2406.12045

Тех репорты с таблицами
anthropic.com/news/claude-4
ai.meta.com/blog/llama-4-multimodal-intelligence
blog.google/technology/google-deepmind/gemini-…
openai.com/index/introducing-o3-and-o4-mini