# Invisible Progress: How Data-Driven Learning Makes Growth Visible

> Why one-size-fits-all textbooks work for no one, and how a student's own lessons become the data that shows real progress

- URL: https://jazion.online/blog/2026-06-12_ddl_invisible_progress
- Author: Sergey Arkhipov (https://jazion.online/blog/author/sergey-arkhipov)
- Published: 2026-06-12
- Updated: 2026-06-12
- Languages: English and Russian, both below

---
# Invisible Progress: How Data-Driven Learning Makes Growth Visible

*...and why one-size-fits-all textbooks work for no one*

![Murzik the cartographer over a lexical landscape](https://jazion.online/assets/post-01-hero1-rs2OxgiU.png)

**TL;DR**: In data-driven learning students learn from real language data, and vocabulary is where it helps most. We build the Lexical Landscape map from transcripts of the student's own lessons. Inside: a guide to the map and a prompt to try it without any platform.

---

In 1991, Tim Johns of the University of Birmingham [proposed turning the lesson upside down](https://corpus.bfsu.edu.cn/Tim_Johns_From_printout_to_handout.pdf). Instead of giving the learner a rule, give them data, real samples of living language, and let them discover the pattern on their own. Johns called it **data-driven learning (DDL)** and dreamed of every learner becoming a Sherlock Holmes. Sherlock had it harder, though: no transcripts, he had to work from cigar ash.

Behind the idea is a simple observation. A textbook is written for the average learner, and the average learner is a statistical abstraction. Real-life Andrey has a passive vocabulary packed with IT terms while being stuck on everyday verbs, and his groupmate is the exact opposite. Confucius called this 因材施教 (yīn cái shī jiào), "teach according to the student's material", two and a half thousand years ago. DDL is the first engineering way to do it systematically: everyone's data is their own.

So why hasn't DDL reached the regular classroom in thirty years? The [systematic review by Pérez-Paredes (2022)](https://www.tandfonline.com/doi/full/10.1080/09588221.2019.1667832) gives a prosaic answer: only 4.2% of computer-assisted language learning research deals with DDL, and classrooms barely saw it, because concordancers, the special search tools that show a word in all its contexts across a corpus, were built by linguists for linguists, and the entry barrier scared everyone else away. Recent studies record a turning point: when AI takes over as the interface to the data, the learning gains stay the same while the friction disappears ([Sun & Mizumoto, 2025](https://onlinelibrary.wiley.com/doi/10.1111/ijal.70063)). In [our previous post](https://jazion.online/blog/2026-05-17_welcome_message) we covered a study where AI paired with a live teacher proved 18 times more effective than AI on its own. DDL is exactly such a pairing, and its effect has been measured for thirty years.

How do corpora, AI and the live teacher coexist then? [Mizumoto (2023)](https://doi.org/10.1016/j.acorp.2023.100074) offers a frame for this, **Metacognitive Resource Use**: dictionaries, corpus tools and neural networks form one ecosystem of the learner's resources, and choosing which resource to consult, and when, is itself part of learning.

![The Metacognitive Resource Use framework](https://jazion.online/assets/post-01_mru_framework-DqYnXWjj.jpg)
*The Metacognitive Resource Use framework. From Mizumoto (2023), Applied Corpus Linguistics; reproduced with the author's kind permission*

Incidentally, Metacognition has captured me these past couple of months from another angle as well: the skills of language models themselves ([I wrote about it on LinkedIn](https://www.linkedin.com/pulse/llm-influencing-communication-skills-sergey-arkhipov-vvpdf)) and how to grow the intelligence of agentic systems. I very much want to write a separate note about it.

## What the measurements say

The word "works" is easy to say, so let's look at the measurements: meta-analyses that aggregate dozens of primary experiments.

![Effect sizes from three DDL meta-analyses](https://jazion.online/assets/post-01_chart_evidence-BHeZ1lBO.svg)
*Effect sizes from three DDL meta-analyses. Built by Jazion from the published data*

Look at the top dot. Vocabulary, d = 2.93. On the scale accepted in second-language research ([Plonsky & Oswald, 2014](https://onlinelibrary.wiley.com/doi/10.1111/lang.12079)), anything above 1.40 counts as a large effect, and this is twice that. DDL works best exactly where vocabulary lives: a learner who investigates how a word is actually used remembers it better than a learner who got the same word in a list.

The [Mizumoto & Chujo (2015)](https://mizumot.com/files/ecs2015.html) dots in the chart above we recomputed ourselves from the authors' open data: they published both the dataset and the code, which is still a rarity in science and a separate reason for respect.

Now for the honesty without which this article would have no right to call itself evidence-based. The 2.93 dot is built from just four studies by a single research group, and the authors themselves call for replications. Pre/post designs are systematically more generous with effects than control-group comparisons. And the bottom dot matters even more: DDL moves general language proficiency only slightly (d = 0.40). The approach grows vocabulary, not "language in general". Keep this caveat in mind; we will return to it in the Discussion.

## Turning the telescope around: a corpus of one's own speech

When I came across these papers, we were already building vocabulary analysis from lesson transcripts, and it turned out our idea had a name, thirty years of measurements, and a ready methodological foundation.

Classical DDL walks the learner through other people's corpora — newspaper articles, academic texts, someone else's dialogues. But can working with a corpus of the learner's own speech still be called DDL? I asked Atsushi Mizumoto, the author of that very meta-analysis, directly. Instead of a long answer he sent a paper: [Moon & Oh (2018)](https://doi.org/10.1017/S0958344017000246) built a corpus from their own class's essays and, by comparing it with a native one, helped Korean school students unlearn a typical error: its rate fell fivefold, from 24.8% to 4.9%, and the effect still held seven weeks later (this line of work is known as **"learning-driven data"**, Seidlhofer, 2002) — a professor's pointer (thank you!) that made this paragraph more precise.

We take this idea all the way: the corpus is the spontaneous spoken language of an individual learner, collected automatically lesson by lesson and shown back to the learner. In this setting (speech rather than writing, a personal corpus rather than a class one, a continuous history rather than a one-off snapshot) this case, as far as we know, has not been described in the literature yet.

The pipeline goes like this. A lesson recording becomes a transcript with speaker separation. The learner's speech is reduced to **lemmas**: *went*, *goes* and *going* merge into one word, *go*. Then the speech is cleaned of noise: we filter out hesitations, the filler sounds (*um*, *uh*; up to 15% of spontaneous speech in our transcripts), along with stop words, proper names and recognition debris. Every surviving lemma gets a frequency score, a measure of how common the word is in real language, on the **Zipf scale**, named after linguist George Zipf: the most frequent words like *the* score around 7, rare bookish ones around 2–3. The lower the score, the more "expensive" the word. From this, the map is assembled.

![Lexical Landscape with an open word card](https://jazion.online/assets/vocab-DN9hWse7.png)
*Every square is a lemma. The card shows who said the word, when and how many times — down to the exact second of the recording*

Spotted the contradiction? At the top of this article AI removes DDL's entry barrier, and here we take pride in counting without generative AI. Both are true: the roles are simply split. AI works on the perimeter: it recognizes speech, tells the speakers apart, turns the lesson into a transcript; that is what removes the friction. There is machine learning inside the pipeline too: compact NLP models merge word forms into lemmas and tag parts of speech. But these are deterministic classifiers: the same input always gives the same answer. For a tool that promises to measure progress, this is a matter of principle. Generative models cannot make that promise yet: when researchers asked ChatGPT to analyze corpus examples, it drew false conclusions and even quietly altered the source data ([Curry, Baker & Brookes, 2024](https://www.sciencedirect.com/science/article/pii/S2666799123000424)). So we left generative AI what it does well; that deserves separate articles of its own.

Four indicators sit above the map, and each one is backed by a specific piece of research rather than our imagination:

- **Variety** — speech diversity. A sliding window of 50 words moves across the whole lesson and counts the share of unique lemmas: the **MATTR-50** method (Moving-Average Type–Token Ratio; [Covington & McFall, 2010](https://www.tandfonline.com/doi/abs/10.1080/09296171003643098)). The window removes the metric's dependence on text length ([McCarthy & Jarvis, 2010](https://link.springer.com/article/10.3758/BRM.42.2.381); [Zenker & Kyle, 2021](https://www.sciencedirect.com/science/article/abs/pii/S1075293520300660))
- **Activation** — words that crossed from passive into active use today for the first time. According to [Laufer (1998)](https://academic.oup.com/applij/article-abstract/19/2/255/316323), free active vocabulary is the slowest and most invisible layer of the lexicon
- **Arsenal** — the volume of unique active lemmas in the lesson. Semantic capital, not the amount of talking
- **High Score** — the complexity peak: the highest CEFR level with at least three different words spoken. The level is derived from Zipf frequency (the scale from [van Heuven et al., 2014](https://journals.sagepub.com/doi/10.1080/17470218.2013.850521))

> [!spotlight] 💡 How it works in Jazion
> After every English lesson, the lesson card gets a Progress → Vocabulary tab: the map, the indicators and the word lists are computed automatically from the transcript. The teacher does nothing: the lesson itself has already collected the data.

In essence, the map is an interface to thirty years of corpus linguistics: everything that used to require a researcher's skills now happens in the time it takes the page to load. Johns dreamed of every learner becoming a Sherlock; we simply handed Sherlock a ready-made lab.

## One learner, six lessons

![The same learner: lesson 1 vs lesson 6](https://jazion.online/assets/post-01_map1-BcZbrQtq.png)
*The same learner, lesson one and lesson six, three weeks apart. The ten blue outlines on the right are passive words spoken for the first time*

On the left, an early lesson: Activation reads zero: not a single word has crossed from passive into active yet. On the right, lesson six, three weeks later. Don't look at the number of squares; look at the blue outlines. Each one is a word that spent all these weeks in the passive. The learner heard it, understood it, recognized it in texts. Today they said it themselves: ten words in one lesson. Variety grew along the way too: 65% → 81%.

Why this matters methodologically. Vocabulary grows in layers at different speeds, and the slowest one is free active vocabulary: the kind that shows up in spontaneous speech without prompting ([Laufer, 1998](https://academic.oup.com/applij/article-abstract/19/2/255/316323)). This layer is almost imperceptible from the inside: even a large passive vocabulary does not guarantee rich speech ([Uchihara & Clenton, 2020](https://journals.sagepub.com/doi/abs/10.1177/1362168818799371)). This is exactly where "I've hit a plateau" lives.

Ask the learner after such a lesson whether they feel those ten activations. Most likely not. Show them the right-hand picture. This is DDL in a single frame: a mirror in which the invisible layer of growth becomes something to talk about in class.

## What a teacher does with this

The map does not replace methodology: it feeds it data. Three moments of a regular lesson where DDL fits in without rebuilding the syllabus:

**Before the lesson, two minutes.** Open the **Target Mastery** list from the previous session. It is a statistically assembled set of words with the best learning ROI: frequent enough to be useful, rare enough to pull the level upward. Weave two or three into the conversation plan. A word the learner hears and uses on topic has every chance to make it into the next batch of activations.

**During the lesson.** The **Overused** list is a map of places where the decision stays with you. Five *big*'s per lesson from an A2 learner is a healthy norm. The same five *big*'s from a solid B2 is a reason to offer *considerable* or *massive* in a fitting context. The line between a crutch and an appropriate frequent word runs through topic, register and interlocutor — and it is drawn by a live teacher. The map shows where to look. What to do remains your craft.

**After the lesson, one minute.** The Activation delta is a ready-made occasion for targeted praise. "Today you said *negotiate* on your own for the first time" works better than "well done, good job", because it rests on a verifiable fact. And to lock the win in, bring the activated words back into speech over the next lessons: spaced repetition in its most natural form.

The picture differs by level. At the start the map is modest, and that is fine: little history, little signal. The main beneficiary is the intermediate learner: that very B1–B2 plateau where the subjective feeling of growth dies first, while exam levels are still far away.

## Discussion: what is debatable and what we do about it

We build the tool in the open, so we discuss the weak spots in the same place as the strong ones.

**Individual words are not yet language.** Speech level is determined not only by the set of lemmas but by collocation, register, appropriateness. An IELTS examiner looks at collocations, not at vocabulary items one by one. In research terms, we measure a specific construct, productive vocabulary in spontaneous spoken language, and deliberately claim nothing more (precise construct definition is a requirement of [Schmitt, Nation & Kremmel, 2020](https://www.cambridge.org/core/journals/language-teaching/article/abs/moving-the-field-of-vocabulary-assessment-forward-the-need-for-more-rigorous-test-development-and-validation/426B2FE68C109CA36D01507DCC4D2A92)). Analyzing expressions in context is our next step, and there it will take AI.

**Frequent words are fine.** A practicing teacher-methodologist testing the tool put it neatly: carefully avoiding frequent words, you risk sounding like Queen Elizabeth at a reception. We fully agree. A1 vocabulary is the skeleton of any natural speech, and Overused signals not "get rid of these words" but "here is a possible growth point, your call".

**Research tends to overstate the effect.** Almost all DDL studies compare a learner with themselves, "before and after" — and such measurements always look better than an honest comparison against a control group ([Boulton & Cobb, 2017](https://onlinelibrary.wiley.com/doi/10.1111/lang.12224)). In Mizumoto & Chujo, every primary study comes from a single team. And how long the learning lasts is the weakest spot of the whole field — the meta-analysts admit it themselves. That is why we give every number together with its caveat: a number without a caveat is already marketing.

**Our frequency baseline is a snapshot of the language before 2021.** The wordfreq library behind the Zipf scale was [sunset by its author in 2024](https://github.com/rspeer/wordfreq/blob/master/SUNSET.md) with the wording "generative AI has polluted the data": the word *delve* is now written by robots more often than by humans. For us this is even honest: we compare the learner's speech against human language.

**Zipf → CEFR is a heuristic.** We calibrated the mapping between frequency and levels for live spoken language, and it may differ point by point from normative lists built for academic reading. A conscious trade-off; the mechanics will get a detailed write-up in the engineering article #lab.

## Takeaways

**For the methodologist.** DDL is not an end-of-month report but a procedure inside the lesson: data → observation → the teacher's decision. The effect is confirmed by meta-analyses specifically for vocabulary; it does not automatically extend to "language in general".

**For the teacher.** Data removes the main argument with the learner: "I feel I'm not growing". With the map, the need for synonyms or for activating the passive becomes plainly visible, while you remain the judge of appropriateness.

**For the learner.** Progress in speech is a measurable fact, not a feeling. If after dozens of lesson hours you seem to be standing still, perhaps what is growing is exactly the layer you cannot see from the inside. Ask to be shown your data.

**A one-size-fits-all textbook is written for the average learner — but a specific one walks into the lesson, carrying a vocabulary of their own. Turn the method toward that learner's own data — and words start to stick, while errors retreat fivefold, as they did for Moon & Oh's students. The data works not because there is a lot of it, but because it is theirs.**

## 🔧 Try it yourself: a DDL breakdown in five minutes

You don't need a platform for this prompt. Take any sample of your student's language: an essay, a chat history, a transcribed voice message (dictating to a bot works too). Paste it into any chatbot:

> [!prompt] DDL breakdown of a student's speech
> Here is a sample of my student's language (level roughly [A2/B1/B2]): [PASTE TEXT].
> Do a four-step breakdown, brief and in tables:
> 1. Distribute the content words across CEFR levels (A1–C2), show the share of each level.
> 2. Find the 3 most repeated "crutch" words. For each, suggest a replacement one level higher — but only where the replacement sounds natural in this context; if it would sound unnatural, say so.
> 3. Suggest 5 words slightly above the current level that would fit organically into these same topics.
> 4. For those 5 words, write three mini-tasks of 2–3 minutes each, where every word must be spoken or written in the student's personal context.
> Do not invent words that are not in the sample for steps 1–2.

This is the manual DDL loop: data → diagnosis → action. In our case it runs automatically after every lesson, but the prompt is yours — use it freely.

## What's next

Two follow-up articles are already in progress. In #lab, for engineers and the curious, we will take the pipeline apart: the Zipf scale, the death and legacy of wordfreq, and why the counting needed not a single LLM call. In #economy, for those who run a school, we will count what invisible progress costs in months of LTV, and why a student leaves not when they stop growing, but when they stop seeing it.

Want the map assembled from your own lessons automatically? [Try Jazion](https://jazion.online).

---

# Невидимый прогресс: как Data-Driven Learning делает рост речи видимым

*...и почему учебники «для всех» не работают ни для кого*

![Мурзик-картограф над лексическим ландшафтом](https://jazion.online/assets/post-01-hero1-rs2OxgiU.png)

**TL;DR**: В data-driven learning ученик учится на примерах из реальных данных, и сильнее всего это растит лексику. Мы строим карту словаря Lexical Landscape по транскриптам уроков самого ученика. Внутри: гид по карте и промпт, чтобы попробовать без платформы.

---

В 1991 году Тим Джонс из Бирмингемского университета [предложил перевернуть урок](https://corpus.bfsu.edu.cn/Tim_Johns_From_printout_to_handout.pdf). Вместо того чтобы давать ученику правило, дайте ему данные, реальные примеры живого языка, и пусть он сам откроет закономерность. Джонс назвал это **data-driven learning (DDL)** и мечтал, что каждый ученик станет Шерлоком Холмсом. Но Шерлоку было сложнее: у него не было транскрипта, приходилось работать по пеплу сигар.

За этой идеей стоит простое наблюдение. Учебник написан для усреднённого ученика, а усреднённый ученик — статистическая абстракция. У живого Андрея пассив забит IT-лексикой, застрял он на бытовых глаголах, а его сосед по группе — ровно наоборот. Конфуций называл это 因材施教 (yīn cái shī jiào), «учить сообразно материалу ученика», ещё две с половиной тысячи лет назад. DDL — первый инженерный способ делать это систематически: данные у каждого свои.

Почему же за тридцать лет DDL не добрался до обычного класса? [Систематический обзор Pérez-Paredes (2022)](https://www.tandfonline.com/doi/full/10.1080/09588221.2019.1667832) даёт прозаичный ответ: лишь 4,2% исследований компьютерного обучения языкам касаются DDL, а в классах его почти нет, потому что конкордансеры, специальные программы для поиска слова во всех его контекстах, создавались лингвистами для лингвистов, и порог входа отпугивал всех остальных. Свежие работы фиксируют перелом: когда роль интерфейса к данным берёт на себя ИИ, прирост знаний тот же, а трение исчезает ([Sun & Mizumoto, 2025](https://onlinelibrary.wiley.com/doi/10.1111/ijal.70063)). В [прошлом посте](https://jazion.online/blog/2026-05-17_welcome_message) мы разбирали исследование, где ИИ в связке с живым учителем оказался в 18 раз эффективнее, чем ИИ сам по себе. DDL — именно такая связка, и её эффект измеряют уже тридцать лет.

Как же корпуса, ИИ и живой учитель уживаются вместе? У [Мизумото (2023)](https://doi.org/10.1016/j.acorp.2023.100074) для этого есть рамка **Metacognitive Resource Use**: словари, корпусные инструменты и нейросети образуют единую экосистему ресурсов ученика, и осознанный выбор, к какому ресурсу когда обращаться, сам по себе часть обучения.

![Рамка Metacognitive Resource Use](https://jazion.online/assets/post-01_mru_framework-DqYnXWjj.jpg)
*Рамка Metacognitive Resource Use. Из статьи Mizumoto (2023), Applied Corpus Linguistics; публикуется с любезного разрешения автора*

К слову, тема Metacognition в последние пару месяцев увлекла меня и с другой стороны: со стороны навыков самих языковых моделей ([писал об этом в LinkedIn](https://www.linkedin.com/pulse/llm-influencing-communication-skills-sergey-arkhipov-vvpdf)) и того, как развивать интеллект агентных систем. Очень хочу написать об этом отдельную заметку.

## Что говорят измерения

Слово «работает» легко сказать, поэтому посмотрим на измерения: мета-анализы, которые суммируют десятки первичных экспериментов.

![Эффекты трёх мета-анализов DDL](https://jazion.online/assets/post-01_chart_evidence-BHeZ1lBO.svg)
*Эффекты из трёх мета-анализов DDL. График построен нами по опубликованным данным*

Обратите внимание на верхнюю точку. Лексика, d = 2.93. По принятой в полевых исследованиях шкале ([Plonsky & Oswald, 2014](https://onlinelibrary.wiley.com/doi/10.1111/lang.12079)) всё, что выше 1.40, считается большим эффектом, а тут вдвое больше. DDL сильнее всего работает ровно там, где живёт словарный запас: ученик, который сам исследует употребления слова, запоминает его лучше, чем ученик, которому слово выдали списком.

Точки [Mizumoto & Chujo (2015)](https://mizumot.com/files/ecs2015.html) на графике выше мы пересчитали сами по открытым данным авторов: они опубликовали и датасет, и код, что в науке до сих пор редкость и отдельный повод для уважения.

Теперь честность, без которой эта статья не имела бы права называться evidence-based. Точка 2.93 собрана всего из четырёх исследований одной исследовательской группы, и авторы сами призывают к репликациям. Дизайны «до/после» систематически щедрее на эффекты, чем сравнения с контрольной группой. А нижняя точка ещё важнее: общий уровень владения языком DDL двигает слабо (d = 0.40). Подход растит лексику, а не «язык вообще». Запомните эту оговорку, мы вернёмся к ней в Discussion.

## Разворачиваем телескоп: корпус из собственной речи

Когда я наткнулся на эти работы, мы уже строили анализ словаря по транскрипциям уроков, и выяснилось, что у нашей задумки есть имя, тридцать лет измерений и готовый методический фундамент.

Классический DDL водит ученика по чужим корпусам — газетным статьям, академическим текстам, чьим-то диалогам. А можно ли назвать DDL работу с корпусом из собственной речи ученика? Этот вопрос я задал напрямую Ацуши Мизумото, автору того самого мета-анализа. Вместо длинного ответа он прислал статью: [Moon & Oh (2018)](https://doi.org/10.1017/S0958344017000246) собрали корпус из сочинений собственного класса и, сравнив его с нативным, помогли корейским школьникам разучить типичную ошибку: её доля упала впятеро, с 24,8% до 4,9%, и эффект удержался даже через семь недель (эту линию работ называют **«learning-driven data»**, Seidlhofer, 2002) — подсказка профессора (спасибо!), которая сделала этот абзац точнее.

Мы доводим эту идею до конца: корпусом становится спонтанная устная речь конкретного ученика, она собирается автоматически, урок за уроком, и показывается ему самому. В такой постановке (речь, а не письмо; личный корпус, а не классный; непрерывная история, а не разовый срез) этот случай, насколько нам известно, в литературе пока не описан.

Конвейер выглядит так. Запись урока превращается в транскрипт с разделением по говорящим. Из речи ученика извлекаются **леммы**: *went*, *goes* и *going* склеиваются в одно слово *go*. Дальше речь очищается от шума: отфильтровываются хезитации, то есть звуки-заполнители (*um*, *uh*; в наших транскриптах их до 15% спонтанной речи), а с ними стоп-слова, имена собственные и обрывки распознавания. Каждой выжившей лемме присваивается частотность, то есть мера того, насколько слово распространено в живом языке, по **шкале Zipf**, названной в честь лингвиста Джорджа Ципфа: самые частые слова вроде *the* получают около 7 баллов, редкая книжная лексика — около 2–3. Чем ниже балл, тем слово «дороже». Из этого собирается карта.

![Lexical Landscape с открытой карточкой слова](https://jazion.online/assets/vocab-DN9hWse7.png)
*Каждый квадрат — лемма. Карточка показывает, кто, когда и сколько раз произнёс слово — вплоть до секунды записи*

Заметили противоречие? В начале статьи ИИ снимает с DDL барьер входа, а здесь мы гордимся, что подсчёт обходится без генеративного ИИ. Всё так: роли просто разделены. ИИ работает по периметру: распознаёт речь, различает говорящих, превращает урок в транскрипт; именно это убирает трение. Внутри конвейера тоже есть машинное обучение: компактные NLP-модели склеивают словоформы в леммы и размечают части речи. Но это детерминированные классификаторы: одинаковый вход всегда даёт одинаковый ответ. Для инструмента, который обещает измерять прогресс, это принципиально. Генеративные модели так пока не умеют: когда ChatGPT попросили проанализировать примеры из корпуса, он делал ложные выводы и даже незаметно менял исходные данные ([Curry, Baker & Brookes, 2024](https://www.sciencedirect.com/science/article/pii/S2666799123000424)). Поэтому генеративному ИИ мы оставили то, что он делает хорошо; об этом ещё будут отдельные статьи.

Над картой четыре индикатора, и за каждым стоит конкретная научная работа, а не наша фантазия:

- **Variety** — разнообразие речи. Скользящее окно в 50 слов идёт по всему уроку и считает долю уникальных лемм: это метод **MATTR-50** (Moving-Average Type–Token Ratio, «скользящее среднее доли уникальных слов»; [Covington & McFall, 2010](https://www.tandfonline.com/doi/abs/10.1080/09296171003643098)). Окно убирает зависимость метрики от длины текста ([McCarthy & Jarvis, 2010](https://link.springer.com/article/10.3758/BRM.42.2.381); [Zenker & Kyle, 2021](https://www.sciencedirect.com/science/article/abs/pii/S1075293520300660))
- **Activation** — слова, которые сегодня впервые перешли из пассива в актив. По [Laufer (1998)](https://academic.oup.com/applij/article-abstract/19/2/255/316323) свободно-активная лексика — самый медленный и самый невидимый слой словаря
- **Arsenal** — объём уникальных активных лемм урока. Семантический капитал, а не количество наговоренного
- **High Score** — пик сложности: высший CEFR-уровень, на котором прозвучало хотя бы три разных слова. Уровень считается из Zipf-частотности (шкала из [van Heuven et al., 2014](https://journals.sagepub.com/doi/10.1080/17470218.2013.850521))

> [!spotlight] 💡 Как это работает в Jazion
> После каждого урока английского в карточке урока появляется вкладка Progress → Vocabulary: карта, индикаторы и списки слов считаются автоматически по транскрипту. Преподаватель не делает ничего: данные уже собраны самим уроком.

По сути, карта — это интерфейс к тридцати годам корпусной лингвистики: всё, что раньше требовало навыков исследователя, теперь происходит за время загрузки страницы. Джонс мечтал, что каждый ученик станет Шерлоком, мы просто выдали Шерлоку готовую лабораторию.

## Один ученик, шесть занятий

![Один и тот же ученик: урок 1 и урок 6](https://jazion.online/assets/post-01_map1-BcZbrQtq.png)
*Один и тот же ученик, первый и шестой урок, три недели между ними. Десять голубых рамок справа — слова из пассива, произнесённые впервые*

Слева ранний урок: Activation по нулям: ни одно слово ещё не перешло из пассива в актив. Справа шестой урок, три недели спустя. Смотрите не на количество квадратов, а на голубые рамки. Каждая из них — слово, которое все эти недели лежало в пассиве. Ученик его слышал, понимал, узнавал в тексте. Сегодня произнёс сам: десять слов за один урок. Заодно подросло и разнообразие речи: Variety 65% → 81%.

Почему это методически важно. Словарь растёт слоями с разной скоростью, и медленнее всего растёт свободная активная лексика: та, что появляется в спонтанной речи без подсказки ([Laufer, 1998](https://academic.oup.com/applij/article-abstract/19/2/255/316323)). Этот слой почти не ощущается изнутри: даже большой пассивный запас не гарантирует богатой речи ([Uchihara & Clenton, 2020](https://journals.sagepub.com/doi/abs/10.1177/1362168818799371)). Именно здесь живёт «у меня плато».

Спросите ученика после такого урока, чувствует ли он эти десять активаций. Скорее всего, нет. Покажите ему правую картинку. Это и есть DDL в одном кадре: зеркало, в котором невидимый слой роста становится предметом разговора.

## Что с этим делать преподавателю

Карта не заменяет методику: она даёт ей данные. Три момента обычного урока, куда DDL встраивается без перестройки программы:

**До урока, две минуты.** Откройте список **Target Mastery** прошлого занятия. Это статистически собранный набор слов с лучшим учебным ROI: достаточно частых, чтобы быть полезными, и достаточно редких, чтобы тянуть уровень вверх. Вплетите два-три в план разговора. Слово, которое ученик услышит и употребит в тему, имеет все шансы попасть в следующую порцию активаций.

**На уроке.** Список **Overused** — карта мест, где решение остаётся за вами. Пять *big* за урок у A2-ученика — здоровая норма. Те же пять *big* у крепкого B2 — повод предложить *considerable* или *massive* в подходящем контексте. Граница между «костылём» и уместным частым словом проходит через тему, регистр и собеседника, и проводит её живой преподаватель. Карта показывает, куда смотреть. Что делать — по-прежнему ваше ремесло.

**После урока, одна минута.** Дельта Activation — готовый повод для адресной похвалы. «Сегодня ты впервые сам сказал *negotiate*» работает сильнее, чем «молодец, хорошо позанимались», потому что опирается на проверяемый факт. А чтобы победа закрепилась, верните активированные слова в речь на ближайших уроках: это и есть интервальное повторение в самой естественной форме.

По уровням картина разная. На старте карта скромная и это нормально: мало истории — мало сигнала. Главный бенефициар — Intermediate, то самое плато B1–B2, где субъективное ощущение роста умирает первым, а до экзаменационных уровней ещё далеко.

## Discussion: что спорно и что мы с этим делаем

Мы строим инструмент в открытую, поэтому слабые места обсуждаем там же, где сильные.

**Отдельные слова — ещё не язык.** Уровень речи определяется не только набором лемм, но и сочетаемостью, регистром, уместностью. Экзаменатор IELTS смотрит на коллокации, то есть устойчивые сочетания слов, а не на словарные единицы поштучно. По-научному говоря, мы измеряем конкретный конструкт, продуктивную лексику в спонтанной устной речи, и сознательно не претендуем на большее (точность формулировки конструкта — требование [Schmitt, Nation & Kremmel, 2020](https://www.cambridge.org/core/journals/language-teaching/article/abs/moving-the-field-of-vocabulary-assessment-forward-the-need-for-more-rigorous-test-development-and-validation/426B2FE68C109CA36D01507DCC4D2A92)). Анализ выражений в контексте — наш следующий шаг, и вот там без ИИ уже не обойтись.

**Частые слова — это нормально.** Один практикующий методист на тесте инструмента заметила: старательно избегая частотных слов, рискуешь зазвучать как королева Елизавета на приёме. Полностью согласны. A1-лексика — каркас любой естественной речи, и Overused сигналит не «избавьтесь от этих слов», а «здесь возможна точка роста, решайте сами».

**Исследования склонны завышать эффект.** Почти все исследования DDL сравнивают ученика с ним же «до и после», а такие замеры всегда выглядят лучше, чем честное сравнение с контрольной группой ([Boulton & Cobb, 2017](https://onlinelibrary.wiley.com/doi/10.1111/lang.12224)). У Mizumoto & Chujo все первичные исследования выполнила одна команда. А как долго держится выученное — самое слабое место всей области, и авторы мета-анализов признают это сами. Поэтому каждую цифру мы называем вместе с её оговоркой: цифра без оговорки — это уже маркетинг.

**Наш эталон частотности — снимок языка до 2021 года.** Библиотека wordfreq, на которой стоит Zipf-шкала, [закрыта автором в 2024-м](https://github.com/rspeer/wordfreq/blob/master/SUNSET.md) с формулировкой «генеративный ИИ загрязнил данные»: слово *delve* теперь чаще пишут роботы, чем люди. Для нас это даже честно: мы сравниваем речь ученика с человеческим языком.

**Zipf → CEFR: это эвристика.** Соответствие частотности и уровней мы калибровали под живую устную речь, и оно может точечно расходиться с нормативными списками для академического чтения. Это осознанный компромисс, о механике которого подробно расскажем в инженерной статье #lab.

## Выводы

**Методисту.** DDL — не отчёт в конце месяца, а процедура внутри урока: данные → наблюдение → решение преподавателя. Эффект подтверждён мета-анализами именно для лексики; на «язык вообще» он автоматически не распространяется.

**Преподавателю.** Данные снимают главный спор с учеником: «мне кажется, я не расту». С картой потребность в синонимах или активации пассива становится наглядной, а судьёй уместности остаётесь вы.

**Ученику.** Прогресс в речи — измеримый факт, а не ощущение. Если после десятков часов занятий кажется, что стоите на месте, возможно, растёт именно тот слой, который изнутри не виден. Попросите показать вам данные.

**Учебник «для всех» написан для усреднённого ученика — а на урок приходит конкретный, со своим словарём. Разверните метод к его собственным данным — и слова начинают запоминаться, а ошибки отступают впятеро, как у школьников Moon & Oh. Данные работают не потому, что их много, а потому, что они — его.**

## 🔧 Попробуйте сами: DDL-разбор за пять минут

Для этого промпта не нужна платформа. Возьмите любой образец языка ученика: сочинение, переписку, расшифровку голосового (надиктовать боту — тоже способ). Вставьте в любой чат-бот:

> [!prompt] DDL-разбор речи ученика
> Вот образец языка моего ученика (уровень примерно [A2/B1/B2]): [ВСТАВЬТЕ ТЕКСТ].
> Сделай разбор в четыре шага, кратко и в таблицах:
> 1. Распредели знаменательные слова по уровням CEFR (A1–C2), покажи долю каждого уровня.
> 2. Найди 3 слова-«костыля», которые повторяются чаще всего. Для каждого предложи замену на один уровень выше — но только там, где замена звучит естественно в этом контексте; если замена прозвучит неестественно, так и напиши.
> 3. Предложи 5 слов чуть выше текущего уровня, которые органично легли бы в эти же темы.
> 4. Для этих 5 слов составь три мини-задания по 2–3 минуты, где каждое слово нужно произнести или написать в личном контексте ученика.
> Не выдумывай слова, которых нет в образце, для шагов 1–2.

Это ручной DDL-цикл: данные → диагноз → действие. У нас он происходит автоматически после каждого урока, но промпт — ваш, пользуйтесь свободно.

## Что дальше

Мы уже готовим две следующие статьи. В #lab, для инженеров и любопытных, разберём конвейер изнутри: шкала Zipf, смерть и наследство wordfreq, и почему подсчёту не понадобился ни один вызов LLM. В #economy, для тех, кто управляет школой, посчитаем, сколько стоит невидимый прогресс в месяцах LTV и почему ученик уходит не тогда, когда перестаёт расти, а когда перестаёт это видеть.

Хотите, чтобы карта собиралась по вашим урокам сама? [Попробуйте Jazion](https://jazion.online).