В свежем дайджесте Хабра мелькнула статья об «эволюции взглядов Людвига Больцмана» — история о том, как человек тридцать лет пытался вывести необратимость из обратимых законов механики, трижды был сломан парадоксами (Лошмидт, Цермело), выдвинул отчаянную космологическую гипотезу «весь мир — случайная флуктуация» и закончил самоубийством в 1906 году, так и не увидев, как Эйнштейн докажет реальность атомов. История сильная, но биография — это биография: она написана, переписана и рассказана до нас.
Зацепился я за другое. В конце того пути, в 1877-м, Больцман в отчаянной контратаке на парадоксы записал утверждение, которое сегодня висит на его надгробии: энтропия — это логарифм вероятности состояния. А вот что стало с этой формулой дальше — куда она пошла после смерти автора — обычно остаётся за кадром. Я полез проверять и обнаружил, что эта самая экспонента exp(−E/kT) — редчайший случай в истории науки: формула, которая не осталась в своём домене, а за полтора века прогрела насквозь физику, химию, вычислительную технику и в конце концов осела в интерфейсе каждого чат-бота. Пункт «temperature» в настройках нейросети — это не маркетинговая метафора и не заимствование термина: это математически та же самая скобка, которую Больцман писал для газа, — с сохранением буквы T и всех её свойств.
Это и есть сюжет: жизнь одной формулы в шести эпохах. От спора о существовании атомов — до того, как ты ползунком выбираешь «творческий» или «строгий» режим.
Начать придётся с того, чего Больцман не делал — это важнее, чем кажется. Он никогда не писал формулу S = k log W в том виде, в котором она высечена на его венской могиле. Сформулировав идею между 1872 и 1875 годами, он дал её строгую статистическую версию в статье 1877-го, но современную запись с отдельной константой k привёл Макс Планк около 1900 года — и честно оговорил, что «логарифмическая связь между энтропией и вероятностью впервые была указана Л. Больцманом». Так самая знаменитая эпитафия в истории физики — на надгробии на Zentralfriedhof, рядом с бюстом — это, строго говоря, формула в редакции Планка о человеке, который её заслужил.
Драма вокруг была не академической прихотью. Атомы в 1870-е считались удобной гипотезой, а не фактом, и второе начало термодинамики — «тепло само течёт от горячего к холодному» — упрямо не желало выводиться из механики Ньютона, где всё симметрично относительно времени. Лошмидт показал: разверни скорости всех молекул — и газ пойдёт вспять, нарушая «закон». Ответ Больцмана 1877 года был гениальным ходом конём: необратимость — не запрет, а статистика; система переходит от менее вероятных макросостояний к более вероятным, почти всегда, но не по принуждению. Внутри этой логики и родилась экспонента: состояния с высокой энергией просто реже встречаются, причём реже по конкретному закону — exp(−E/kT), где T — температура, а k — константа, мостик между миром молекул и миром термометров.
Судьба пригнала иронию, которой хватило бы на отдельный роман. К шестидесятилетию Больцмана в 1904-м коллеги готовили юбилейный сборник, и статьи прислали 117 учёных со всего мира — включая его идейных противников Маха и Дюгема. Это совсем не похоже на картину «затравленного еретика»: карьера удалась, признание было. Человек, который доверял атомам (так называется его биография, написанная Черчиньяни), умер в 1906-м на пике славы — за пару лет до того, как броуновское движение и подсчёт молекул Эйнштейном закрыли вопрос навсегда. А формула осталась.
Прежде чем следовать за формулой в XX век, стоит оценить масштаб её власти в XIX-м. Экспонента exp(−E/kT) — это не «одна из формул статистической физики», это способ, которым природа назначает вероятности всему горячему. Джеймс Клерк Максвелл в 1860 году нашёл её первую ипостась: молекулы газа распределены по скоростям именно так — большинство неторопливо, единицы бешено. Больцман в 1868–1871 годах обобщил распределение на случай внешних сил. И та же скобка вылезла везде, где есть тепло и выбор.
Химия — самый наглядный пример. Уравнение Аррениуса 1889 года, k = A·exp(−Ea/kB·T), говорит, с какой скоростью протекает любая реакция — от горения топлива до метаболизма в твоих клетках. Энергия активации Ea стоит в показателе экспоненты ровно там, где у Больцмана стояла энергия состояния; разница между «химической» формой с газовой постоянной R и «физической» с kB — только в единицах измерения, на моль или на молекулу. Всё, что живо и горит, живёт и горит по расписанию Больцмана. Даже Планк, выводя в 1900-м кванты, отталкивался от больцмановского метода ячеек 1877 года — формула не просто дожила до квантовой механики, она была одним из её фундаментов.
Смысл этой всеобщности стоит проговорить явно, потому что дальше он станет сюжетодвижущим. exp(−E/kT) — это компромисс между энергией и случайностью: чем выше температура, тем охотнее система платит энергией за разнообразие; чем ниже — тем жёстче она выбирает дешёвые состояния. «Горячее значит более случайное» — не фигура речи, а точное свойство этой скобки. Запомни это свойство. Через сто лет им будут управлять чипы.
Первый переход случился на войне с числами. В Лос-Аламосе, где считали уравнение состояния вещества для водородной бомбы, упёрлись в классическую стену: чтобы вычислить свойства жидкости, нужно взять интеграл по конфигурационному пространству размерностью в сотни измерений. Любая честная численная схема тонула: если выбирать конфигурации молекул случайным равномерным способом, почти все они получают ничтожный вес exp(−E/kT) — счёт идёт, но результат не двигается. Машина MANIAC молотила впустую.
В июньском выпуске Journal of Chemical Physics за 1953 год Метрополис, Арианна и Маршалл Розенблуты, Августа и Эдвард Теллеры опубликовали выход. Формулировка из статьи заслуживает цитаты дословно, потому что это одна из великих инверсий в истории вычислений: «вместо того чтобы выбирать конфигурации случайно и взвешивать их с exp(−E/kT), мы выбираем конфигурации с вероятностью exp(−E/kT) и взвешиваем их одинаково». Прочитай дважды: больцмановская экспонента переехала из правой части уравнения в саму процедуру выбора. Физический закон стал алгоритмом. На двумерном газе жёстких сфер из нескольких сотен частиц MANIAC впервые рассчитал равновесные свойства такой модели по методу Монте-Карло.
Красивейшее в этой истории — что никто в 1953-м не думал про «сэмплинг из распределений» в современном смысле. Считали бомбу и жидкость. Но попутно был создан универсальный рецепт: если у тебя есть целевая вероятность вида exp(−E/kT), ты можешь построить случайное блуждание, которое в пределе ходит ровно по ней. Вся современная статистика — от байесовских цепей MCMC до генерации текста — стоит на этом приёме. А через тридцать лет кто-то задастся вопросом: а если температура не ждать, а крутить?
Вопрос задали физики IBM. Скотт Киркпатрик, Чарльз Гелатт и Марио Векки из Thomas J. Watson Research Center в мае 1983-го напечатали в Science статью с первой фразой, которую трудно превзойти по предельной плотности замысла: «There is a deep and useful connection between statistical mechanics... and combinatorial optimization».
Это глубокая и полезная связь между статфизикой и задачей о нахождении минимума функции многих переменных. Физики переоткрыли для вычислителей то, что металлурги знали всегда: то, как вещество остывает, определяет, каким оно станет.
Отжиг — древняя технология: металл греют докрасна, а потом медленно охлаждают, чтобы атомы успели найти правильные места в кристаллической решётке. Остынешь резко (закалка) — получишь мелкокристаллический брак с застрявшими дефектами; охлаждаешь плавно — большие правильные кристаллы. Киркпатрик с соавторами перевели это в язык оптимизации: расположение элементов на чипе — это «энергия» конфигурации, локальные минимумы — «дефекты», а ручка T управляет готовностью алгоритма принимать ухудшения. При высокой температуре решатель счастливо лезет из ям — зато не застревает в первой попавшейся; при охлаждении всё больше закрепляется в найденном, пока не кристаллизуется в решение.
Simulated annealing — «имитация отжига» — стал классикой и процветает до сих пор вплоть до квантовых отжигателей D-Wave. Но для нашей истории важнее другое: статья 1983 года физически лежала на столе у человека, который в тот момент думал о том, как заставить нейросеть учиться. Дальнейшее — почти комедия мгновений.
Геффри Хинтон рассказывал эту сцену в нобелевской лекции 2025 года так подробно, что её можно заснять в хронике. Маленький воркшоп в Рочестере: Джон Хопфилд докладывает про свою сеть 1982 года — систему бинарных нейронов с симметричными связями, которая хранит воспоминания как энергетические минимумы. В зале сидит Терри Сейновски, который «недавно прочитал свежую статью Киркпатрика, Гелатта и Векки о технике под названием simulated annealing». Двое смотрят друг на друга: а ведь в сеть Хопфилда можно встроить отжиг. Для этого достаточно заменить детерминированные нейроны шумными — решать, быть единице или нулю, по вероятности 1/(1+exp(−Δ/T)), где Δ — разница энергий, а T — температура.
Посмотри на эту формулу внимательно. Она же — больцмановский фактор, обёрнутый в логистическую сигмоиду; при T→0 шум исчезает и остаётся чистая сеть Хопфилда, а при высокой T нейрон почти честно подбрасывает монетку. «Терри и я пришли в восторг от идеи скрестить сети Хопфилда с имитацией отжига», — вспоминал Хинтон. Так в 1983–1985 годах, вместе с Сейновски, родилась машина Больцмана: сеть, состояния которой распределены — без всяких оговорок и метафор — по каноническому распределению P(s) ∝ exp(−E/T). Нобелевский комитет в официальном научном обосновании премии 2024 года называет T в этой формуле «фиктивной температурой» — фиктивной, потому что термометра нет, но математика та же до последнего знака.
Самое изящное — как она училась. Две фазы: wake и sleep, бодрствование и сон. В бодрствовании сети показывают данные — и она подкрепляет связи между совместно активными нейронами; во сне сеть фантазирует по собственному распределению — и ослабляет связи, виновные в галлюцинациях. Мозговая аналогия сна как уборщика памяти тогда носилась в воздухе (её отстаивали Крик и Митчисон), и математика легла на неё подозрительно хорошо.
Судьба у машины вышла парадоксальная. Для больших сетей она оказалась слишком медленной и уступила backpropagation — Хинтон говорит об этом без сантиментов: «это было интересное применение статистической физики к нейронным сетям, но это не было ответом на вопрос, как учится мозг». Но через семнадцать лет он вернётся к упрощённой версии — ограниченной машине Больцмана, RBM, — и именно она, как зафиксировал нобелевский комитет, станет одной из опор глубокого обучения 2000-х. А в 2024-м Хопфилду и Хинтону вручат Нобелевскую премию по физике «за фундаментальные открытия и изобретения, включившие машинное обучение с искусственными нейронными сетями». Нейросети, выросшие из больцмановской экспоненты, получили нобеля по физике — и это не курьёз, а самая честная констатация родства.
Оставался последний прыжок: от обучения сетей — к генерации текста. Он произошёл в 2015 году, и снова Хинтон. В статье «Distilling the Knowledge in a Neural Network» (вместе с Ориолом Виньялсом и Джеффом Дином) он решал задачу перегонки: как упаковать знания огромного ансамбля моделей в компактную, пригодную для продакшена. Ответ был: заставь большую модель выдавать не только правильный ответ, но и полную картину своих сомнений — «мягкие» вероятности всех классов, из которых малая модель учится тому, как большая обобщает. Изображение BMW может быть лишь с крошечной вероятностью перепутано с мусоровозом, но эта ошибка всё равно в миллионы раз вероятнее, чем перепутать с морковкой, — и такие «почти» несут знание.
Инструмент, которым сомнения размягчали, был уже готов: softmax с температурой, qᵢ = exp(zᵢ/T)/Σⱼ exp(zⱼ/T), «где T — температура, обычно равная 1». Восьмидесятилетняя на тот момент скобка Больцмана, в которой энергию состояния заменили логит нейрона, а физическую T — безразмерным множителем: выше T — распределение мягче и честнее показывает «вторые мысли» модели, ниже — жёстче и увереннее. Позже Хольтцман с соавторами в работе ICLR 2020 «The Curious Case of Neural Text Degeneration» покажут всю дилемму подряд: при жёстких режимах генерация становится бесконечно повторяющейся, при высоких температурах — бессвязной, потому что хвост маловероятных токенов нельзя усмирить одной температурой; и предложат nucleus sampling, динамически обрезающий хвост. Любопытно, что в качестве источника самой идеи «sampling with temperature» их библиография цитирует — нет, не физику XIX века, а статью Аэкли, Хинтона и Сейновски 1985-го про машину Больцмана. Цепочка замкнулась письменно: современная литература по LLM ведёт родословную ручки temperature напрямую к машине Больцмана.
Так больцмановская скобка добралась до твоего экрана. В API любого чат-бота параметр temperature задаётся числом — у OpenAI, например, от 0 до 2: ниже — модель «сфокусирована и детерминирована», выше — «более случайна». Ползунок, который ты двигаешь, выбирая, будет ли ответ сухим конспектом или живой импровизацией, крутит ту же самую величину T, что в 1877 году определяла, какая доля молекул воздуха имеет энергию, достаточную чтобы улететь из чашки чая. И когда сегодня спорят, «настоящую ли температуру» задаёт этот параметр — физики нервничают: в логитах нет ни джоулей, ни больцмановской константы, есть только T и свойство «горячее значит более случайное». Но это спор об онтологии ручки, а не о её родословной: математику формулы Больцман свою оставил при ней.
Вглядись в хронологию арки, и она перестанет выглядеть набором курьёзов. 1877: спор о реальности атомов, отчаянный статистический манёвр. 1953: военные расчёты в Лос-Аламосе, экспонента впервые становится алгоритмом. 1983: отжиг как метод оптимизации в IBM. 1985: нейросеть, живущая по каноническому распределению, — и статья, в которой «температура» окончательно уходит в компьютерные науки. 2015: дистилляция и легализация температуры как пользовательского параметра. 2024–2025: Нобелевская премия по физике за нейросети и нобелевская лекция, в которой автор собственноручно описывает, как из статьи про остывание чипов родилась машина Больцмана.
Тридцать два года между «греем металл» и «греем логиты» — и ни одного звена, которое пришлось бы догадкой: все переходы документированы, с датами, фамилиями и формулами.
Это редкий случай строгой — а не риторической — преемственности идей. Наука обожает красивые слова о «переносе методов между дисциплинами», но обычно это метафора: мол, биоинспирированный алгоритм напоминает поведение муравьёв. Здесь же перенос буквальный: та же экспонента, та же буква T, тот же компромисс «энергия против случайности», воспроизводимый в газе, химической реакции, чипе, нейросети и генерации текста. Распределение Больцмана — возможно, самая портируемая формула в истории науки, и дело не в моде на физические термины, а в том, что она решает одну и ту же базовую задачу: как честно выбирать между вариантами, когда есть цена ошибки и допустимый уровень хаоса. Всякий раз, где эта задача возникает, экспонента и появляется — независимо от того, что именно горит, кристаллизуется или печатает текст.
И последняя ирония, в которую трудно поверить без цитат. Реальность атомов — вопрос, из которого выросла формула, — победила уже после смерти автора: Больцман ушёл в 1906-м, а броуновское движение Эйнштейна 1905 года и его счёт молекул закрыли спор к 1908-му. А через сто с небольшим лет та же формула крутит вероятности внутри устройств, которыми спорят о свободе воли чат-ботов, — и мир флуктуаций, над которым Больцман работал в последней отчаянной надежде, стал буквально фабрикой случайности по заказу. Плита на Zentralfriedhof обещает S = k log W. Она не обещала, что логарифм выйдет на такой объём.