Логотип
Юніонпедія
Зв'язок
Завантажити з Google Play
Новинка! Завантажити Юніонпедія на вашому Android™ пристрої!
Завантажити
Більш швидкий доступ, ніж браузер!
 

Інформаційна ентропія

Індекс Інформаційна ентропія

2 шеннони ентропії: у випадку двох справедливих підкидань монети, ентропія інформації є логарифмом за основою 2 з числа можливих результатів; за двох монет існує чотири можливі результати, й ентропія становить два біти. Взагалі, інформаційна ентропія є усередненою інформацією всіх можливих результатів. В теорії інформації системи моделюються передавачем, каналом та приймачем.

88 відносини: AAC, E (число), FLAC, ISBN, JPEG, MP3, MPEG-4 Part 14, PNG, Science, WebM, Zip, Краснобаєв Віктор Анатолійович, Квантова механіка, Клод Шеннон, Код Гаффмана, Колмогоровська складність, Комбінаторика, Комп'ютерна програма, Контрольна сума, Принцип Діріхле, Принцип Ландауера, Проекційна матриця, Потужність множини, Перехресна ентропія, Обробка сигналів, Арифметичне кодування, Абсолютна неперервність, Абетка (інформатика), Алгоритм Лемпеля — Зіва — Велча, Натуральні числа, Нерівність Єнсена, Негентропія, Незалежність (теорія ймовірностей), Необхідна і достатня умова, Неперервна функція, Рівномірний розподіл, Розподіл ймовірностей, Статистична дисперсія, Статистична механіка, Стаціонарність, Стала Больцмана, Стиснення без втрат, Стиснення даних, Слід матриці, Спільна ентропія, Томас Ковер, Термодинамічна система, Телерадіомовлення, Телекомунікації, Теорія інформації, ..., Теорема Шеннона — Гартлі, Умовна ентропія, Функція ймовірностей, Шкала, Шеннон (одиниця вимірювання), Міра різноманітності, Міра Лебега, Машина Тюрінга, Матриця густини, Математична теорія зв'язку (стаття), Математичне сподівання, Марковська модель, Метод невизначених множників, Відстань Геммінга, Відстань Левенштейна, Взаємна інформація, Випадковість, Випадковий процес, Власна інформація, Густина імовірності, Гістограма, Границя функції в точці, Гартлі (одиниця вимірювання), Друге начало термодинаміки, Джозая Віллард Гіббз, Джон фон Нейман, Дискретний рівномірний розподіл, Динамічна система, Демон Максвелла, Інститут проблем реєстрації інформації НАН України, Інформація за Фішером, Індекс Тейла, Ета (літера), Ентропія, Ентропійна швидкість, Ентропійне кодування, Людвіг Больцман, Лічильна міра. Розгорнути індекс (38 більше) »

AAC

AAC (Advanced Audio Coding) — стандартна схема стиснення із втратами для аудіоданих.

Новинка!!: Інформаційна ентропія і AAC · Побачити більше »

E (число)

показникової функції ''f'' (''x'').

Новинка!!: Інформаційна ентропія і E (число) · Побачити більше »

FLAC

FLAC (Free Lossless Audio Codec — вільний аудіокодек без втрат) — аудіокодек для стиснення аудіо при 100% збереженні оригінального звукового потоку.

Новинка!!: Інформаційна ентропія і FLAC · Побачити більше »

ISBN

ISBN (з International Standard Book Number — міжнародний стандартний номер книги) універсальний ідентифікаційний номер, що присвоюється книзі або брошурі і науковим працям періодичних видань з метою їх класифікації.

Новинка!!: Інформаційна ентропія і ISBN · Побачити більше »

JPEG

JPEG (Joint Photographic Experts Group) — растровий формат збереження графічної інформації, що використовує стиснення з втратами.

Новинка!!: Інформаційна ентропія і JPEG · Побачити більше »

MP3

MP3 — формат файлу для зберігання аудіо-інформації.

Новинка!!: Інформаційна ентропія і MP3 · Побачити більше »

MPEG-4 Part 14

MPEG-4 Part 14 або MP4 є мультимедійним контейнером.

Новинка!!: Інформаційна ентропія і MPEG-4 Part 14 · Побачити більше »

PNG

PNG (Portable Network Graphics) — растровий формат збереження графічної інформації, що використовує стиснення без втрат.

Новинка!!: Інформаційна ентропія і PNG · Побачити більше »

Science

Science (від англ. наука) — науковий журнал, який вважається одним з найпрестижніших для публікації результатів досліджень з усіх галузей науки.

Новинка!!: Інформаційна ентропія і Science · Побачити більше »

WebM

WebM — вільний відкритий мультимедійний контейнер призначений для доставки аудіовізуальних даних в мережі Інтернет у межах стандарту HTML5.

Новинка!!: Інформаційна ентропія і WebM · Побачити більше »

Zip

ZIP (Lempel Ziv Welch) — формат стиснення та архівації даних.

Новинка!!: Інформаційна ентропія і Zip · Побачити більше »

Краснобаєв Віктор Анатолійович

Ві́ктор Анато́лійович Красноба́єв — доктор технічних наук (1990), професор (1991), заслужений винахідник України, почесний радист СРСР.

Новинка!!: Інформаційна ентропія і Краснобаєв Віктор Анатолійович · Побачити більше »

Квантова механіка

енергію (збільшується згори вниз: n.

Новинка!!: Інформаційна ентропія і Квантова механіка · Побачити більше »

Клод Шеннон

Клод Елвуд Шеннон (Claude Elwood Shannon; *30 квітня, 1916 — †24 лютого, 2001) — американський електротехнік і математик, «батько теорії інформації».

Новинка!!: Інформаційна ентропія і Клод Шеннон · Побачити більше »

Код Гаффмана

Алгоритм Гаффмана — адаптивний жадібний алгоритм оптимального префіксного кодування алфавіту з мінімальною надмірністю.

Новинка!!: Інформаційна ентропія і Код Гаффмана · Побачити більше »

Колмогоровська складність

Складність та ентропія конструктивних об'єктів, відома як колмоговська складність, складність колмогова, стохастична складність в алгоритмічній теорії інформації, складність об'єкту(або тексту) -- є міра обчислювальних ресурсів, що необхідні для того, щоб точно визначити цей об'єкт.

Новинка!!: Інформаційна ентропія і Колмогоровська складність · Побачити більше »

Комбінаторика

Комбінато́рика (Комбінаторний аналіз) — розділ математики, присвячений розв'язанню задач вибору та розташування елементів деякої, зазвичай, скінченної множини відповідно до заданих правил.

Новинка!!: Інформаційна ентропія і Комбінаторика · Побачити більше »

Комп'ютерна програма

Комп'ютерна програма Комп'ю́терна програ́ма (Computer program) — набір інструкцій у вигляді слів, цифр, кодів, схем, символів чи у будь-якому іншому вигляді, виражених у формі, придатній для зчитування (комп'ютером), які приводять його у дію для досягнення певної мети або результату (це поняття охоплює як операційну систему, так і прикладну програму, виражені у вихідному або об'єктному кодах).

Новинка!!: Інформаційна ентропія і Комп'ютерна програма · Побачити більше »

Контрольна сума

Контро́льна су́ма — деяке значення, розраховане на основі набору даних з використанням певного алгоритму, що використовується для перевірки цілісності даних при їх передачі або збереженні.

Новинка!!: Інформаційна ентропія і Контрольна сума · Побачити більше »

Принцип Діріхле

''m''.

Новинка!!: Інформаційна ентропія і Принцип Діріхле · Побачити більше »

Принцип Ландауера

Принцип Ландауера — припущення, що накладає обмеження на мінімальні енергетичні затрати, необхідні для виконання обчислень.

Новинка!!: Інформаційна ентропія і Принцип Ландауера · Побачити більше »

Проекційна матриця

Квадратна матриця \ P з комплексними елементами називається проекційною, якщо виконується \ P.

Новинка!!: Інформаційна ентропія і Проекційна матриця · Побачити більше »

Потужність множини

Потужність множини, або кардинальне число множини, — характеристика множин (у тому числі нескінченних), що узагальнює поняття кількості (числа) елементів скінченної множини.

Новинка!!: Інформаційна ентропія і Потужність множини · Побачити більше »

Перехресна ентропія

У теорії інформації перехресна ентропія між двох розподілами ймовірності вимірює середню кількість біт, необхідних для впізнання події з набору можливостей, якщо схема кодування, що використовується, базується на заданому розподілі ймовірностей q, замість «істинного» розподілу p. Перехресна ентропія двох розподілів p і q на тому самому ймовірнісному просторі визначається наступним чином: де H(p) — ентропія p, і D_(p || q) — дивергенція Кульбака-Лейблера від q до p (також відома як відносна ентропія).

Новинка!!: Інформаційна ентропія і Перехресна ентропія · Побачити більше »

Обробка сигналів

Обробка сигналів — галузь схемотехніки, електротехніки і прикладної математики, яка досліджує теорію перетворення як цифрових, так і аналогових сигналів, що є змінними в часі або просторі фізичними величинами.

Новинка!!: Інформаційна ентропія і Обробка сигналів · Побачити більше »

Арифметичне кодування

Арифмети́чне кодува́ння - один з алгоритмів ентропійного стиснення.

Новинка!!: Інформаційна ентропія і Арифметичне кодування · Побачити більше »

Абсолютна неперервність

Функція f\left(x\right) називається абсолютно неперервною функцією на скінченому або нескінченному відрізку, якщо \forall \varepsilon > 0, \exist \delta > 0, таке, що для будь-якого скінченого набору неперетинних інтервалів \left(x_i,y_i\right) області визначення функції \,\!f, який задовольняє умові \sum \left(y_i - x_i \right), виконано \sum \left|f\left(y_i \right) - f\left(x_i \right)\right|.

Новинка!!: Інформаційна ентропія і Абсолютна неперервність · Побачити більше »

Абетка (інформатика)

В інформатиці і математичній логіці, абетка це скінченний набір символів або літер, наприклад букви і цифри.

Новинка!!: Інформаційна ентропія і Абетка (інформатика) · Побачити більше »

Алгоритм Лемпеля — Зіва — Велча

LZW, Алгори́тм Ле́мпеля — Зі́ва — Ве́лча (Lempel–Ziv–Welch, LZW) — універсальний алгоритм стиснення даних без втрат, створений Авраамом Лемпелем (Abraham Lempel), Яковом Зівом (Jacob Ziv) і Террі Велчем (Terry Welch).

Новинка!!: Інформаційна ентропія і Алгоритм Лемпеля — Зіва — Велча · Побачити більше »

Натуральні числа

Натуральні числа можуть використовуватись для лічби (одне яблуко, два яблука, три яблука, …). Натура́льні чи́сла — числа, що виникають природним чином при лічбі.

Новинка!!: Інформаційна ентропія і Натуральні числа · Побачити більше »

Нерівність Єнсена

Нерівність Єнсена — зв'язує визначений інтеграл опуклої функції та значення цієї функції від інтеграла.

Новинка!!: Інформаційна ентропія і Нерівність Єнсена · Побачити більше »

Негентропія

Негентропія - філософський і фізичний термін, утворений додаванням негативною приставки нег- (від лат. Negativus - негативний) до поняття ентропія, і позначає його протилежність.

Новинка!!: Інформаційна ентропія і Негентропія · Побачити більше »

Незалежність (теорія ймовірностей)

У теорії ймовірностей дві випадкові події називаються незалежними, якщо настання однієї з них не змінює вірогідність настання іншої.

Новинка!!: Інформаційна ентропія і Незалежність (теорія ймовірностей) · Побачити більше »

Необхідна і достатня умова

В логіці, слова необхідно і достатньо відповідають імплікаційним зв'язкам між твердженнями.

Новинка!!: Інформаційна ентропія і Необхідна і достатня умова · Побачити більше »

Неперервна функція

Непере́рвна фу́нкція — одне з основних понять математичного аналізу.

Новинка!!: Інформаційна ентропія і Неперервна функція · Побачити більше »

Рівномірний розподіл

В теорії ймовірностей є два розподіли ймовірностей, які називають рівномірним розподілом.

Новинка!!: Інформаційна ентропія і Рівномірний розподіл · Побачити більше »

Розподіл ймовірностей

гральних кісток В математиці та статистиці розпо́діл ймові́рностей (який має математично описуватися функцією розподілу ймовірностей), ставить у відповідність кожному інтервалу ймовірність таким чином, що аксіоми ймовірностей виконуються.

Новинка!!: Інформаційна ентропія і Розподіл ймовірностей · Побачити більше »

Статистична дисперсія

У статистиці дисперсія — міра розсіяння (розкиду) числових даних у вибірці.

Новинка!!: Інформаційна ентропія і Статистична дисперсія · Побачити більше »

Статистична механіка

Статисти́чна меха́ніка — розділ фізики, який, використовуючи статистичний підхід теорії ймовірності, вивчає макроскопічні властивості фізичних систем, що складаються із великого числа часток.

Новинка!!: Інформаційна ентропія і Статистична механіка · Побачити більше »

Стаціонарність

Стаціонарність — властивість процесу не змінювати свої характеристики з часом.

Новинка!!: Інформаційна ентропія і Стаціонарність · Побачити більше »

Стала Больцмана

Ста́ла Бо́льцмана (k або k_B) — фізична стала, що визначає зв'язок між температурою та енергією.

Новинка!!: Інформаційна ентропія і Стала Больцмана · Побачити більше »

Стиснення без втрат

Стиснення без втрат (Lossless compression) — метод стиснення даних, при використанні якого закодована інформація може бути повністю відновлена зі стиснутих даних.

Новинка!!: Інформаційна ентропія і Стиснення без втрат · Побачити більше »

Стиснення даних

Сти́снення да́них (data compression) — це процедура перекодування даних, яка проводиться з метою зменшення їхнього обсягу, розміру, об'єму.

Новинка!!: Інформаційна ентропія і Стиснення даних · Побачити більше »

Слід матриці

Слід матриці — операція, що відображає простір квадратних матриць у поле, над яким визначена матриця (див. функціонал).

Новинка!!: Інформаційна ентропія і Слід матриці · Побачити більше »

Спільна ентропія

Діаграма Венна різних мір інформації, пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y). У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних.

Новинка!!: Інформаційна ентропія і Спільна ентропія · Побачити більше »

Томас Ковер

Томас М. Ковер (7 серпня 1938 — 26 березня 2012 року) — американський інформаційний теоретик та професор на кафедрах електротехніки та статистики у Стенфордському університеті.

Новинка!!: Інформаційна ентропія і Томас Ковер · Побачити більше »

Термодинамічна система

Термодинам́ічна сист́ема (thermodynamic system) — об'єкт вивчення термодинаміки, сукупність матеріальних тіл, які перебувають у взаємодії з навколишніми тілами і можуть обмінюватися з ними енергією і частинками.

Новинка!!: Інформаційна ентропія і Термодинамічна система · Побачити більше »

Телерадіомовлення

Те́лера́діомо́влення — створення (комплектування та/або пакетування) і розповсюдження програм, пакетів програм, передач з використанням технічних засобів телекомунікацій для публічного приймання за допомогою побутових телеприймачів та радіоприймачів у відкритий спосіб чи за абонентну плату на договірних засадах.

Новинка!!: Інформаційна ентропія і Телерадіомовлення · Побачити більше »

Телекомунікації

Райстінгу, Баварія, Німеччина Телекомуніка́ції (Telecommunications) — це передавання та/або приймання знаків, сигналів, письмового тексту, зображень та звуків або повідомлень будь-якого роду дротовими, радіо, оптичними або іншими електромагнітними системами.

Новинка!!: Інформаційна ентропія і Телекомунікації · Побачити більше »

Теорія інформації

Теóрія інформáції — це розділ математики, який досліджує процеси зберігання, перетворення і передачі інформації.

Новинка!!: Інформаційна ентропія і Теорія інформації · Побачити більше »

Теорема Шеннона — Гартлі

Теорема Шеннона — Гартлі в теорії інформації — застосування теореми кодування каналу з шумом до архетипічного випадку безперервного тимчасового аналогового каналу комунікацій, спотвореного гаусівським шумом.

Новинка!!: Інформаційна ентропія і Теорема Шеннона — Гартлі · Побачити більше »

Умовна ентропія

взаємною інформацією I(X;Y). В теорії інформації умо́вна ентропі́я (або неви́значеність, англ. conditional entropy, equivocation) — це оцінка кількості інформації, необхідної, щоб описати вихід випадкової величини Y, враховуючи, що значення іншої випадкової величини X є відомим.

Новинка!!: Інформаційна ентропія і Умовна ентропія · Побачити більше »

Функція ймовірностей

Функція ймовірностей у теорії ймовірностей — найпоширеніший спосіб охарактеризувати дискретний розподіл.

Новинка!!: Інформаційна ентропія і Функція ймовірностей · Побачити більше »

Шкала

Шкала (вимірювання) (scale of measure) — відображення множини різних проявів якісної чи кількісної властивості на прийняту за угодою впорядковану множину чисел чи іншу систему логічно пов'язаних знаків (рос.) (рос.). Такою системою знаків може бути, наприклад, множина назв кольорів, сукупність класифікаційних символів чи понять, множина балів оцінки стану об'єкта, множина дійсних чисел тощо.

Новинка!!: Інформаційна ентропія і Шкала · Побачити більше »

Шеннон (одиниця вимірювання)

Ше́ннон (символ Ш, shannon, Sh), також відомий як біт, є та ентропії, визначеною стандартом .

Новинка!!: Інформаційна ентропія і Шеннон (одиниця вимірювання) · Побачити більше »

Міра різноманітності

Міра різноманітності (також індекс різноманітності) — безрозмірний показник, що застосовується в біології для визначення ступеню рівномірності розподілу ознак об’єктів вибірки.

Новинка!!: Інформаційна ентропія і Міра різноманітності · Побачити більше »

Міра Лебега

Міра Лебе́га на \R^n — міра, що є розширенням міри Жордана на ширший клас множин, була введена Лебегом в 1902 році.

Новинка!!: Інформаційна ентропія і Міра Лебега · Побачити більше »

Машина Тюрінга

Схематична ілюстрація роботи машини Тюрінга. Маши́на Тю́рінга — математичне поняття, введене для формального уточнення інтуїтивного поняття алгоритму.

Новинка!!: Інформаційна ентропія і Машина Тюрінга · Побачити більше »

Матриця густини

Матриця густини — математичний об'єкт, який використовується у квантовій механіці для опису ймовірності реалізації змішаних станів.

Новинка!!: Інформаційна ентропія і Матриця густини · Побачити більше »

Математична теорія зв'язку (стаття)

«Математична теорія зв’язку» (англ. A Mathematical Theory of Communication) — стаття, опублікована Клодом Шенноном у 1948 році в журналі американської телефонної компанії «Bell System» і зробивша його всесвітньо відомим.

Новинка!!: Інформаційна ентропія і Математична теорія зв'язку (стаття) · Побачити більше »

Математичне сподівання

Математи́чне сподіва́ння, середнє значення — одна з основних числових характеристик кожної випадкової величини.

Новинка!!: Інформаційна ентропія і Математичне сподівання · Побачити більше »

Марковська модель

У теорії ймовірностей, моделі Маркова це стохастичні моделі, які використовуються для моделювання систем, що випадково змінюються, де передбачається, що майбутні стани залежать тільки від поточного стану, а не від послідовності подій, які передували цьому (тобто, вона передбачає властивість Маркова).

Новинка!!: Інформаційна ентропія і Марковська модель · Побачити більше »

Метод невизначених множників

Метод невизначених множників або метод невизначених множників Лагранжа - метод знаходження умовного локального екстремуму, запропонований італійським математиком Жозефом-Луї Лагранжем.

Новинка!!: Інформаційна ентропія і Метод невизначених множників · Побачити більше »

Відстань Геммінга

Відстань Геммінга — число позицій, у яких відповідні цифри двох двійкових слів однакової довжини різні.

Новинка!!: Інформаційна ентропія і Відстань Геммінга · Побачити більше »

Відстань Левенштейна

Ві́дстань Левенште́йна (також функція Левенштейна, алгоритм Левенштейна або відстань редагування) у теорії інформації і комп'ютерній лінгвістиці міра відмінності двох послідовностей символів (рядків).

Новинка!!: Інформаційна ентропія і Відстань Левенштейна · Побачити більше »

Взаємна інформація

X). Фіолетове є взаємною інформацією I(X;Y). У теорії ймовірностей та теорії інформації взає́мна інформа́ція (mutual information, MI) двох випадкових величин — це міра взаємної залежності між цими двома величинами.

Новинка!!: Інформаційна ентропія і Взаємна інформація · Побачити більше »

Випадковість

Випадковість — це фактор, який визначає результат експерименту з множини можливих результатів, відомих заздалегідь.

Новинка!!: Інформаційна ентропія і Випадковість · Побачити більше »

Випадковий процес

Комп'ютерно змодельована реалізація процесу Вінера або процесу Броунівського руху на поверхню кулі. Вінерівський процес вважається найбільш вивченим і це базовий випадковий процес у теорії ймовірності. Випадко́вий проце́с (stochastic process) — важливе поняття сучасної теорії ймовірностей.

Новинка!!: Інформаційна ентропія і Випадковий процес · Побачити більше »

Власна інформація

В теорії інформації вла́сна інформ́ація (self-information), або несподі́ваність (surprisal), — це міра кількості інформації, пов'язаної з подією в імовірнісному просторі, або зі значенням дискретної випадкової величини.

Новинка!!: Інформаційна ентропія і Власна інформація · Побачити більше »

Густина імовірності

''N''(0, ''σ''2). Густина імовірності або щільність неперервної випадкової величини — це функція, що визначає ймовірнісну міру відносної правдоподібності, того що значення випадкової величини буде відповідати заданій події, для кожної окремої події (або точки) у просторі подій (множини всіх можливих значень, які може приймати випадкова величина).

Новинка!!: Інформаційна ентропія і Густина імовірності · Побачити більше »

Гістограма

Приклад гістограми Гістогра́ма (від histos, тут стовп + gramma — межа, буква, написання) — спосіб графічного представлення табличних даних.

Новинка!!: Інформаційна ентропія і Гістограма · Побачити більше »

Границя функції в точці

Границя функції в точці — фундаментальне поняття математичного аналізу, зокрема аналізу функцій дійсної змінної, число, до якого прямує значення функції, якщо її аргумент прямує до заданої точки.

Новинка!!: Інформаційна ентропія і Границя функції в точці · Побачити більше »

Гартлі (одиниця вимірювання)

Га́ртлі (позначення Гарт, hartley, Hart), раніше бан (ban) або дит (dit, скорочення від decimal digit), — логарифмічна одиниця вимірювання інформації або ентропії на основі логарифмів за основою 10 та степенів 10, радше ніж степенів 2 та логарифмів за основою 2, які визначають біт, або шеннон.

Новинка!!: Інформаційна ентропія і Гартлі (одиниця вимірювання) · Побачити більше »

Друге начало термодинаміки

Друге начало термодинаміки (другий закон термодинаміки) встановлює існування ентропії як функції стану термодинамічної системи і вводить поняття абсолютної термодинамічної температури). тобто "друге начало є законом про ентропію" і її властивості. У ізольованій системі ентропія залишається або незмінною, або зростає (в нерівноважних процесах)), досягаючи максимуму при встановленні термодинамічної рівноваги (закон зростання ентропії).

Новинка!!: Інформаційна ентропія і Друге начало термодинаміки · Побачити більше »

Джозая Віллард Гіббз

Джоза́я Ві́ллард Гіббз (Josiah Willard Gibbs, Джовса́я Ви́лард Ґи́бз; 11 лютого 1839, Нью-Гейвен, США — 28 квітня 1903, там само) — американський математик та фізик, один із засновників векторного аналізу та математичної теорії термодинаміки.

Новинка!!: Інформаційна ентропія і Джозая Віллард Гіббз · Побачити більше »

Джон фон Нейман

Джон фон Не́йман чи Джон фон Но́йман (John von Neumann), Нейман Янош Лайош (Neumann János Lajos; Йоганн фон Нойман (Johann von Neumann; 28 грудня 1903 — 8 лютого 1957) — американський математик угорського походження, що зробив значний вклад у квантову фізику, функціональний аналіз, теорію множин, інформатику, економічні науки та в інші численні розділи знання. Він став засновником теорії ігор разом із Оскаром Морґенштерном у 1944 році. Розробив архітектуру (так звану «архітектуру фон Неймана»), яка використовується в усіх сучасних комп'ютерах.

Новинка!!: Інформаційна ентропія і Джон фон Нейман · Побачити більше »

Дискретний рівномірний розподіл

В теорії ймовірностей і статистиці випадкова величина має дискретний рівномірний розподіл, якщо вона приймає скінченне число значень з однаковими ймовірностями.

Новинка!!: Інформаційна ентропія і Дискретний рівномірний розподіл · Побачити більше »

Динамічна система

атрактора Лоренца — популярний приклад нелінійної динамічної системи. Подібні системи вивчає теорія хаосу. Динамі́чна систе́ма — математична абстракція, призначена для опису і вивчення систем, що еволюціонують з часом.

Новинка!!: Інформаційна ентропія і Динамічна система · Побачити більше »

Демон Максвелла

Схематичне зображення демону Максвелла Демон Максвелла — уявний експеримент, запропонований 1867 року, а також його головний персонаж — гіпотетична розумна істота мікроскопічного розміру, придумана Джеймсом Максвеллом з метою проілюструвати удаваний парадокс другого закону термодинаміки.

Новинка!!: Інформаційна ентропія і Демон Максвелла · Побачити більше »

Інститут проблем реєстрації інформації НАН України

Інститут проблем реєстрації інформації НАН України (ІПРІ НАН України) — науково-дослідний інститут Відділення інформатики НАН України.

Новинка!!: Інформаційна ентропія і Інститут проблем реєстрації інформації НАН України · Побачити більше »

Інформація за Фішером

У математичній статистиці та теорії інформації інформацією за Фішером називається міра кількості інформації, що спостережувана випадкова змінна X несе про невідомий параметр θ, від якого залежить ймовірність X. Формально це дисперсія функції внеску вибірки.

Новинка!!: Інформаційна ентропія і Інформація за Фішером · Побачити більше »

Індекс Тейла

Індекс Тейла — показник вимірювання соціальної нерівності.

Новинка!!: Інформаційна ентропія і Індекс Тейла · Побачити більше »

Ета (літера)

Ета, іта (велика Η, мала η; ἦτα, новогрец. ήτα) — сьома літера грецької абетки.

Новинка!!: Інформаційна ентропія і Ета (літера) · Побачити більше »

Ентропія

Ентроп́ія S — фізична величина, яка використовується для опису термодинамічної системи, є одною з основних термодинамічних величин.

Новинка!!: Інформаційна ентропія і Ентропія · Побачити більше »

Ентропійна швидкість

У математичній теорії ймовірності шви́дкість ентропі́ї або шви́дкість джерела́ інформа́ції (entropy rate, source information rate) стохастичного процесу — це, неформально, часова густина усередненої інформації в стохастичному процесі.

Новинка!!: Інформаційна ентропія і Ентропійна швидкість · Побачити більше »

Ентропійне кодування

Ентропі́йне кодува́ння — кодування послідовності значень з можливістю однозначного відновлення з метою зменшення обсягу даних (довжини послідовності) за допомогою усереднення ймовірностей появи елементів у закодованій послідовності.

Новинка!!: Інформаційна ентропія і Ентропійне кодування · Побачити більше »

Людвіг Больцман

Лю́двіг Едуа́рд Бо́льцман (Ludwig Eduard Boltzmann; *20 лютого 1844, Лінц, Австрія — †5 вересня 1906, Дуїно, Італія) — австрійський фізик, який зробив великий внесок у розвиток термодинаміки й статистичної фізики на основі атомістичних уявлень.

Новинка!!: Інформаційна ентропія і Людвіг Больцман · Побачити більше »

Лічильна міра

Лічильна міра в функціональному аналізі - це формальний еквівалент кількості елементів множини.

Новинка!!: Інформаційна ентропія і Лічильна міра · Побачити більше »

Перенаправлення тут:

Ентропія Шеннона, Ентропія інформації.

ВихідніВхідний
Гей! Ми на Facebook зараз! »