Логотип
Юніонпедія
Зв'язок
Завантажити з Google Play
Новинка! Завантажити Юніонпедія на вашому Android™ пристрої!
безкоштовно
Більш швидкий доступ, ніж браузер!
 

Взаємна інформація

Індекс Взаємна інформація

X). Фіолетове є взаємною інформацією I(X;Y). У теорії ймовірностей та теорії інформації взає́мна інформа́ція (mutual information, MI) двох випадкових величин — це міра взаємної залежності між цими двома величинами.

65 відносини: Cambridge University Press, MATLAB, PDF, Springer Science+Business Media, Критерій узгодженості Пірсона, Кластеризація методом к–середніх, Кластерний аналіз, Корпусна лінгвістика, Кореляція і залежність, Кореляційна функція, Коваріація, Колмогоровська складність, Колокація (лінгвістика), Коефіцієнт кореляції Пірсона, Коефіцієнт Жаккара, Прихована марковська модель, Предметна область, Поточкова взаємна інформація, Поняття, Обирання ознак, Одиниця вимірювання, Надмірність інформації, Неперервна функція, Розрізнювальна модель, Реєстрація зображень, Статистична механіка, Статистика (математика), Стала Больцмана, Стиснення даних, Система координат, Синхронізація коливань, Спільна ентропія, Спільний розподіл, Таблиця спряженості, Тоді й лише тоді, Телекомунікації, Теорія інформації, Теорія ймовірностей, Теорема Ліувілля про збереження фазового об'єму, Умовна ентропія, Умовний розподіл, Фазовий простір, Часовий ряд, Штучна нейронна мережа, Машинне навчання, Медична візуалізація, Зворотність, Біт, Баєсова мережа, Багатовимірний нормальний розподіл, ..., Багатократний інтеграл, Відстань Кульбака — Лейблера, Відособлений розподіл, Випадкова величина, Ген, Генна регуляторна мережа, Дійсне число, Двійкова система числення, Дисперсія випадкової величини, Динамічна баєсова мережа, Дерева рішень у машинному навчанні, Ієрархічна кластеризація, Інформаційна ентропія, Ентропія, Людвіг Больцман. Розгорнути індекс (15 більше) »

Cambridge University Press

Видавництво Кембриджського університету, Кембридж, Англія Видавництво Кембриджського університету (Cambridge University Press, скор.: CUP) — видавництво, що входить до складу Кембриджського університету в Англії.

Новинка!!: Взаємна інформація і Cambridge University Press · Побачити більше »

MATLAB

MATLAB — пакет прикладних програм для числового аналізу, а також мова програмування, що використовується в даному пакеті.

Новинка!!: Взаємна інформація і MATLAB · Побачити більше »

PDF

Portable Document Format (PDF) — відкритий формат файлу, створений і підтримуваний компанією Adobe Systems, для представлення двовимірних документів у незалежному від пристрою виведення та роздільної здатності вигляді.

Новинка!!: Взаємна інформація і PDF · Побачити більше »

Springer Science+Business Media

Springer Science+Business Media або Springer — це глобальна видавнича компанія, що видає книги, електронні книги, і рецензовані журнали на наукову, технологічну і медичну тематику.

Новинка!!: Взаємна інформація і Springer Science+Business Media · Побачити більше »

Критерій узгодженості Пірсона

Критерій узгодженості Пірсона — один з найвідоміших критеріїв \chi^2, тому його часто і називають просто «критерій хі-квадрат».

Новинка!!: Взаємна інформація і Критерій узгодженості Пірсона · Побачити більше »

Кластеризація методом к–середніх

Кластериза́ція ме́тодом k-сере́дніх (k-means clustering) — популярний метод кластеризації, — впорядкування множини об'єктів в порівняно однорідні групи.

Новинка!!: Взаємна інформація і Кластеризація методом к–середніх · Побачити більше »

Кластерний аналіз

Кластерний аналіз (Data clustering) — задача розбиття заданої вибірки об'єктів (ситуацій) на підмножини, що називаються кластерами, так, щоб кожен кластер складався з схожих об'єктів, а об'єкти різних кластерів істотно відрізнялися.

Новинка!!: Взаємна інформація і Кластерний аналіз · Побачити більше »

Корпусна лінгвістика

Ко́рпусна лінгві́стика — розділ мовознавства, що вивчає створення, обробку та використання корпусів.

Новинка!!: Взаємна інформація і Корпусна лінгвістика · Побачити більше »

Кореляція і залежність

Декілька наборів точок (''x'', ''y''), над кожним з яких вказано коефіцієнт кореляції Пірсона величин ''x'' і ''y''. Слід відмітити, що кореляція відображає зашумленість і напрям лінійної залежності (верхній ряд), але не відображає нахилу цієї залежності (по середині), і не відображає багато аспектів нелінійних залежностей (нижній ряд). N.B.: малюнок в центрі має нульовий нахил, але в даному випадку коефіцієнт кореляції є невизначними, оскільки дисперсія ''Y'' дорівнює нулю. У статистиці залежність або пов'язаність є будь-яким статистичним відношенням, чи каузальним, чи ні, між двома випадковими величинами або біваріантними даними.

Новинка!!: Взаємна інформація і Кореляція і залежність · Побачити більше »

Кореляційна функція

Кореляційна функція — функція часу або просторових координат, яка задає кореляцію у системах із випадковими процесами.

Новинка!!: Взаємна інформація і Кореляційна функція · Побачити більше »

Коваріація

У теорії ймовірності та статистиці, коваріа́ція (covariance) — це міра спільної мінливості двох випадкових змінних.

Новинка!!: Взаємна інформація і Коваріація · Побачити більше »

Колмогоровська складність

Складність та ентропія конструктивних об'єктів, відома як колмоговська складність, складність колмогова, стохастична складність в алгоритмічній теорії інформації, складність об'єкту(або тексту) -- є міра обчислювальних ресурсів, що необхідні для того, щоб точно визначити цей об'єкт.

Новинка!!: Взаємна інформація і Колмогоровська складність · Побачити більше »

Колокація (лінгвістика)

Колокації (сollocations) – це комбінація двох або більше слів, які формують стійке словосполучення, що відіграє важливе значення для природного звучання іноземної мови.

Новинка!!: Взаємна інформація і Колокація (лінгвістика) · Побачити більше »

Коефіцієнт кореляції Пірсона

Коефіцієнт кореляції Пірсона (позначають «r») — в статистиці, показник кореляції (лінійної залежності) між двома змінними X та Y, який набуває значень від −1 до +1 включно.

Новинка!!: Взаємна інформація і Коефіцієнт кореляції Пірсона · Побачити більше »

Коефіцієнт Жаккара

Мі́ра Жакка́ра (коефіціє́нт флористи́чної спі́льності, coefficient de communaute., Gemlinschaftskoefficient.) — бінарна міра подібності, запропонована в 1901 році.

Новинка!!: Взаємна інформація і Коефіцієнт Жаккара · Побачити більше »

Прихована марковська модель

Прихо́вана ма́рковська моде́ль, ПММ (hidden Markov model, HMM) — це статистична марковська модель, у якій система, що моделюється, розглядається як марковський процес із неспостережуваними (прихованими) станами.

Новинка!!: Взаємна інформація і Прихована марковська модель · Побачити більше »

Предметна область

Предме́тна о́бласть (ПрО) — множина всіх предметів, властивості яких і відношення між якими розглядаються в науковій теорії.

Новинка!!: Взаємна інформація і Предметна область · Побачити більше »

Поточкова взаємна інформація

Пото́чкова взає́мна інформа́ція (ПВІ, pointwise mutual information, PMI), або то́чкова взає́мна інформа́ція (point mutual information) — це міра пов'язаності, що використовується в теорії інформації та статистиці.

Новинка!!: Взаємна інформація і Поточкова взаємна інформація · Побачити більше »

Поняття

Поня́ття — форма мислення, яка відображає істотні властивості, зв'язки і відношення предметів і явищ в їхній суперечності і розвитку; думка або система думок, що узагальнює, виділяє предмети деякого класу за визначеними загальними і в сукупності специфічними для них ознаками.

Новинка!!: Взаємна інформація і Поняття · Побачити більше »

Обирання ознак

В машинному навчанні та статистиці обира́ння озна́к, відоме також як обира́ння змі́нних, обира́ння атрибу́тів та обира́ння підмножини́ змі́нних (feature selection, variable selection, attribute selection, variable subset selection) — це процес обирання підмножини доречних ознак (змінних, провісників) для використання в побудові моделі.

Новинка!!: Взаємна інформація і Обирання ознак · Побачити більше »

Одиниця вимірювання

Одини́ця вимі́рювання (measuring unit, unit of measure) — фізична величина певного розміру, прийнята для кількісного відображення однорідних з нею величин.

Новинка!!: Взаємна інформація і Одиниця вимірювання · Побачити більше »

Надмірність інформації

Надмірність в теорії інформації це кількість бітів, використовуваних для передачі повідомлення мінус кількість бітів фактичної інформації в повідомленні.

Новинка!!: Взаємна інформація і Надмірність інформації · Побачити більше »

Неперервна функція

Непере́рвна фу́нкція — одне з основних понять математичного аналізу.

Новинка!!: Взаємна інформація і Неперервна функція · Побачити більше »

Розрізнювальна модель

Розрі́знювальні моде́лі (discriminative models), що також називають умо́вними моде́лями (conditional models), є класом моделей, які застосовуються в машинному навчанні для моделювання залежності неспостережуваної змінної y від спостережуваної змінної x. В рамках імовірнісної схеми це здійснюється моделюванням умовного розподілу ймовірності P(y|x), який може застосовуватися для передбачення y з x. Розрізнювальні моделі, на противагу до породжувальних, не дозволяють породжувати приклади зі спільного розподілу x та y. Проте для таких задач як класифікація та регресія, що не потребують спільного розподілу, розрізнювальні моделі можуть демонструвати чудову продуктивність.

Новинка!!: Взаємна інформація і Розрізнювальна модель · Побачити більше »

Реєстрація зображень

Накладання декількох зображень однієї і тієї ж сцени з різними експозиціями для поліпшення співвідношення сигнал-шум. На картинці стало видно віддалені контури альпійських гір. Реєстрація зображень (зіставлення, накладання) — це процес трансформування різних наборів даних в одну координатну систему.

Новинка!!: Взаємна інформація і Реєстрація зображень · Побачити більше »

Статистична механіка

Статисти́чна меха́ніка — розділ фізики, який, використовуючи статистичний підхід теорії ймовірності, вивчає макроскопічні властивості фізичних систем, що складаються із великого числа часток.

Новинка!!: Взаємна інформація і Статистична механіка · Побачити більше »

Статистика (математика)

В математичній статистиці статистикою називають довільну функцію від вибірки.

Новинка!!: Взаємна інформація і Статистика (математика) · Побачити більше »

Стала Больцмана

Ста́ла Бо́льцмана (k або k_B) — фізична стала, що визначає зв'язок між температурою та енергією.

Новинка!!: Взаємна інформація і Стала Больцмана · Побачити більше »

Стиснення даних

Сти́снення да́них (data compression) — це процедура перекодування даних, яка проводиться з метою зменшення їхнього обсягу, розміру, об'єму.

Новинка!!: Взаємна інформація і Стиснення даних · Побачити більше »

Система координат

Система координат — спосіб задання точок простору за допомогою чисел.

Новинка!!: Взаємна інформація і Система координат · Побачити більше »

Синхронізація коливань

Синхронізація коливань (фазова синхронізація) (від συνχρόνος — одночасний) — механізм встановлення і підтримки режиму коливань двох і більше пов'язаних осциляторів, при якому частоти цих осциляторів збігаються або лишаються кратними одна одній.

Новинка!!: Взаємна інформація і Синхронізація коливань · Побачити більше »

Спільна ентропія

Діаграма Венна різних мір інформації, пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y). У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних.

Новинка!!: Взаємна інформація і Спільна ентропія · Побачити більше »

Спільний розподіл

У дослідженнях імовірності для заданих щонайменше двох випадкових змінних X, Y,..., що визначені на ймовірнісному просторі, спі́льний розпо́діл імові́рності для X, Y,...

Новинка!!: Взаємна інформація і Спільний розподіл · Побачити більше »

Таблиця спряженості

У статистиці, таблиця спряженості (таблиця контингентності або факторна таблиця) — таблиця, у форматі матриці, яка показує розподіл частоти змінних.

Новинка!!: Взаємна інформація і Таблиця спряженості · Побачити більше »

Тоді й лише тоді

↔ ⇔ ≡ символи, що позначають тоді і тільки тоді.

Новинка!!: Взаємна інформація і Тоді й лише тоді · Побачити більше »

Телекомунікації

Райстінгу, Баварія, Німеччина Телекомуніка́ції (Telecommunications) — це передавання та/або приймання знаків, сигналів, письмового тексту, зображень та звуків або повідомлень будь-якого роду дротовими, радіо, оптичними або іншими електромагнітними системами.

Новинка!!: Взаємна інформація і Телекомунікації · Побачити більше »

Теорія інформації

Теóрія інформáції — це розділ математики, який досліджує процеси зберігання, перетворення і передачі інформації.

Новинка!!: Взаємна інформація і Теорія інформації · Побачити більше »

Теорія ймовірностей

Тео́рія імові́рності — розділ математики, що вивчає закономірності випадкових явищ: випадкові події, випадкові величини, їхні функції, властивості й операції над ними.

Новинка!!: Взаємна інформація і Теорія ймовірностей · Побачити більше »

Теорема Ліувілля про збереження фазового об'єму

Теорема Ліувілля — ключова теорема гамільтонової механіки і класичної статистичної фізики.

Новинка!!: Взаємна інформація і Теорема Ліувілля про збереження фазового об'єму · Побачити більше »

Умовна ентропія

взаємною інформацією I(X;Y). В теорії інформації умо́вна ентропі́я (або неви́значеність, англ. conditional entropy, equivocation) — це оцінка кількості інформації, необхідної, щоб описати вихід випадкової величини Y, враховуючи, що значення іншої випадкової величини X є відомим.

Новинка!!: Взаємна інформація і Умовна ентропія · Побачити більше »

Умовний розподіл

Умовний розподіл у теорії ймовірностей — це розподіл випадкової величини за умови, що інша випадкова величина набуває визначене значення.

Новинка!!: Взаємна інформація і Умовний розподіл · Побачити більше »

Фазовий простір

Двовимірний фазовий простір динамічної системи (фазова траєкторія цієї системи має вигляд розбіжної спіралі) Фáзовий прóстір — багатовимірний простір змінних динамічної системи.

Новинка!!: Взаємна інформація і Фазовий простір · Побачити більше »

Часовий ряд

Часовий ряд: випадкові точки даних плюс тенденція, з найкраще пристосованою лінією та різними застосованими фільтрами Часовий ряд (time series) — це ряд, проіндексованих (або перелічених, або відкладених на графіку) в хронологічному порядку.

Новинка!!: Взаємна інформація і Часовий ряд · Побачити більше »

Штучна нейронна мережа

головному мозку. Тут кожним круговим вузлом представлено штучний нейрон, а стрілкою — з'єднання виходу одного штучного нейрону зі входом іншого. Шту́чні нейро́нні мере́жі (ШНМ, artificial neural networks, ANN), або системи (connectionist systems) — це обчислювальні системи, натхнені біологічними нейронними мережами, що складають мозок тварин.

Новинка!!: Взаємна інформація і Штучна нейронна мережа · Побачити більше »

Машинне навчання

Машинне навчання (machine learning) — це підгалузь штучного інтелекту в галузі інформатики, яка часто застосовує статистичні прийоми для надання комп'ютерам здатності «навчатися» (тобто, поступово покращувати продуктивність у певній задачі) з даних, без того, щоби бути програмованими явно.

Новинка!!: Взаємна інформація і Машинне навчання · Побачити більше »

Медична візуалізація

аневризми черевної аорти Медична візуалізація — це методика і процес створення візуальних зображень внутрішніх органів з метою проведення клінічного аналізу і медичного втручання.

Новинка!!: Взаємна інформація і Медична візуалізація · Побачити більше »

Зворотність

Зворотність — фізичне поняття, яке відображає характер зміни фізичних величин і фізичних процесів при формальній заміні напрямку плину часу на протилежний.

Новинка!!: Взаємна інформація і Зворотність · Побачити більше »

Біт

Тумблер, фізичний еквівалент одного біта Біт (bit, переклад: шматочок) — мінімальна одиниця кількості інформації, яка дорівнює одному двійковому розряду, який може бути рівним одному з двох значень/станів (0 або 1), застосовуваних для представлення даних у двійковій системі числення.

Новинка!!: Взаємна інформація і Біт · Побачити більше »

Баєсова мережа

Ба́єсова мере́жа, мере́жа Ба́єса, мере́жа перекона́нь, ба́єсова моде́ль або ймові́рнісна орієнто́вана ациклі́чна гра́фова моде́ль (Bayesian network, Bayes network, belief network, Bayes(ian) model, probabilistic directed acyclic graphical model) — це ймовірнісна графічна модель (різновид статистичної моделі), яка представляє набір випадкових змінних та їхніх за допомогою орієнтованого ациклічного графу (ОАГ, directed acyclic graph, DAG).

Новинка!!: Взаємна інформація і Баєсова мережа · Побачити більше »

Багатовимірний нормальний розподіл

Багатовимірний нормальний розподіл (чи багатовимірний гаусів розподіл) у теорії ймовірностей — це узагальнення одновимірного нормального розподілу для випадку із багатьма вимірами.

Новинка!!: Взаємна інформація і Багатовимірний нормальний розподіл · Побачити більше »

Багатократний інтеграл

Багатокра́тний інтегра́л це обмежений інтеграл функції, що має декілька дійсних змінних, наприклад, або.

Новинка!!: Взаємна інформація і Багатократний інтеграл · Побачити більше »

Відстань Кульбака — Лейблера

Відстань Кульбака — Лейблера в теорії інформації і математичній статистиці — це міра того, наскільки відмінні між собою два ймовірнісних розподіли.

Новинка!!: Взаємна інформація і Відстань Кульбака — Лейблера · Побачити більше »

Відособлений розподіл

У теорії ймовірностей та статистиці відосо́блений розпо́діл (marginal distribution) підмножини набору випадкових змінних — це розподіл імовірності змінних, що містяться у цій підмножині.

Новинка!!: Взаємна інформація і Відособлений розподіл · Побачити більше »

Випадкова величина

Випадкова величина (Random variable) — величина, можливими значеннями якої є результат випробування випадкового явища.

Новинка!!: Взаємна інформація і Випадкова величина · Побачити більше »

Ген

Ген — одиниця спадкового матеріалу, що відповідає за формування певної елементарної ознаки.

Новинка!!: Взаємна інформація і Ген · Побачити більше »

Генна регуляторна мережа

Структура генної регуляторної мережі Керування генною регуляторною мережею Генна регуляторна мережа (ГРМ) — це набір молекулярних регуляторів що взаємодіють один з одним, а також з іншими речовинами в клітині та керують рівнем гена експресії матричної рибонуклеїнової кислоти (мРНК) та білків.

Новинка!!: Взаємна інформація і Генна регуляторна мережа · Побачити більше »

Дійсне число

Числова пряма Дійсні числа — елементи числової системи, яка містить у собі раціональні числа і, в свою чергу, є підмножиною комплексних чисел.

Новинка!!: Взаємна інформація і Дійсне число · Побачити більше »

Двійкова система числення

Двійкова система числення — це позиційна система числення, база якої дорівнює двом та використовує для запису чисел тільки два символи: зазвичай 0 (нуль) та 1 (одиницю).

Новинка!!: Взаємна інформація і Двійкова система числення · Побачити більше »

Дисперсія випадкової величини

Приклад вибірок двох сукупностей із однаковим середнім значенням але різною дисперсією. Червоним позначено вибірку із середнім 100 і дисперсією 100 (стандартним відхиленням.

Новинка!!: Взаємна інформація і Дисперсія випадкової величини · Побачити більше »

Динамічна баєсова мережа

Динамі́чна ба́єсова мере́жа (ДБМ, Dynamic Bayesian Network, DBN) — це баєсова мережа, що співвідносить змінні між собою через суміжні проміжки часу.

Новинка!!: Взаємна інформація і Динамічна баєсова мережа · Побачити більше »

Дерева рішень у машинному навчанні

Дерева рішень у машинному навчанні використовуються як, що відображають знання про об'єкт (представлені гілками) у множину рішень.

Новинка!!: Взаємна інформація і Дерева рішень у машинному навчанні · Побачити більше »

Ієрархічна кластеризація

Ієрархічна кластеризація (також «графові алгоритми кластеризації») — сукупність алгоритмів впорядкування даних, візуалізація яких забезпечується за допомогою графів.

Новинка!!: Взаємна інформація і Ієрархічна кластеризація · Побачити більше »

Інформаційна ентропія

2 шеннони ентропії: у випадку двох справедливих підкидань монети, ентропія інформації є логарифмом за основою 2 з числа можливих результатів; за двох монет існує чотири можливі результати, й ентропія становить два біти. Взагалі, інформаційна ентропія є усередненою інформацією всіх можливих результатів. В теорії інформації системи моделюються передавачем, каналом та приймачем.

Новинка!!: Взаємна інформація і Інформаційна ентропія · Побачити більше »

Ентропія

Ентроп́ія S — фізична величина, яка використовується для опису термодинамічної системи, є одною з основних термодинамічних величин.

Новинка!!: Взаємна інформація і Ентропія · Побачити більше »

Людвіг Больцман

Лю́двіг Едуа́рд Бо́льцман (Ludwig Eduard Boltzmann; *20 лютого 1844, Лінц, Австрія — †5 вересня 1906, Дуїно, Італія) — австрійський фізик, який зробив великий внесок у розвиток термодинаміки й статистичної фізики на основі атомістичних уявлень.

Новинка!!: Взаємна інформація і Людвіг Больцман · Побачити більше »

Перенаправлення тут:

Нормалізована взаємна інформація, Симетрична невизначеність, Трансінформація, Унормована взаємна інформація, Усереднена взаємна інформація, Метрика взаємної інформації, Взаємна ентропія.

ВихідніВхідний
Гей! Ми на Facebook зараз! »