Перехресна ентропія

У теорії інформації перехресна ентропія між двох розподілами ймовірності вимірює середню кількість біт, необхідних для впізнання події з набору можливостей, якщо схема кодування, що використовується, базується на заданому розподілі ймовірностей q, замість «істинного» розподілу p. Перехресна ентропія двох розподілів p і q на тому самому ймовірнісному просторі визначається наступним чином: де H(p) — ентропія p, і D_(p || q) — дивергенція Кульбака-Лейблера від q до p (також відома як відносна ентропія).

5 відносини: Розподіл ймовірностей, Теорія інформації, Метод перехресної ентропії, Відстань Кульбака — Лейблера, Інформаційна ентропія.

Розподіл ймовірностей

гральних кісток В математиці та статистиці розпо́діл ймові́рностей (який має математично описуватися функцією розподілу ймовірностей), ставить у відповідність кожному інтервалу ймовірність таким чином, що аксіоми ймовірностей виконуються.

Новинка!!: Перехресна ентропія і Розподіл ймовірностей · Побачити більше »

Теорія інформації

Теóрія інформáції — це розділ математики, який досліджує процеси зберігання, перетворення і передачі інформації.

Новинка!!: Перехресна ентропія і Теорія інформації · Побачити більше »

Метод перехресної ентропії

Метод перехресної ентропії – розроблений у 1997 році Р. Рубінштейном загальний підхід до комбінаторної та неперервної мульти-екстремальної оптимізації та вибірки за значущістю.

Новинка!!: Перехресна ентропія і Метод перехресної ентропії · Побачити більше »

Відстань Кульбака — Лейблера

Відстань Кульбака — Лейблера в теорії інформації і математичній статистиці — це міра того, наскільки відмінні між собою два ймовірнісних розподіли.

Новинка!!: Перехресна ентропія і Відстань Кульбака — Лейблера · Побачити більше »

Інформаційна ентропія

2 шеннони ентропії: у випадку двох справедливих підкидань монети, ентропія інформації є логарифмом за основою 2 з числа можливих результатів; за двох монет існує чотири можливі результати, й ентропія становить два біти. Взагалі, інформаційна ентропія є усередненою інформацією всіх можливих результатів. В теорії інформації системи моделюються передавачем, каналом та приймачем.

Новинка!!: Перехресна ентропія і Інформаційна ентропія · Побачити більше »

Юніонпедія є ментальна карта, концепція карта, або семантична мережа організована як енциклопедія або словник. Це дає коротке визначення кожному поняттю і його відносин.

Це гігантська онлайн ментальної карти, яка служить в якості основи для концепції діаграм. Це вільно використовувати і кожна стаття або документ може бути завантажений. Це інструмент, ресурс або заслання для вивчення, дослідження, освіта, навчання або викладання, які можуть бути використані вчителями, педагогами, учнями та студентами; для академічного світу: для школи, початкової, середньої, середній школі, коледжі, посеред, технічної ступеня, коледж, університет, студентів, магістрів або докторські ступені; для паперів, звітів, проектів, ідей, документації, опитувань, резюме, або дисертації. Ось визначення, пояснення, опис, або сенс кожного значним, на якому вам потрібна інформація, а також список пов'язаних з ними понять, як глосарій. Доступна на Український, англійська, іспанська, португальська, японська, китайська, французька, німецька, італійська, польська, голландська, російська, арабська, гінді, шведська, угорська, каталонська, чеська, іврит, датський, фінський, індонезійська, норвезький, румунський, турецька, в'єтнамський, корейська, тайська, грецька, болгарський, хорватська, словацька, литовський, філіппінський, латвійська, естонії і словенії. Інші мови найближчим часом.

Вся інформація була витягнута з Вікіпедії, і це доступний згідно з ліцензією Creative Commons Attribution-ShareAlike.

Юніонпедія не схвалена Фондом Вікімедіа та не пов’язана з ним.

Google Play, Android і логотип Google Play є торговельними марками корпорації Google Inc.

Політика конфіденційності