Probability Random Variables and Data Analytics with Engineering Applications P. Mohana Shankar - The ebook is ready for download with just one simple click
Probability Random Variables and Data Analytics with Engineering Applications P. Mohana Shankar - The ebook is ready for download with just one simple click
com
https://ebookmeta.com/product/probability-random-variables-
and-data-analytics-with-engineering-applications-p-mohana-
shankar/
OR CLICK HERE
DOWLOAD EBOOK
https://ebookmeta.com/product/probability-random-variables-and-data-
analytics-with-engineering-applications-p-mohana-shankar-2/
ebookmeta.com
https://ebookmeta.com/product/probability-random-variables-and-random-
processes-4th-edition-hwei-p-hsu/
ebookmeta.com
https://ebookmeta.com/product/schaum-s-outline-of-probability-random-
variables-and-random-processes-4th-edition-hwei-p-hsu/
ebookmeta.com
https://ebookmeta.com/product/vicious-deception-a-dark-why-choose-
romance-1st-edition-elira-firethorn/
ebookmeta.com
Fodor s Florida 35th Edition Fodor'S Travel Guides
https://ebookmeta.com/product/fodor-s-florida-35th-edition-fodors-
travel-guides/
ebookmeta.com
https://ebookmeta.com/product/sustainable-business-key-issues-3rd-ed-
helen-kopnina/
ebookmeta.com
https://ebookmeta.com/product/academic-advising-and-the-first-college-
year-1st-edition-jenny-r-fox/
ebookmeta.com
https://ebookmeta.com/product/billionaire-brocker-brothers-
accidentally-devoted-1st-edition-jenn-sable/
ebookmeta.com
https://ebookmeta.com/product/the-justice-of-kings-richard-swan/
ebookmeta.com
Cambridge IGCSE and O Level Business Studies Second
Edition Revision Guide Houghton
https://ebookmeta.com/product/cambridge-igcse-and-o-level-business-
studies-second-edition-revision-guide-houghton/
ebookmeta.com
P. Mohana Shankar
The publisher, the authors and the editors are safe to assume that the
advice and information in this book are believed to be true and accurate
at the date of publication. Neither the publisher nor the authors or the
editors give a warranty, expressed or implied, with respect to the
material contained herein or for any errors or omissions that may have
been made. The publisher remains neutral with regard to jurisdictional
claims in published maps and institutional affiliations.
This Springer imprint is published by the registered company Springer
Nature Switzerland AG
The registered company address is: Gewerbestrasse 11, 6330 Cham,
Switzerland
Dedicated to my parents Padmanabharao and Kanakabai who were
teachers.
Preface
This book presents the essential elements of probability and statistics
and their applications relevant to engineering applications. The topics
covered along with examples and demos are expected to meet the
requirements of the undergraduate course in probability for students
pursuing engineering education. A unique feature of the book has been
the inclusion of computational aspects involving examples and
exercises requiring random number simulations and data analysis. This
paradigm shift in the contents of the book offers an opportunity to link
concepts in statistics (including random variables) to practical
applications in engineering, business and medicine. With Excel
spreadsheets of data provided, the book offers a balanced mix of
traditional topics and data analytics, expanding the scope, diversity and
applications of engineering probability. The solution manual will be
available to instructors. It contains solutions to both types of exercises
namely the traditional ones and analytical ones and others based on
data sets relevant to machine vision, machine learning and medical
diagnostics.
The book took almost 3 years to complete and grew out of the notes,
examples, demos and exercises created while teaching engineering
probability in the Department of Electrical and Computer Engineering,
Drexel University during the past several years. The timely completion
of the book was possible only through the wholehearted support and
active engagement of my wife Raja and daughter Raji. Their support
was immeasurable and invaluable.
I also want to express my sincere thanks to Mary James, Brian Halm
and Zoe Kennedy at Spinger (New York) and the Springer production
team (Brinda Megasyamalan, Silembarasan Pannerselvam and Mario
Gabriele) for their commitment and support to the book project.
P. Mohana Shankar
Philadelphia, PA, USA
Contents
1 Introduction
2 Sets, Venn Diagrams, Probability, and Bayes’ Rule
2.1 Introduction
2.2 Algebra of Sets
2.2.1 Summary of Relationships
2.2.2 Overview of Properties of Sets
2.3 Sets, Events, Outcomes, and Probabilities
2.3.1 OR, AND, at Least, and at Most
2.3.2 Probability Expressed as a Continuous Function
2.3.3 Probability as a Geometric Measure
2.4 Conditional Probability and Bayes’ Rule
2.4.1 Conditional Probability, Subsets, and Difference of
Two Sets
2.4.2 Conditional Probability and Multiplication Theorem of
Probability
2.4.3 Bayes’ Rule of Total Probability:a priori and a
posteriori Probabilities
2.4.4 Conditional Probability Revisited:Conditionality and
Correlation
2.4.5 Data Analytics, Confusion Matrix, and Positive
Predictive Value
2.5 Permutations, Combinations, and Bernoulli Trials
2.6 Summary
Exercises
References
3 Concept of a Random Variable
3.1 Introduction
3.2 Distribution and Density Functions
3.2.1 Characteristics of the CDF and pdf
3.2.2 Discrete vs.Continuous Random Variables
3.3 Moments, Characteristic Functions (CHF), Moment
Generating Functions (MGF), and Laplace Transforms
3.4 Continuous and Discrete Random Variables:Some Common
Densities
3.5 Conditional Densities and Conditional Distribution
Functions
3.5.1 Total Probability and Bayes’ Rule
3.5.2 Memoryless Property
3.6 Uniform Density Revisited
3.7 Transformation of Random Variables
3.8 Mixed Random Variables and Mixed Transformations
3.9 Miscellaneous Topics
3.9.1 Hazard Rates and Reliability
3.9.2 Error Rates
3.9.3 Receiver Operating Characteristics Curves
3.9.4 Mixture Densities
3.9.5 Some Additional Aspects and Properties of Random
Variables
3.9.6 Step Functions and Delta Functions
3.9.7 Normal Probability Table
3.10 Summary
3.10.1 Overview of Densities and Their Properties
3.10.2 Moment Generating Function and Its Use:
Exponential, Gamma, Rayleigh, Uniform, Gaussian, and
Poisson Densities
3.10.3 Overview of Transformations
3.10.4 An Alternate View of Transformation of a Random
Variable
3.10.5 Conditional Densities and Conditional Expectation
Revisited
3.10.6 Proofs of the Moments of Gaussian and Rayleigh
Densities
3.10.7 Moments of a Poisson Random Variable
Exercises
References
4 Multiple Random Variables and Their Characteristics
4.1 Introduction
4.2 Joint Distribution and Densities
4.3 Conditional Densities
4.4 Two-Stage Experiments
4.5 Function of Two Random Variables
4.5.1 Sum of Two Random Variables
4.5.2 Ratio of Two Random Variables
4.5.3 Product of Two Random Variables
4.5.4 Density of g(X,Y) Graphically
4.5.5 Other Useful Transformations: max{X,Y} and min{X,Y}
4.5.6 Joint Density of Two Functions of a Pair of Random
Variables
4.6 Joint Moments, Correlation, Covariance, Etc.
4.6.1 Bayes’ Rule, Conditionality and Correlation
4.7 Characteristic Functions, Laplace Transforms, and Mellin
Transforms
4.8 Multiple Random Variables
4.8.1 Order Statistics
4.8.2 Central Limit Theorem for the Sum
4.8.3 Central Limit Theorem for the Products
4.8.4 Densities of the Sum of the Squares of Normal
Variables
4.9 Summary
4.9.1 Density of a Function of Two or More Independent
Variables
4.9.2 Density of the Difference of Two Independent Random
Variables (Detailed Analysis)
4.9.3 Leibniz Rule:Differentiation of a Definite Integral
Exercises
References
5 Applications to Data Analytics and Modeling
5.1 Introduction
5.2 Receiver Operating Characteristics (ROC) Curves
5.2.1 Optimal Operating Point (OOP) and Positive Predictive
Value (PPV)
5.2.2 Statistical Variation of the Area under the ROC Curve
5.2.3 Improvement in Performance and Statistical Modeling
5.3 Bayesian Decision Theory
5.3.1 ROC Analysis Revisited Through Bayes’ Decision
Theory
5.3.2 Optimal Operating Point (Revisited)
5.4 Bootstrapping
5.4.1 Bootstrapping of the Population Mean
5.4.2 Bootstrapping of Area Under the ROC Curve (AUC)
5.4.3 Bootstrapping in Machine Vision and Medical
Diagnostics:AUC Comparison
5.5 Applications in Telecommunications
5.5.1 Wireless Channel Models
5.5.2 Diversity Techniques
5.6 Applications to Reliability of Interconnected Systems
5.7 Summary
Exercises
References
Appendix A: t-Tests, z-Tests, and p-Values
Appendix B
Bibliography
Index
© Springer Nature Switzerland AG 2021
P. M. Shankar, Probability, Random Variables, and Data Analytics with Engineering
Applications
https://doi.org/10.1007/978-3-030-56259-5_1
1. Introduction
P. Mohana Shankar1
(1) Electrical and Computer Engineering, Drexel University,
Philadelphia, PA, USA
2.1 Introduction
The study of the probability involves analysis of outcomes,
observations, events, occurrences, etc. This suggests that a simple way
to build a basic understanding of the concepts of probability is through
the use of methods commonly used to group outcomes or events and
analysis of these groups or sets. Thus the starting point of discussion
will be the development of an understanding of the properties of sets,
manipulation of sets, and outcomes. Once the algebraic manipulations
of sets (addition, multiplication, subtraction) are understood, the
transition to probability becomes easy and straightforward.
(2.18)
(2.19)
Figure Ex.2.1
The Venn diagram in Figure Ex.2.1 shows that the sets A and C, D and C,
B and D, and B and C are disjoint. D is a subset of A and the intersection
of A and B is the set consisting of elements {4, 5, 6}. These observations
may be summarized as
The equation above means that if we define P as the set that is
complementary to A ∪ B ∪ C, we have
Fig. 2.3 Intersection of A and B (overlap of A and B): A and B not disjoint
Fig. 2.4 A∪B expressed as the union of three disjoint sets , each of which is an
intersection of two sets
(2.22)
(2.23)
(2.24)
If A ⊂ B (see Fig. 2.6), we see that A and (B–A) are disjoint.
Fig. 2.6 Difference between B and A, A⊂B
It is worthwhile to note that union of the event with itself and
intersection of the event with itself is the event as seen in Eq. (2.18).
(2.25)
Additionally, for any two sets A and B, the following results can
easily be proven using Venn diagrams .
(2.26)
(2.27)
(2.28)
Subsets can also be created from continuous outcomes. If
S = {lifetimes of computers}, it implies that S = {t ≥ 0} where t
represents the time (let us say in years). If we now create two sets by
observing the performance of systems over a long period of time, we
can create two events A = {0 ≤ t ≤ 5} where computers seem to last up
to 5 years and B = {3 ≤ t ≤ 4} where computers seem to operate
between 3 and 4 years. In this case, it is seen that B ⊂ A.
Let us examine the difference of two sets. The difference between A
and B is the set A–B. This means that A–B represents the elements of A
that are not elements of B. In this case, the events B and (A–B) are
disjoint.
(2.29)
The set (A–B) is the region of A excluding the overlap of A and B as
shown in Fig. 2.7. Therefore,
(2.30)
(2.31)
(2.35)
You will also notice that the events (A–B) and AB are disjoint and A
is the union of these two disjoint events,
(2.36)
Similarly, B–A can be expressed as
(2.37)
Using Eq. (2.37), we can write the identity for B where B is
expressed as the union of two disjoint sets (B–A) and AB. This means
that
(2.38)
Solution
Solution
A note on the use of the symbols < and ≤ is in order at this point. In
this example, if X (a continuous variable) is taking two values E and F,
E ≤ F is not different from E < F. Similarly, E > F and E ≥ F represent
identical sets. On the other hand, if X represented a discrete variable,
the presence of the equal sign becomes important. We will revisit this
issue in Chap. 3.
Example 2.4 If A and B are numbers such that each may take values
randomly between 0 and 5, show the sample space of the experiment. If
C = {A > 2}, D = {B > 2}, E = {A > B}, and F = {A > 3, B < 4}, show the
sample space associated with these sets.
Solution (Figures Ex.2.4.1, Ex.2.4.2, and Ex.2.4.3)
Figure Ex.2.4.1
Figure Ex.2.4.2
Figure Ex.2.4.3
(2.44)
Fig. 2.8 Union of A and B shown in terms of three mutually exclusive events ,
(2.45)
Since the difference of any two sets is a null set, we replace the null
set with the difference of the joint event AB as
(2.46)
Equation (2.45) now becomes
(2.47)
It can be seen that Eq. (2.47) leads directly to Eq. (2.43). If A and B
are mutually exclusive, the total probability is
(2.48)
While “mutually exclusive” events suggest that the presence or
occurrence of one event precludes the presence of the other,
“independence” of events implies that the occurrence of one has no
influence on the occurrence of the other. For example, if we toss a coin,
the two outcomes, heads (H) or tails (T), are mutually exclusive.
Consider now the case of having a coin and a six-face die. We throw the
pair up and watch the outcomes. The outcomes will be in pairs, {1,H},
{2,H}, {3,H}, {4,H}, {5,H}, {6,H},{1,T},{2,T}, {3,T}, {4,T}, {5,T}, and {6,T}.
Any 1 of these 12 outcomes (occurring in pairs) is such that the 2
events, 1 from the coin and the other from the die, have no relationship
and, therefore, the events are independent . In general, if the events A
and B are independent, the joint probability is the product of the
marginal probabilities,
(2.49)
In the experiment involving the coin and the die, this implies that
(2.50)
(2.51)
Solution
Furthermore,
Note that
Rewriting,
(2.52)
(2.54)
(2.56)
By applying the total probability concept in Eq. (2.43) to Eq. (2.55),
we get
(2.57)
Just as in the case of two events expressed as the sum of three
mutually exclusive events in Eq. (2.44), the union of three events can be
expressed as the sum of seven mutually exclusive events shown in Fig.
2.9 as
(2.58)
Fig. 2.9 Three events and mutually exclusive groupings
If A, B, and C are mutually exclusive ,
(2.59)
Furthermore, if the sample space is populated only by events A, B,
and C, we have
(2.60)
We may now generalize the union of three events expressed in Eq.
(2.57) to the case of a union of n events, A1, A2,…,An resulting in
(2.61)
(2.62)
The equality sign holds when the events are mutually exclusive .
Equation (2.63) is known as the “union bound” or “Boole’s inequality.”
Example 2.6 In the linear algebra course (event B), the probability of
any student receiving an A is 0.35, while the probability of receiving an
A in the course in differential equations (event C) the following
semester is 0.4. The probability that a student receives A in both is 0.2.
(i) What is the probability that a student receives at least one A after
completing both courses? (ii) What is the probability that the student
receives exactly one A and (iii) the student receives an A in linear
algebra, but not an A in differential equations?
"Minusta tuntui juuri kuin joku olisi istunut tässä ihan vieressäni."
"Miltä se näytti?"
Bolstad oli tuskin saanut sen sanotuksi, kun tuli tuulispää niin
kova, etteivät moista milloinkaan olleet kohdanneetkaan Alus kallistui
niin, että vesi loi kauvas vartaan ylitse, ja vaahto purskusi kuin
tihkusade.
Niin jatkettiin matkaa vielä hetki aikaa; mutta sitte muuttui ilma
niin raivoisaksi, etteivät he voineet kuulla toisiansa, jos he tavallisesti
puhuivat. Yhtäkkiä huutaa Andres hyvin kuuluvasti: "Laivuri! Minusta
on, kuin kuulisin jonkin soivan tuolta vastaamme".
"On niin."
"Mikä on harmaa?"
Niin ei ollut jäljellä muuta keinoa kuin uskaltaa yritys, jota hän
kauvan oli ajatellut: koettaa saada vene sisälle Messukuiluun. Jos
hän vaan voisi päästä sinne, olivat he turvassa kaikelta vaaralta, sillä
siellä sisällä oli vesi tyventä; sen hän tiesi entisestään.
Joka hiven otettiin nyt alas. Andres Aasen luuli ennen pitkää
huomaavansa, että hän oli oikealla tiellä. Mutta juuri kun hän oli
näkevinään leveän kuilun edessään häämöittämässä, huudahti
Bolstad: "Nyt se on valkoinen!" ja seuraavassa silmänräpäyksessä
tölmäisi alus jotakin kovaa vastaan, niin että molemmat lensivät
päistikkaa eteenpäin.
Aasen tunsi, miten kylmä vesi huuhtoi hänen päänsä ylitse, miten
hän viskautui korkealle ylös, ja heti sen jälkeen rupesi koko hänen
ruumistansa särkemään. Kun hän sitte tunnusteli eteensä, tarttui
hänen kätensä johonkin märkään kankeen tai kanervaan, minkä
päälle hän arvatenkin oli pudonnut. Hän makasi hetken siinä, mutta
sitte hän yhtäkkiä muistikin, että hänen tuli ottaa selko Bolstadista.
Vaivoin hän siitä sitte nousi ja tirkisteli ympärilleen… Laineita
loppumattomassa jonossa oli ainoa, mitä hän näki. Ne olivat häntä
sangen likellä, niin että hänen oli sukkelasti vetäytyminen niistä
etemmäs, jotteivät ne peräytyessään veisi häntä mukanaan.
Aasen otti silloin esiin nenäliinansa, levitti sen ja sitoi pään ympäri,
niin hyvin kuin voi, verenvuotoa tyrehdyttääkseen. Sitte veti hän
kissannahkaturkkinsa yltänsä ja kääri sen hänen ympärinsä, ettei
häntä palelisi, ja sitte lausui hän puoliääneen, jotta, jos mahdollista,
Bolstad tajuaisi: "Kestä hetkinen, laivuri! kyllä ne pian tulevat
pyydyksiään kokemaan."
Sitte otti hän sairaan pään syliinsä ja istui ja lämmitti sitä, minkä
voi.
Verenvuoto Andresta nyt vaan enin huoletti. Sitä tihkui nenäliinan
läpi ja valui maahan raskain paksuin pisarin.
Kun aamu sarasti, talttui tuuli yhtä nopeaan kuin se oli yltynytkin.
Andres läksi silloin jalan kiertämään karia, pysyäkseen lämpimänä ja
tähystelläkseen veneitä. Edellinen oli täysin yhtä tarpeellista kuin
jälkimmäinenkin, sillä vaikka ilma keskitalven ilmaksi ei ollutkaan
kylmää, vilutti häntä sittekin niin, että polvitaipeet tärisivät.
Simon Naes oli se, joka oli saanut molemmat veneet matkaan.
Hän oli käynyt rannassa aamulla, kun Bolstad ja Aasen läksivät, vielä
kerran neuvoaksensa heitä pysymään kotona. Mutta he olivat silloin
jo lähteneet ja näkymättömiin häipyneet.
Lännetär.
Minä näin hänet monta kertaa päivässä ja sain silloin kuulla, että
hän oli Listerin puolelta, vaan että hän oli tullut Kristianiaan, koska
täällä saatiin suurempaa palkkaa.
Mutta kun hän tuli takaisin, oli hänellä aina mukanansa tumma
ystävätär, ja nämä istuivat sitte juoden ja polttaen niin, että
hajustettujen naispaperossien käry tunkeutui minun puolelleni
avainreijän kautta.
Hän soitti.
Neiti Eva oli joku aika sitte saanut lähetyksen päärynöitä, oikein
suuria, hienoja päärynöitä isältään Bergenistä. "Joita hänen ei
pitänyt käyttää ahmien niitä syödäkseen," kirjoitti isä, "vaan
ainoastaan vilvoittaakseen itseään niillä, kun hän teki työtä otsansa
hiessä." — Mutta nyt teki Eva työtä sangen vähän eikä hikoillut
milloinkaan. Miten tuli hänen siis menetellä? Hän selvisi koko
pälkähästä siten, että pisti kirjeen tuonne kauvas pesukaapin taakse,
tuonne muitten ikävien kirjeitten joukkoon, missä varoitettiin:
menemästä ulos: klo 7 jälkeen ja, ennen kaikkea, olemasta
"uudenaikainen": juoda punssia ja polttaa paperossia yhdessä
herrain kanssa kuutamon lumoavassa valossa j.n.e. Sitte avasi hän
käärön ja söi päärynöitä jokainoa tunti päivässä. Mutta neiti Eva sai
vatsataudin, päärynät olivat huvenneet, ja sitte vasta, kun niitä oli
enää vain muutamia jäljellä, uskoi hän ne Dinan haltuun ja antoi
tämän tuoda niitä hänelle muutaman kerrallaan, milloin päärynähalu
hänessä oikein pahaksi paisui, —
Talvi meni, kevät tuli ja viimein myöskin kesä. Kaikki meni tasaista
kulkuansa. Dina oli vielä meillä. Hän kestikin paremmin, kuin minä
alussa olisin voinut uskoakkaan, ja oli kovasti iloissaan, että saisi
käydä kotonaan, jahka hyyryläiset olisivat poissa ja talo tyhjänä.
Eräänä iltana tapasi pari meistä neiti Evan siellä ylhäällä yhdessä
tumman ystävättärensä kanssa. He olivat mainion näköiset
molemmat; toinen niin vaaleana, toinen niin tummana täydensivät
he toinen toisensa mainiosti.
*****
I.
II.
III.
IV.
Ja hän saattoi levätä näin rauhassa, sillä hän oli antanut Jumalalle,
mikä Jumalan oli.
V.
"Sinä voit asettaa lampun sisälle, ja käännä sitte majuri, sillä nyt
tulee luutnantti pian."
Meri.
Meriusvassa.
Nyt olivat kaikki selvillä: "Aivan niin, viime yö oli ollut levotonta,
tavattoman meluista, sen vuoksi olivatkin he niin surkeassa tilassa
herätessänsä".
*****
Sitte koetan minä lukea; vaan ne ainoat kirjat, joita täällä löytyy,
ovat muutamia puolivanhoja englantilaisia romaaneja, mitkä eivät
usva-ilmalla kelpaa höyrylaivassa luettaviksi. Silloin on tarpeen
voimakkaampaa ravintoa. Eilen löysinkin minä muuten erään kovin
"voimakkaan" kirjan: Novellikokoelman, missä oli monta
"jännittävää" kertomusta. Se oli todellista alkoholia. Tästä otan minä
usein itselleni hutikan koko tunniksi.
Maita raukeus seuraa jäljestä. Kun panen kirjan pois, tunnen minä
olentoani painostavan, ja minä vaivun syvään uneen, missä mieli
kuvittelee semmoista, jota tuskin milloinkaan olen lukenut tai
ajatellut. Tai haaveksin minä jotakin, jota en milloinkaan ole kotona
kuullut, jotakin, jota en ole lukenut enkä ajatellut.
*****
Niin! — —
Rannikolla.