Explore the full ebook collection and download it now at textbookfull.

com

Machine Learning Refined: Foundations, Algorithms,

and Applications Second Edition Jeremy Watt

https://textbookfull.com/product/machine-learning-refined-
foundations-algorithms-and-applications-second-edition-
jeremy-watt/

OR CLICK HERE

DOWLOAD EBOOK

Browse and Get More Ebook Downloads Instantly at https://textbookfull.com

Click here to visit textbookfull.com and download textbook now
 Your digital treasures (PDF, ePub, MOBI) await
Download instantly and pick your perfect format...

Read anywhere, anytime, on any device!

Machine learning refined foundations algorithms and

applications Second Edition Borhani

https://textbookfull.com/product/machine-learning-refined-foundations-
algorithms-and-applications-second-edition-borhani/

textbookfull.com

Biota Grow 2C gather 2C cook Loucas

https://textbookfull.com/product/biota-grow-2c-gather-2c-cook-loucas/

textbookfull.com

Foundations of Machine Learning second edition Mehryar

Mohri

https://textbookfull.com/product/foundations-of-machine-learning-
second-edition-mehryar-mohri/

textbookfull.com

Machine Learning Algorithms for Industrial Applications

Santosh Kumar Das

https://textbookfull.com/product/machine-learning-algorithms-for-
industrial-applications-santosh-kumar-das/

textbookfull.com
Machine Learning Foundations: Supervised, Unsupervised,
and Advanced Learning Taeho Jo

https://textbookfull.com/product/machine-learning-foundations-
supervised-unsupervised-and-advanced-learning-taeho-jo/

textbookfull.com

Pro Machine Learning Algorithms V Kishore Ayyadevara

https://textbookfull.com/product/pro-machine-learning-algorithms-v-
kishore-ayyadevara/

textbookfull.com

Analysis for computer scientists foundations methods and

algorithms Second Edition Oberguggenberger

https://textbookfull.com/product/analysis-for-computer-scientists-
foundations-methods-and-algorithms-second-edition-oberguggenberger/

textbookfull.com

Learning Microsoft Cognitive Services leverage machine

learning APIs to build smart applications Second Edition.
Edition Larsen
https://textbookfull.com/product/learning-microsoft-cognitive-
services-leverage-machine-learning-apis-to-build-smart-applications-
second-edition-edition-larsen/
textbookfull.com

Machine learning and security protecting systems with data

and algorithms First Edition Chio

https://textbookfull.com/product/machine-learning-and-security-
protecting-systems-with-data-and-algorithms-first-edition-chio/

textbookfull.com
Machine Learning Refined

With its intuitive yet rigorous approach to machine learning, this text provides students
with the fundamental knowledge and practical tools needed to conduct research and
build data-driven products. The authors prioritize geometric intuition and algorithmic
thinking, and include detail on all the essential mathematical prerequisites, to offer a
fresh and accessible way to learn. Practical applications are emphasized, with examples
from disciplines including computer vision, natural language processing, economics,
neuroscience, recommender systems, physics, and biology. Over 300 color illustra-
tions are included and have been meticulously designed to enable an intuitive grasp
of technical concepts, and over 100 in-depth coding exercisesPython
(in ) provide a
real understanding of crucial machine learning algorithms. A suite of online resources
including sample code, data sets, interactive lecture slides, and a solutions manual are
provided online, making this an ideal text both for graduate courses on machine learning
and for individual reference and self-study.

Jeremy Watt received his PhD in Electrical Engineering from Northwestern University,
and is now a machine learning consultant and educator. He teaches machine learning,
deep learning, mathematical optimization, and reinforcement learning at Northwestern
University.

Reza Borhanireceived his PhD in Electrical Engineering from Northwestern University,

and is now a machine learning consultant and educator. He teaches a variety of courses
in machine learning and deep learning at Northwestern University.

is the Joseph Cummings Professor at Northwestern University,

Aggelos K. Katsaggelos

where he heads the Image and Video Processing Laboratory. He is a Fellow of IEEE,
SPIE, EURASIP, and OSA and the recipient of the IEEE Third Millennium Medal
(2000).
Machine Learning Refined

Foundations, Algorithms, and Applications

J E R E M Y W AT T
Northwestern University, Illinois

REZA BORHANI
Northwestern University, Illinois

A G G E L O S K . K AT S A G G E L O S
Northwestern University, Illinois
University Printing House, Cambridge CB2 8BS, United Kingdom
One Liberty Plaza, 20th Floor, New York, NY 10006, USA
477 Williamstown Road, Port Melbourne, VIC 3207, Australia
314–321, 3rd Floor, Plot 3, Splendor Forum, Jasola District Centre, New Delhi – 110025, India
79 Anson Road, #06–04/06, Singapore 079906

Cambridge University Press is part of the University of Cambridge.

It furthers the University’s mission by disseminating knowledge in the pursuit of
education, learning, and research at the highest international levels of excellence.

www.cambridge.org
Information on this title:
www.cambridge.org/9781108480727
DOI: 10.1017/9781108690935
© Cambridge University Press 2020
This publication is in copyright. Subject to statutory exception
and to the provisions of relevant collective licensing agreements,
no reproduction of any part may take place without the written
permission of Cambridge University Press.
First published 2020
Printed and bound in Great Britain by Clays Ltd, Elcograf S.p.A.
A catalogue record for this publication is available from the British Library.
ISBN 978-1-108-48072-7 Hardback
Additional resources for this publication www.cambridge.org/watt2
at
Cambridge University Press has no responsibility for the persistence or accuracy
of URLs for external or third-party internet websites referred to in this publication
and does not guarantee that any content on such websites is, or will remain,
accurate or appropriate.
 To our families:

Deb, Robert, and Terri

Soheila, Ali, and Maryam

Ειρήνη Ζωή Σοφία

, , , and Ειρήνη
 Contents

Preface pagexii
Acknowledgements xxii
1 Introduction to Machine Learning 1
1.1 Introduction 1
1.2 Distinguishing Cats from Dogs: a Machine Learning Approach 1
1.3 The Basic Taxonomy of Machine Learning Problems 6
1.4 Mathematical Optimization 16
1.5 Conclusion 18
Part I Mathematical Optimization 19
2 Zero-Order Optimization Techniques 21
2.1 Introduction 21
2.2 The Zero-Order Optimality Condition 23
2.3 Global Optimization Methods 24
2.4 Local Optimization Methods 27
2.5 Random Search 31
2.6 Coordinate Search and Descent 39
2.7 Conclusion 40
2.8 Exercises 42
3 First-Order Optimization Techniques 45
3.1 Introduction 45
3.2 The First-Order Optimality Condition 45
3.3 The Geometry of First-Order Taylor Series 52
3.4 Computing Gradients Efficiently 55
3.5 Gradient Descent 56
3.6 Two Natural Weaknesses of Gradient Descent 65
3.7 Conclusion 71
3.8 Exercises 71
4 Second-Order Optimization Techniques 75
4.1 The Second-Order Optimality Condition 75
viii Contents

4.2 The Geometry of Second-Order Taylor Series 78

4.3 Newton’s Method 81
4.4 Two Natural Weaknesses of Newton’s Method 90
4.5 Conclusion 91
4.6 Exercises 92
Part II Linear Learning 97
5 Linear Regression 99
5.1 Introduction 99
5.2 Least Squares Linear Regression 99
5.3 Least Absolute Deviations 108
5.4 Regression Quality Metrics 111
5.5 Weighted Regression 113
5.6 Multi-Output Regression 116
5.7 Conclusion 120
5.8 Exercises 121
5.9 Endnotes 124
6 Linear Two-Class Classification 125
6.1 Introduction 125
6.2 Logistic Regression and the Cross Entropy Cost 125
6.3 Logistic Regression and the Softmax Cost 135
6.4 The Perceptron 140
6.5 Support Vector Machines 150
6.6 Which Approach Produces the Best Results? 157
6.7 The Categorical Cross Entropy Cost 158
6.8 Classification Quality Metrics 160
6.9 Weighted Two-Class Classification 167
6.10 Conclusion 170
6.11 Exercises 171
7 Linear Multi-Class Classification 174
7.1 Introduction 174
7.2 One-versus-All Multi-Class Classification 174
7.3 Multi-Class Classification and the Perceptron 184
7.4 Which Approach Produces the Best Results? 192
7.5 The Categorical Cross Entropy Cost Function 193
7.6 Classification Quality Metrics 198
7.7 Weighted Multi-Class Classification 202
7.8 Stochastic and Mini-Batch Learning 203
7.9 Conclusion 205
7.10 Exercises 205
 Contents ix

8 Linear Unsupervised Learning 208

8.1 Introduction 208

8.2 Fixed Spanning Sets, Orthonormality, and Projections 208

8.3 The Linear Autoencoder and Principal Component Analysis 213

8.4 Recommender Systems 219

8.5 K-Means Clustering 221

8.6 General Matrix Factorization Techniques 227

8.7 Conclusion 230

8.8 Exercises 231

8.9 Endnotes 233

9 Feature Engineering and Selection 237

9.1 Introduction 237

9.2 Histogram Features 238

9.3 Feature Scaling via Standard Normalization 249

9.4 Imputing Missing Values in a Dataset 254

9.5 Feature Scaling via PCA-Sphering 255

9.6 Feature Selection via Boosting 258

9.7 Feature Selection via Regularization 264

9.8 Conclusion 269

9.9 Exercises 269

Part III Nonlinear Learning 273

10 Principles of Nonlinear Feature Engineering 275

10.1 Introduction 275

10.2 Nonlinear Regression 275

10.3 Nonlinear Multi-Output Regression 282

10.4 Nonlinear Two-Class Classification 286

10.5 Nonlinear Multi-Class Classification 290

10.6 Nonlinear Unsupervised Learning 294

10.7 Conclusion 298

10.8 Exercises 298

11 Principles of Feature Learning 304

11.1 Introduction 304

11.2 Universal Approximators 307

11.3 Universal Approximation of Real Data 323

ffi
11.4 Naive Cross-Validation 335

11.5 E cient Cross-Validation via Boosting 340

11.6 Effi cient Cross-Validation via Regularization 350

11.7 Testing Data 361

11.8 Which Universal Approximator Works Best in Practice? 365

11.9 Bagging Cross-Validated Models 366

x Contents

11.10 K-Fold Cross-Validation 373

11.11 When Feature Learning Fails 378
11.12 Conclusion 379
11.13 Exercises 380
12 Kernel Methods 383
12.1 Introduction 383
12.2 Fixed-Shape Universal Approximators 383
12.3 The Kernel Trick 386
12.4 Kernels as Measures of Similarity 396
12.5 Optimization of Kernelized Models 397
12.6 Cross-Validating Kernelized Learners 398
12.7 Conclusion 399
12.8 Exercises 399
13 Fully Connected Neural Networks 403
13.1 Introduction 403
13.2 Fully Connected Neural Networks 403
13.3 Activation Functions 424
13.4 The Backpropagation Algorithm 427
13.5 Optimization of Neural Network Models 428
13.6 Batch Normalization 430
13.7 Cross-Validation via Early Stopping 438
13.8 Conclusion 440
13.9 Exercises 441
14 Tree-Based Learners 443
14.1 Introduction 443
14.2 From Stumps to Deep Trees 443
14.3 Regression Trees 446
14.4 Classification Trees 452
14.5 Gradient Boosting 458
14.6 Random Forests 462
14.7 Cross-Validation Techniques for Recursively Defined Trees 464
14.8 Conclusion 467
14.9 Exercises 467
Part IV Appendices 471
Appendix A Advanced First- and Second-Order Optimization Methods 473
A.1 Introduction 473
A.2 Momentum-Accelerated Gradient Descent 473
A.3 Normalized Gradient Descent 478
A.4 Advanced Gradient-Based Methods 485
 Contents xi

A.5 Mini-Batch Optimization 487

A.6 Conservative Steplength Rules 490

A.7 Newton’s Method, Regularization, and Nonconvex Functions 499

A.8 Hessian-Free Methods 502

Appendix B Derivatives and Automatic Differentiation 511

B.1 Introduction 511

B.2 The Derivative 511

B.3 Derivative Rules for Elementary Functions and Operations 514

B.4 The Gradient 516

B.5 The Computation Graph 517

B.6 The Forward Mode of Automatic Di fferentiation 520

B.7 The Reverse Mode of Automatic Differentiation 526

B.8 Higher-Order Derivatives 529

B.9 Taylor Series 531

B.10 Using the autograd Library 536

Appendix C Linear Algebra 546

C.1 Introduction 546

C.2 Vectors and Vector Operations 546

C.3 Matrices and Matrix Operations 553

C.4 Eigenvalues and Eigenvectors 556

C.5 Vector and Matrix Norms 559

References 564

Index 569
Preface

For eons we humans have sought out rules or patterns that accurately describe

how important systems in the world around us work, whether these systems

be agricultural, biological, physical, financial, etc. We do this because such rules

allow us to understand a system better, accurately predict its future behavior

and ultimately, control it. However, the process of finding the ”right” rule that

seems to govern a given system has historically been no easy task. For most of

our history data (glimpses of a given system at work) has been an extremely

scarce commodity. Moreover, our ability to compute, to try out various rules

to see which most accurately represents a phenomenon, has been limited to

what we could accomplish by hand. Both of these factors naturally limited

the range of phenomena scientific pioneers of the past could investigate and

inevitably forced them to use philosophical and /or visual approaches to rule-

finding. Today, however, we live in a world awash in data, and have colossal

computing power at our fingertips. Because of this, we lucky descendants of the

great pioneers can tackle a much wider array of problems and take a much more

empirical approach to rule-finding than our forbears could. Machine learning,

the topic of this textbook, is a term used to describe a broad (and growing)

collection of pattern-finding algorithms designed to properly identify system

rules empirically and by leveraging our access to potentially enormous amounts

of data and computing power.

In the past decade the user base of machine learning has grown dramatically.

From a relatively small circle in computer science, engineering, and mathe-

matics departments the users of machine learning now include students and

researchers from every corner of the academic universe, as well as members of

industry, data scientists, entrepreneurs, and machine learning enthusiasts. This

textbook is the result of a complete tearing down of the standard curriculum

of machine learning into its most fundamental components, and a curated re-

assembly of those pieces (painstakingly polished and organized) that we feel

will most benefit this broadening audience of learners. It contains fresh and

intuitive yet rigorous descriptions of the most fundamental concepts necessary

to conduct research, build products, and tinker.

 Preface xiii

Book Overview
The second edition of this text is a complete revision of our first endeavor, with

virtually every chapter of the original rewritten from the ground up and eight

new chapters of material added, doubling the size of the first edition. Topics from

the first edition, from expositions on gradient descent to those on One-versus-

All classification and Principal Component Analysis have been reworked and

polished. A swath of new topics have been added throughout the text, from

derivative-free optimization to weighted supervised learning, feature selection,

nonlinear feature engineering, boosting-based cross-validation, and more.

While heftier in size, the intent of our original attempt has remained un-

changed: to explain machine learning, from first principles to practical imple-

mentation, in the simplest possible terms. A big-picture breakdown of the second

edition text follows below.

Part I: Mathematical Optimization (Chapters 2–4)

Mathematical optimization is the workhorse of machine learning, powering not

only the tuning of individual machine learning models (introduced in Part II)

but also the framework by which we determine appropriate models themselves

via cross-validation (discussed in Part III of the text).

In this first part of the text we provide a complete introduction to mathemat-

ical optimization, from basic zero-order (derivative-free) methods detailed in

Chapter 2 to fundamental and advanced first-order and second-order methods

in Chapters 3 and 4, respectively. More specifically this part of the text con-

tains complete descriptions of local optimization, random search methodologies,

gradient descent, and Newton’s method.

Part II: Linear Learning (Chapters 5–9)

In this part of the text we describe the fundamental components of cost function

based machine learning, with an emphasis on linear models.

This includes a complete description of supervised learning in Chapters 5–7

including linear regression, two-class, and multi-class classification. In each of

these chapters we describe a range of perspectives and popular design choices

made when building supervised learners.

In Chapter 8 we similarly describe unsupervised learning, and Chapter 9 con-

tains an introduction to fundamental feature engineering practices including pop-

ular histogram features as well as various input normalization schemes, and

feature selection paradigms.

xiv Preface

Part III: Nonlinear Learning (Chapters 10–14)

In the final part of the text we extend the fundamental paradigms introduced in

Part II to the general nonlinear setting.

We do this carefully beginning with a basic introduction to nonlinear super-

vised and unsupervised learning in Chapter 10, where we introduce the motiva-

tion, common terminology, and notation of nonlinear learning used throughout

the remainder of the text.

In Chapter 11 we discuss how to automate the selection of appropriate non-

linear models, beginning with an introduction to universal approximation. This

naturally leads to detailed descriptions of cross-validation, as well as boosting,

regularization, ensembling, and K-folds cross-validation.

With these fundamental ideas in-hand, in Chapters 12–14 we then dedicate an

individual chapter to each of the three popular universal approximators used in

machine learning: fixed-shape kernels, neural networks, and trees, where we discuss

the strengths, weaknesses, technical eccentricities, and usages of each popular

universal approximator.

To get the most out of this part of the book we strongly recommend that

Chapter 11 and the fundamental ideas therein are studied and understood before

moving on to Chapters 12–14.

Part IV: Appendices

This shorter set of appendix chapters provides a complete treatment on ad-

vanced optimization techniques, as well as a thorough introduction to a range

of subjects that the readers will need to understand in order to make full use of

the text.

Appendix A continues our discussion from Chapters 3 and 4, and describes

advanced first- and second-order optimization techniques. This includes a discussion

of popular extensions of gradient descent, including mini-batch optimization,

momentum acceleration, gradient normalization, and the result of combining these

enhancements in various ways (producing e.g., the RMSProp and Adam first

order algorithms) – and Newton’s method – including regularization schemes

and Hessian-free methods.

Appendix B contains a tour of computational calculus including an introduc-

/
tion to the derivative gradient, higher-order derivatives, the Hessian matrix,

numerical di fferentiation, forward and backward (backpropogation) automatic

di fferentiation, and Taylor series approximations.
Appendix C provides a suitable background in linear and matrix algebra , in-

/
cluding vector matrix arithmetic, the notions of spanning sets and orthogonality,

as well as eigenvalues and eigenvectors.

 Preface xv

Readers: How To Use This Book

This textbook was written with first-time learners of the subject in mind, as

well as for more knowledgeable readers who yearn for a more intuitive and

serviceable treatment than what is currently available today. To make full use of

the text one needs only a basic understanding of vector algebra (mathematical

functions, vector arithmetic, etc.) and computer programming (for example,

basic proficiency with a dynamically typed language like Python). We provide

complete introductory treatments of other prerequisite topics including linear

algebra, vector calculus, and automatic di ff erentiation in the appendices of the

text. Example ”roadmaps,” shown in Figures 0.1–0.4, provide suggested paths

for navigating the text based on a variety of learning outcomes and university

courses (ranging from a course on the essentials of machine learning to special

topics – as described further under ”Instructors: How to use this Book” below).

We believe that intuitive leaps precede intellectual ones, and to this end defer

the use of probabilistic and statistical views of machine learning in favor of a

fresh and consistent geometric perspective throughout the text. We believe that

this perspective not only permits a more intuitive understanding of individ-

ual concepts in the text, but also that it helps establish revealing connections

between ideas often regarded as fundamentally distinct (e.g., the logistic re-

gression and Support Vector Machine classifiers, kernels and fully connected

neural networks, etc.). We also highly emphasize the importance of mathemati-

cal optimization in our treatment of machine learning. As detailed in the ”Book

Overview” section above, optimization is the workhorse of machine learning

and is fundamental at many levels – from the tuning of individual models to

the general selection of appropriate nonlinearities via cross-validation. Because

of this a strong understanding of mathematical optimization is requisite if one

wishes to deeply understand machine learning, and if one wishes to be able to

implement fundamental algorithms.

To this end, we place significant emphasis on the design and implementa-

tion of algorithms throughout the text with implementations of fundamental

algorithms given in Python. These fundamental examples can then be used as

building blocks for the reader to help complete the text’s programming exer-

cises, allowing them to ”get their hands dirty” and ”learn by doing,” practicing

the concepts introduced in the body of the text. While in principle any program-

ming language can be used to complete the text’s coding exercises, we highly

recommend using Python for its ease of use and large support community. We
also recommend using the open-source Python libraries NumPy, autograd, and
matplotlib, as well as the Jupyter notebook editor to make implementing and
testing code easier. A complete set of installation instructions, datasets, as well

as starter notebooks for many exercises can be found at

https://github.com/jermwatt/machine_learning_refined
xvi Preface

Instructors: How To Use This Book

Chapter slides associated with this textbook, datasets, along with a large array of

instructional interactive Python widgets illustrating various concepts through-

out the text, can be found on the github repository accompanying this textbook

at

https://github.com/jermwatt/machine_learning_refined
This site also contains instructions for installing Python as well as a number

of other free packages that students will find useful in completing the text’s

exercises.

This book has been used as a basis for a number of machine learning courses

at Northwestern University, ranging from introductory courses suitable for un-

dergraduate students to more advanced courses on special topics focusing on

optimization and deep learning for graduate students. With its treatment of

foundations, applications, and algorithms this text can be used as a primary

resource or in fundamental component for courses such as the following.

Machine learning essentials treatment : an introduction to the essentials

of machine learning is ideal for undergraduate students, especially those in

quarter-based programs and universities where a deep dive into the entirety

of the book is not feasible due to time constraints. Topics for such a course

can include: gradient descent, logistic regression, Support Vector Machines,

One-versus-All and multi-class logistic regression, Principal Component Anal-

ysis, K-means clustering, the essentials of feature engineering and selection,

cross-validation, regularization, ensembling, bagging, kernel methods, fully

connected neural networks, and trees. A recommended roadmap for such a

course – including recommended chapters, sections, and corresponding topics

– is shown in Figure 0.1.

Machine learning full treatment: a standard machine learning course based

on this text expands on the essentials course outlined above both in terms

of breadth and depth. In addition to the topics mentioned in the essentials

course, instructors may choose to cover Newton’s method, Least Absolute

Deviations, multi-output regression, weighted regression, the Perceptron, the

Categorical Cross Entropy cost, weighted two-class and multi-class classifica-

tion, online learning, recommender systems, matrix factorization techniques,

boosting-based feature selection, universal approximation, gradient boosting,

random forests, as well as a more in-depth treatment of fully connected neu-

ral networks involving topics such as batch normalization and early-stopping-

based regularization. A recommended roadmap for such a course – including

recommended chapters, sections, and corresponding topics – is illustrated in

Figure 0.2.
 Preface xvii

Mathematical optimization for machine learning and deep learning: such

a course entails a comprehensive description of zero-, first-, and second-order

optimization techniques from Part I of the text (as well as Appendix A) in-

cluding: coordinate descent, gradient descent, Newton’s method, quasi-Newton

methods, stochastic optimization, momentum acceleration, fixed and adaptive

steplength rules, as well as advanced normalized gradient descent schemes

(e.g., Adam and RMSProp). These can be followed by an in-depth description

of the feature engineering processes (especially standard normalization and

PCA-sphering) that speed up (particularly first-order) optimization algorithms.

All students in general, and those taking an optimization for machine learning

course in particular, should appreciate the fundamental role optimization plays

in identifying the ”right” nonlinearity via the processes of boosting and regular-

iziation based cross-validation, the principles of which are covered in Chapter

11. Select topics from Chapter 13 and Appendix B – including backpropagation,

/
batch normalization, and foward backward mode of automatic di ff erentiation
– can also be covered. A recommended roadmap for such a course – including

recommended chapters, sections, and corresponding topics – is given in Figure

0.3.

Introductory portion of a course on deep learning : such a course is best suit-

able for students who have had prior exposure to fundamental machine learning

concepts, and can begin with a discussion of appropriate first order optimiza-

tion techniques, with an emphasis on stochastic and mini-batch optimization,

momentum acceleration, and normalized gradient schemes such as Adam and

RMSProp. Depending on the audience, a brief review of fundamental elements

of machine learning may be needed using selected portions of Part II of the text.

A complete discussion of fully connected networks, including a discussion of

/
backpropagation and forward backward mode of automatic di fferentiation, as
well as special topics like batch normalization and early-stopping-based cross-

validation, can then be made using Chapters 11, 13 , and Appendices A and B of

the text. A recommended roadmap for such a course – including recommended

chapters, sections, and corresponding topics – is shown in Figure 0.4. Additional

recommended resources on topics to complete a standard course on deep learn-

ing – like convolutional and recurrent networks – can be found by visiting the

text’s github repository.

xviii Preface

CHAPTER SECTIONS TOPICS

1 2 3 4 5
Machine Learning Taxonomy
1

1 2 3 4 5
2 Global/Local Optimization Curse of Dimensionality

1 2 3 4 5
3 Gradient Descent

1 2
5 Least Squares Linear Regression

1 2 3 5 6 8
6 Logistic Regression Cross Entropy/Softmax Cost SVMs

1 2 3 4 6
7 One-versus-All Multi-Class Logistic Regression

1 2 3 5
Principal Component Analysis K-means
8

2 7
Feature Engineering Feature Selection
9

1 2 4
Nonlinear Regression Nonlinear Classification
10

1 2 3 4 6 7 9
11 Universal Approximation Cross-Validation Regularization

Ensembling Bagging

1 2 3
Kernel Methods The Kernel Trick
12

1 2 4
Fully Connected Networks Backpropagation
13

1 2 3 4
14 Regression Trees Classification Trees

Figure 0.1 Recommended study roadmap for a course on the essentials of machine

learning, including requisite chapters (left column), sections (middle column), and

corresponding topics (right column). This essentials plan is suitable for

time-constrained courses (in quarter-based programs and universities) or self-study, or

where machine learning is not the sole focus but a key component of some broader

course of study. Note that chapters are grouped together visually based on text layout

detailed under ”Book Overview” in the Preface. See the section titled ”Instructors: How

To Use This Book” in the Preface for further details.

 Preface xix

CHAPTER SECTIONS TOPICS

1 2 3 4 5
1 Machine Learning Taxonomy

1 2 3 4 5
Global/Local Optimization Curse of Dimensionality
2
1 2 3 4 5
3 Gradient Descent

1 2 3
4 Newton’s method

1 2 3 4 5 6
5 Least Squares Linear Regression Least Absolute Deviations

Multi-Output Regression Weighted Regression

1 2 3 4 5 6 7 8 9 10
6 Logistic Regression Cross Entropy/Softmax Cost The Perceptron

SVMs Categorical Cross Entropy Weighted Two-Class Classification

1 2 3 4 5 6 7 8 9
7 One-versus-All Multi-Class Logistic Regression

Weighted Multi-Class Classification Online Learning

1 2 3 4 5 6 7
PCA K-means Recommender Systems Matrix Factorization
8
1 2 3 6 7
Feature Engineering Feature Selection Boosting Regularization
9

1 2 3 4 5 6 7
Nonlinear Supervised Learning Nonlinear Unsupervised Learning
10

1 2 3 4 5 6 7 8 9 10 11 12
Universal Approximation Cross-Validation Regularization
11
Ensembling Bagging K-Fold Cross-Validation

1 2 3 4 5 6 7
Kernel Methods The Kernel Trick
12
1 2 3 4 5 6 7 8
Fully Connected Networks Backpropagation Activation Functions
13
Batch Normalization Early Stopping

1 2 3 4 5 6 7 8
14 Regression/Classification Trees Gradient Boosting Random Forests

Figure 0.2 Recommended study roadmap for a full treatment of standard machine

learning subjects, including chapters, sections, as well as corresponding topics to cover.

This plan entails a more in-depth coverage of machine learning topics compared to the

essentials roadmap given in Figure 0.1, and is best suited for senior undergraduate/early

graduate students in semester-based programs and passionate independent readers. See

the section titled ”Instructors: How To Use This Book” in the Preface for further details.
xx Preface

CHAPTER SECTIONS TOPICS

1 2 3 4 5
Machine Learning Taxonomy
1

1 2 3 4 5 6 7
2 Global/Local Optimization Curse of Dimensionality

Random Search Coordinate Descent

1 2 3 4 5 6 7
3 Gradient Descent

1 2 3 4 5
Newton’s Method
4

6
8
Online Learning
7

8
3 4 5
Feature Scaling PCA-Sphering Missing Data Imputation
9

10
5 6
Regularization
11 Boosting

12
6
13 Batch Normalization

14

1 2 3 4 5 6 7 8
Momentum Acceleration Normalized Schemes: Adam, RMSProp
A
Fixed Lipschitz Steplength Rules Backtracking Line Search

Stochastic/Mini-Batch Optimization Hessian-Free Optimization

1 2 3 4 5 6 7 8 9 10
Forward/Backward Mode of Automatic Differentiation
B

Figure 0.3 Recommended study roadmap for a course on mathematical optimization

for machine learning and deep learning, including chapters, sections, as well as topics

to cover. See the section titled ”Instructors: How To Use This Book” in the Preface for

further details.
 Preface xxi

CHAPTER SECTIONS TOPICS

2
1 2 3 4 5 6 7
3 Gradient Descent

1 2 3 4 5
10 Nonlinear Regression Nonlinear Classification Nonlinear Autoencoder

1 2 3 4 6
11 Universal Approximation Cross-Validation Regularization

12
1 2 3 4 5 6 7 8
13 Fully Connected Networks Backpropagation Activation Functions

Batch Normalization Early Stopping

14

1 2 3 4 5 6
A Momentum Acceleration Normalized Schemes: Adam, RMSProp

Fixed Lipschitz Steplength Rules Backtracking Line Search

Stochastic/Mini-Batch Optimization

1 2 3 4 5 6 7 8 9 10
B Forward/Backward Mode of Automatic Differentiation

Figure 0.4 Recommended study roadmap for an introductory portion of a course on

deep learning, including chapters, sections, as well as topics to cover. See the section

titled ”Instructors: How To Use This Book” in the Preface for further details.
Acknowledgements

This text could not have been written in anything close to its current form

without the enormous work of countless genius-angels in the Python open-

source community, particularly authors and contributers of NumPy, Jupyter,
and matplotlib. We are especially grateful to the authors and contributors of

autograd including Dougal Maclaurin, David Duvenaud, Matt Johnson, and

Jamie Townsend, as autograd allowed us to experiment and iterate on a host of

new ideas included in the second edition of this text that greatly improved it as

well as, we hope, the learning experience for its readers.

We are also very grateful for the many students over the years that provided

insightful feedback on the content of this text, with special thanks to Bowen

Tian who provided copious amounts of insightful feedback on early drafts of

the work.

Finally, a big thanks to Mark McNess Rosengren and the entire Standing

Passengers crew for helping us stay ca ffeinated during the writing of this text.
1 Introduction to Machine
Learning

1.1 Introduction
Machine learning is a unified algorithmic framework designed to identify com-

putational models that accurately describe empirical data and the phenomena

underlying it, with little or no human involvement. While still a young dis-

cipline with much more awaiting discovery than is currently known, today

machine learning can be used to teach computers to perform a wide array

of useful tasks including automatic detection of objects in images (a crucial

component of driver-assisted and self-driving cars), speech recognition (which

powers voice command technology), knowledge discovery in the medical sci-

ences (used to improve our understanding of complex diseases), and predictive

analytics (leveraged for sales and economic forecasting), to just name a few.

In this chapter we give a high-level introduction to the field of machine

learning as well as the contents of this textbook.

1.2 Distinguishing Cats from Dogs: a Machine Learning

Approach
To get a big-picture sense of how machine learning works, we begin by dis-

cussing a toy problem: teaching a computer how to distinguish between pic-

tures of cats from those with dogs. This will allow us to informally describe the

terminology and procedures involved in solving the typical machine learning

problem.

Do you recall how you first learned about the di ff erence between cats and
dogs, and how they are di ff erent animals? The answer is probably no, as most
humans learn to perform simple cognitive tasks like this very early on in the

course of their lives. One thing is certain, however: young children do not need

some kind of formal scientific training, or a zoological lecture on felis catus and

canis familiaris species, in order to be able to tell cats and dogs apart. Instead,

they learn by example. They are naturally presented with many images of

what they are told by a supervisor (a parent, a caregiver, etc.) are either cats

or dogs, until they fully grasp the two concepts. How do we know when a

child can successfully distinguish between cats and dogs? Intuitively, when
2 Introduction to Machine Learning

they encounter new (images of) cats and dogs, and can correctly identify each

new example or, in other words, when they can generalize what they have learned

to new, previously unseen, examples.

Like human beings, computers can be taught how to perform this sort of task

in a similar manner. This kind of task where we aim to teach a computer to

distinguish between di ff erent types or classes of things (here cats and dogs) is

referred to as a classification problem in the jargon of machine learning, and is

done through a series of steps which we detail below.

1. Data collection. Like human beings, a computer must be trained to recognize

the diff erence between these two types of animals by learning from a batch of
examples, typically referred to as a training set of data. Figure 1.1 shows such a

training set consisting of a few images of di fferent cats and dogs. Intuitively, the
larger and more diverse the training set the better a computer (or human) can

perform a learning task, since exposure to a wider breadth of examples gives

the learner more experience.

Figure 1.1 A training set consisting of six images of cats (highlighted in blue) and six

images of dogs (highlighted in red). This set is used to train a machine learning model

that can distinguish between future images of cats and dogs. The images in this figure

were taken from [1].

2. Feature design. Think for a moment about how we (humans) tell the di ff erence
between images containing cats from those containing dogs. We use color, size,

/
the shape of the ears or nose, and or some combination of these features in order

to distinguish between the two. In other words, we do not just look at an image

as simply a collection of many small square pixels. We pick out grosser details,

or features, from images like these in order to identify what it is that we are

looking at. This is true for computers as well. In order to successfully train a

computer to perform this task (and any machine learning task more generally)
1.2 Distinguishing Cats from Dogs: a Machine Learning Approach 3

we need to provide it with properly designed features or, ideally, have it find or

learn such features itself.

Designing quality features is typically not a trivial task as it can be very ap-

plication dependent. For instance, a feature like color would be less helpful in

discriminating between cats and dogs (since many cats and dogs share similar

hair colors) than it would be in telling grizzly bears and polar bears apart! More-

over, extracting the features from a training dataset can also be challenging. For

example, if some of our training images were blurry or taken from a perspective

where we could not see the animal properly, the features we designed might

not be properly extracted.

However, for the sake of simplicity with our toy problem here, suppose we

can easily extract the following two features from each image in the training set:

size of nose relative to the size of the head, ranging from small to large, and shape

of ears, ranging from round to pointy.

pointy
ear shape
round

small nose size large

Figure 1.2 Feature space representation of the training set shown in Figure 1.1 where

the horizontal and vertical axes represent the features nose size and ear shape,

respectively. The fact that the cats and dogs from our training set lie in distinct regions

of the feature space reflects a good choice of features.

Examining the training images shown in Figure 1.1 , we can see that all cats

have small noses and pointy ears, while dogs generally have large noses and

round ears. Notice that with the current choice of features each image can now

be represented by just two numbers: a number expressing the relative nose size,

and another number capturing the pointiness or roundness of the ears. In other

words, we can represent each image in our training set in a two-dimensional

4 Introduction to Machine Learning

feature space where the features nose size and ear shape are the horizontal and

vertical coordinate axes, respectively, as illustrated in Figure 1.2.

3. Model training. With our feature representation of the training data the

machine learning problem of distinguishing between cats and dogs is now a

simple geometric one: have the machine find a line or a curve that separates

the cats from the dogs in our carefully designed feature space. Supposing for

simplicity that we use a line, we must find the right values for its two parameters

– a slope and vertical intercept – that define the line’s orientation in the feature

space. The process of determining proper parameters relies on a set of tools

known as mathematical optimization detailed in Chapters 2 through 4 of this text,

and the tuning of such a set of parameters to a training set is referred to as the

training of a model.

Figure 1.3 shows a trained linear model (in black) which divides the feature

space into cat and dog regions. This linear model provides a simple compu-

tational rule for distinguishing between cats and dogs: when the feature rep-

resentation of a future image lies above the line (in the blue region) it will be

considered a cat by the machine, and likewise any representation that falls below

the line (in the red region) will be considered a dog.

pointy
ear shape
round

small nose size large

Figure 1.3 A trained linear model (shown in black) provides a computational rule for

distinguishing between cats and dogs. Any new image received in the future will be

classified as a cat if its feature representation lies above this line (in the blue region), and

a dog if the feature representation lies below this line (in the red region).
1.2 Distinguishing Cats from Dogs: a Machine Learning Approach 5

Figure 1.4 A validation set of cat and dog images (also taken from [1]). Notice that the

images in this set are not highlighted in red or blue (as was the case with the training set

shown in Figure 1.1) indicating that the true identity of each image is not revealed to the

learner. Notice that one of the dogs, the Boston terrier in the bottom right corner, has

both a small nose and pointy ears. Because of our chosen feature representation the

computer will think this is a cat!

4. Model validation. To validate the e fficacy of our trained learner we now show
the computer a batch of previously unseen images of cats and dogs, referred to

generally as a validation set of data, and see how well it can identify the animal

in each image. In Figure 1.4 we show a sample validation set for the problem at

hand, consisting of three new cat and dog images. To do this, we take each new

image, extract our designed features (i.e., nose size and ear shape), and simply

check which side of our line (or classifier) the feature representation falls on. In

this instance, as can be seen in Figure 1.5, all of the new cats and all but one dog

from the validation set have been identified correctly by our trained model.

The misidentification of the single dog (a Boston terrier) is largely the result

of our choice of features, which we designed based on the training set in Figure

1.1, and to some extent our decision to use a linear model (instead of a nonlinear

one). This dog has been misidentified simply because its features, a small nose

and pointy ears, match those of the cats from our training set. Therefore, while

it first appeared that a combination of nose size and ear shape could indeed

distinguish cats from dogs, we now see through validation that our training set

was perhaps too small and not diverse enough for this choice of features to be

completely e ff ective in general.

We can take a number of steps to improve our learner. First and foremost we

should collect more data, forming a larger and more diverse training set. Second,

/
we can consider designing including more discriminating features (perhaps eye

color, tail shape, etc.) that further help distinguish cats from dogs using a linear

model. Finally, we can also try out (i.e., train and validate) an array of nonlinear

models with the hopes that a more complex rule might better distinguish be-

tween cats and dogs. Figure 1.6 compactly summarizes the four steps involved

in solving our toy cat-versus-dog classification problem.

6 Introduction to Machine Learning

pointy
ear shape
round

small nose size large

Figure 1.5 Identification of (the feature representation of) validation images using our

trained linear model. The Boston terrier (pointed to by an arrow) is misclassified as a cat

since it has pointy ears and a small nose, just like the cats in our training set.

Data collection Feature design Model training Model validation

Training set

Validation set

Figure 1.6 The schematic pipeline of our toy cat-versus-dog classification problem. The

same general pipeline is used for essentially all machine learning problems.

1.3 The Basic Taxonomy of Machine Learning Problems

The sort of computational rules we can learn using machine learning generally

fall into two main categories called supervised and unsupervised learning, which
we discuss next.
 1.3 The Basic Taxonomy of Machine Learning Problems 7

1.3.1 Supervised learning

Supervised learning problems (like the prototypical problem outlined in Section

1.2) refer to the automatic learning of computational rules involving input /out-

put relationships. Applicable to a wide array of situations and data types, this

type of problem comes in two forms, called regression and classification, depend-

ing on the general numerical form of the output.

Regression
Suppose we wanted to predict the share price of a company that is about to

go public. Following the pipeline discussed in Section 1.2, we first gather a

training set of data consisting of a number of corporations (preferably active in

the same domain) with known share prices. Next, we need to design feature(s)

that are thought to be relevant to the task at hand. The company’s revenue is one

such potential feature, as we can expect that the higher the revenue the more

expensive a share of stock should be. To connect the share price (output) to the

revenue (input) we can train a simple linear model or regression line using our

training data.
share price

share price

revenue revenue
share price

share price

new company’s revenue estimated share price

revenue revenue

Figure 1.7 (top-left panel) A toy training dataset consisting of ten corporations’ share

price and revenue values. (top-right panel) A linear model is fit to the data. This trend

line models the overall trajectory of the points and can be used for prediction in the

future as shown in the bottom-left and bottom-right panels.

The top panels of Figure 1.7 show a toy dataset comprising share price versus

revenue information for ten companies, as well as a linear model fit to this data.

Once the model is trained, the share price of a new company can be predicted
8 Introduction to Machine Learning

based on its revenue, as depicted in the bottom panels of this figure. Finally,

comparing the predicted price to the actual price for a validation set of data

we can test the performance of our linear regression model and apply changes

as needed, for example, designing new features (e.g., total assets, total equity,

number of employees, years active, etc.) and/or trying more complex nonlinear

models.

This sort of task, i.e., fitting a model to a set of training data so that predictions

about a continuous-valued output (here, share price) can be made, is referred to as

regression. We begin our detailed discussion of regression in Chapter 5 with the

linear case, and move to nonlinear models starting in Chapter 10 and throughout

Chapters 11–14. Below we describe several additional examples of regression to

help solidify this concept.

Example 1.1 The rise of student loan debt in the United States

Figure 1.8 (data taken from [2]) shows the total student loan debt (that is money

borrowed by students to pay for college tuition, room and board, etc.) held

by citizens of the United States from 2006 to 2014, measured quarterly. Over

the eight-year period reflected in this plot the student debt has nearly tripled,

totaling over one trillion dollars by the end of 2014. The regression line (in

black) fits this dataset quite well and, with its sharp positive slope, emphasizes

the point that student debt is rising dangerously fast. Moreover, if this trend

continues, we can use the regression line to predict that total student debt will

surpass two trillion dollars by the year 2026 (we revisit this problem later in

Exercise 5.1).
[in trillions of dollars]
student debt

year

Figure 1.8 Figure associated with Example 1.1, illustrating total student loan debt in the

United States measured quarterly from 2006 to 2014. The rapid increase rate of the debt,

measured by the slope of the trend line fit to the data, confirms that student debt is

growing very fast. See text for further details.

 Another Random Document on
Scribd Without Any Related Topics
 Minä kehoitan nuoria miehiä olemaan raittiit. Harjoittakaa itseänne
jumalisuudessa; juoskaa kiistaradalla Paavalin neuvon mukaan:
"Katsoen Jeesukseen"; tuottakaa vaikuttimenne ja voimanne suoraan
häneltä.

Minä neuvon nuoria naisia suureen kohtuuteen. Teidän

vaikutusalanne ei kenties ole yleinen; se ei useinkaan ole niin laaja;
kaunistakaa Jumalan ja Vapahtajanne oppia kodissa. Muistakaa vain
tämä: "Minun on vain etsittävä Jeesuksen mielisuosiota". Ja antakaa
pukunne olla niin yksinkertaisen, kuin tiedätte Herran tahtovan;
olkoon käytöksenne niin kaino, että se kelpaa hänelle.

"Ja teidän kaikkien edestä, joiden keskellä me olemme

työskennelleet, on rukouksemme, että teidän rakkautenne enemmän
ja enemmän yltäkylläiseksi tulisi kaikkinaisessa tuntemisessa ja
ymmärryksessä, että te koettelisitte, mikä paras olisi, ja olisitte
vilpittömät, ei kellekään pahennukseksi Kristuksen päivään asti,
täytetyt vanhurskauden hedelmillä, jotka Jeesuksen Kristuksen
kautta teissä tapahtuvat, Jumalan kiitokseksi ja kunniaksi".

Kerran pidettiin valvonta-yö, joka kaikkiin läsnäolijoihin teki syvän

vaikutuksen. Kun lähestyttiin keskiyötä, pani Mr. Moody toimeen
jotakin uutta, joka valtavasti vaikutti. "Sunday School Times" kertoo
siitä seuraavasti:

Vuoden viimeinen hetki oli edessä. Kirkko oli täpösen täynnä.

Kaksitoista tuhatta henkeä istui hartaasti kuunnellen evankelistaa.
Mr. Moody oli lopettanut saarnansa tekstin johdosta: "Kuinka kauvan
te onnutte molemmin puolin? Jos Herra on Jumala, niin seuratkaa
häntä, mutta jos Baal on, niin seuratkaa häntä". Sanat olivat
tunkeneet syvästi monen sydämeen, jotka nyt odottivat
persoonallisia neuvoja, tai jotka olivat syntiensä raskauttamia.
Tavallista kyselykokousta ei tällä kertaa voitu pitää, sillä
jumalanpalveluksen piti jatkua uuden vuoden alkuun asti.

Mr. Moody lausui: "Teitä näkyy kyselykokoukset aina huvittavan.

Minä näen usein muutamien teistä seisovan ja katselevan ovista
sisälle nähdäksenne, mitä siellä tapahtuu. Toiset teistä ovat olleet
sisällä. Jotkut teistä haluaisivat tänä iltana päästä sinne, mutta me
emme nyt ole tilaisuudessa pitämään sellaista kokousta. Senvuoksi
ehdotan, että teemme koko tästä kokouksesta kyselykokouksen.
Täällä on pastori, T:ri Plumer Etelä-Karolinasta. Hän on
seitsemänkymmentä neljä vuotta vanha. Hän on elänyt neljä vuotta
enemmän kuin hänellä korkeintaan olisi oikeus elää. Viisikymmentä
viisi vuotta on hän istunut Jeesuksen jalkain juuressa. Minä, pyydän
häntä istumaan todistajien paikalle, ja sitte tahdon teidän kaikkien
kuullen kysellä häntä tarkasti. T:ri Plumer, olkaa hyvä ja astukaa
saarnalavalle!"

Tuo vanha, kunnioitusta herättävä kirkkoherra patriarkaalisella

ulkomuodollaan nousi ja meni horjuvin askelin tuon suuren
kuulijajoukon eteen. Hän tervehti odottavaa kuulijakuntaa
seitsemännelläkymmenellä kolmannella psalmilla. Omalla, erikoisella
tavallaan asetti Mr. Moody hänelle kysymyksen toisensa jälkeen.
Jokainen sana vastauksissa lausuttiin selvästi ja syvällä tunteella,
ikäänkuin sen suuren edesvastauksen tunnossa, joka lepäsi hänen
päällään, kun hän täten Herrastaan todisti.

Se oli liikuttava jumalanpalvelus. Monet läsnäolijoista tunsivat itse

olevansa ikäänkuin kysyjän asemassa, ja odottivat vastausta,
niinkuin henki olisi ollut kysymyksessä. Tällöin tuntui, ikäänkuin
Jumalan ennustus viimeisten päivien suhteen olisi toteutunut: "Ja
minä annan kahden todistajani profeteerata". Heidän puheensa ja
saarnansa ei ollut korkeissa sanoissa ihmisviisauden jälkeen, vaan
Hengen ja voiman osoituksissa.

Niinkuin muuallakin oli ollut tapana, piti Mr. Moody

Philadelphiassakin suuren kristillisen konferensin, jossa enemmän
kuin tuhannen pappia ja suunnaton joukko ihmisiä oli läsnä.
Kaikenlaatuiset henkilöt, yksin katolilaisetkin, yhtyivät pidettyjä
jumalanpalveluksia kiittämään, aikaansaatua hyvää ylistämään. Mr.
Moodyn hyvästijättökokoukseen jaettiin kolmelle tuhannelle
äskenkääntyneelle sisäänpääsypilettejä. Hänen viimeisen saarnansa
aineena oli sana "kelvollinen". Hän lausui m.m.:

"Olen kauan sitten lakannut itseeni luottamasta. Ainoa turvani on

Kristus. Parempia miehiä ja naisia, kuin meistä täällä yksikään, on
langennut. David oli ollut Jumalan kuninkaana kaksikymmentä
vuotta, ja sittenkin hän lankesi. Valvo edeskinpäin aina hautaan asti.
Jos sinä paisut ja tulet itserakkaaksi kuvitellen mielessäsi, että olet
itsestäsi kyllin voimakas taistelemaan vastusten läpi, niin tulet pian
lankeemaan. Muista Jes. 41: 10: 'Minä vahvistan sinun, minä autan
myös sinua, ja tuen myös sinua minun vanhurskauteni oikealla
kädellä'. Ahkeroitse enemmän sitä, että Jumala pitää sinusta kiinni,
kuin että sinä pidät Jumalasta. Pane kätesi Jumalan käteen ja sano:
Pidä minua! Löytyy kaksi elämää, joita kristityn tulee elää: Ensiksi,
elämä Jumalan yhteydessä; toiseksi, elämä maailman edessä. Katso,
että sisäänpäinkäännetty elämä, joka tunkee pinnan alle ja juurtuu
Jumalaan, tulee oikein eletyksi, niin ulkonainen elämä menee
itsestään. Meillä on yllin kyllin pintapuolisia kristittyjä. Ne ovat
puiden kaltaisia, jotka ovat juurtuneet ohueen maakerrokseen tai
vuoren kukkulalle. Myrsky tulee, ja ne kaatuvat. Etsi syvälle
juurtunutta sisällistä elämää, ei pintapuolista elämää. Olin hiljattain
Floridassa. Siellä on ollut erittäin kuiva aika, moneen kuukauteen ei
lainkaan ole satanut. Mutta appelsiinipuut olivat niin mehevän
näköisiä, että kysyin mistä se johtui. 'Appelsiinipuulla nähkääs',
lausui muuan mies, 'on sydänjuuri, joka tunkee suoraan alespäin,
kunnes se saavuttaa veden!' Niin tulee sinunkin tunkea. Perusta
syvälle. Jos niin teet, niin ei tarvitse peljätä, että lankeisit".

Nyt siirrymme hetkeksi 2 Tim. 1: 12. "Sillä minä tiedän, kenen

päälle minä uskon, ja olen luja, että hän voi siihen päivään kätkeä
sen, mitä minä hänelle olen uskonut" (Engl. käänn.). Mitä Paavali oli
hänelle uskonut? Tietysti sielunsa. Sen hän voi varjella. Eräältä
mieheltä kysyttiin, mihin uskoon hän kuului. Hän vastasi: "samaan
uskoon kuin Paavalikin kuului". "Olkaa hyvä ja sanokaa minulle, mikä
se oli", virkkoi kysyjä. "Se usko, joka voi", ja se on kaikista paras
usko. Jos sinun pitäisi itse sieluasi varjella, niin saisi saatana sen
käsiinsä, ennenkuin sinä joutuisit kotiin.

"Monet väittävät: 'Suuri osa näistä äskenkääntyneistä tulee

lankeemaan'. Se on totta. Vertaus kylväjästä tulee kaiketi
toteutumaan maailman loppuun asti. Muuan mies tuli Chicagoon ja
avasi kaupan samassa paikassa, jossa kaksi tai kolme muuta olivat
epäonnistuneet. Hän avasi sen lisäksi aivan samanlaisen kaupan, ja
kaikki ihmettelivät, miten hän taisi tulla toimeen. Vihdoin tuli
tiedoksi, että hänellä oli sangen rikas veli. Sinullakin on rikas veli, ja
hän on kaikki tarpeesi täyttävä".

Muutamat numerot Philadelphian kokouksista tuntuvat melkein

satumaisilta. Marraskuun 21 p:stä 1875 helmikuun 4 p:ään 1876 oli
kokouksissa käyneiden luku 1,050,000. Keskimäärin, kun kaikki eri
kokoukset otetaan lukuun, kävi päivässä 22,000 henkeä kuulemassa.
Eräänä sunnuntaina oli eri jumalanpalveluksissa yhteensä 28,000
henkeä läsnä. Yhden ainoan viikon kuluessa jätti eräs naisista
kokoonpantu komitea 19,000 pilettiä sellaisille henkilöille, jotka
tunnustivat ei olevansa kristittyjä. Kokouksien siunatut tulokset olivat
kauvan silminnähtävät ja muodostivat uuden vaiheen
kveekkarikaupungin ja sen ympäristön hengellisessä elämässä.

Professori W. J. Fischer Philadelphiasta tuli kuuluisaksi siitä

mestarillisesta tavasta, jolla hän harjoitti tuon suuren, 800 henkisen
lauluköörin, joka lauloi tuossa vanhassa Pennsylvania-radan
rahtitavaramakasiinissa ensimmäisen Moody- ja Sankey-herätyksen
aikana tässä kaupungissa. Sittemmin liittyi hänen nimensä vielä
lähemmin noiden kahden suuren evankelistan nimiin senkautta, että
hän pani säveleen moniin, tuon nyttemmin kuolleen suuren johtajan
parhaimpiin lempilauluihin.

Professori Fischer lausuu: "Evankelistat tulivat kotiin Englannista,

ja heidän käyntinsä perästä Brooklynissä, kokoontui Philadelphiassa
suurin kuulijakunta, jolle evankelistat pitkään aikaan olivat puhuneet.
Liikkeen aloittivat muutamat etevät papit kaupungissa, ja heihin
liittyi sittemmin sadat tuhannet. Ainoa paikka, johon ne suuret joukot
mahtuivat, jotka kokouksiin tulvailivat, oli tuo vanha tavaramakasiini
Thirteenth ja Market street katujen varrella. Me kokosimme kirkoista
ja ympärillä olevasta maakunnasta parhaimmat saatavissa olevat
äänet, ja muodostimme niistä köörin, jonka vertaista Mr. Moody ei
sanonut ikänä kuulleensa."

Kokouksia jatkettiin yhtämittaa kolmen kuukauden ajan, ja niissä

kävi keskimäärin päivässä noin 16,000 henkeä. Vaikutukset niistä
tuntuivat kautta kaupungin, joskin monet raa'at henkilöt ivallisesti
niitä pilkkasivat. Mr. Moodyn vaikutus täällä oli hedelmää tuottava, ja
senvuoksi otettiinkin häntä aina tänne ilolla vastaan. Monet maan
etevimmistä henkilöistä kävivät koko ajan kokouksissa, ja presidentti
Grant otti niihin monasti hartaasti osaa. Se oli läpeensä rehellistä ja
oikeata työskentelyä. Ei senttiäkään maksettu yhdelle enemmän kuin
toisellekaan, ja ne kriitikot, jotka toisinaan vaikutusta pilkkasivat,
kutsuen sitä tuottavaksi affääriksi, ovat halveksittavat.

"Mr. Moodylla oli sangen vähän taipumusta musiikkiin. Vaivalla hän

eroitti nuotin toisesta. Sittenkin hän usein uudelle paikkakunnalle
saavuttuaan aloitti kokouksen laululla, joka puuttuvasta
sopusointuisuudesta huolimatta, voitti totuudellaan kaikkien
sydämmet. Minä pidän häntä ihmeellisenä miehenä, ja luulen,
ett'emme pitkään aikaan saa nähdä ketään niin kokosydämmistä
sielua kuin hän oli".

Mr. Moodyn vaikutus tuossa suunnattoman suuressa

Hippodromissa New-Yorkissa alkoi eräänä maanantai iltana,
helmikuun 7 p. 1876. Hänelle sanottiin: "New-Yorkissa ette saa
paljon aikaan, se on kova kaupunki, siellä ette tule onnistumaan".
Hän vastasi: "Eikö isäimme Jumala ole New-Yorkin kaupungille
kylliksi? Eikö Jumalamme voi tarttua tähän kaupunkiin ja järistyttää
sitä, niinkuin te tekisitte pienelle lapselle?" Tämä luottamus oli oikea,
sillä jos koskaan New-Yorkia on järistetty, niin tapahtui se näiden
evankeelisten kokousten aikana.

Äärettömän suuren kuulijakunnan edessä ja tuon suuren

kaupungin etevimpien pappien ja liikemiesten ympäröimänä, piti Mr.
Moody ensimmäisen saarnansa seuraavan tekstin johdolla: "Ne, kuin
maailman edessä hullut ovat, on Jumala valinnut, että hän viisaat
häpiään saattaisi, ja ne, kuin heikot ovat maailman edessä, on
Jumala valinnut, että hän väkevät häpiään saattaisi, ettei hänen
edessään yksikään liha kerskaisi".
 Mitä laajaperäisempiä valmistuksia oli tuossa suunnattomassa
Hippodromissa pantu toimeen, jotta kokoukset voitaisiin pitää siellä.
Toimiva komitea ja joukko apulaisia oli jo kauvan ennen
evankelistojen tuloa valittu. Mr. Moody selitti, ettei hän milloinkaan
siihen asti ollut saanut niin tehokasta apua osakseen. Ennen
ensimmäisen viikon loppua nousi kuulijoiden luku keskimäärin
päivittäin 20,000 henkeen.

Meidän ei tässä tarvitse tarkempaa selvää käydä tekemään

työskentelystä New-Yorkissa, siitä syystä että se pääpiirteissään oli
täydellisesti samanlainen, kuin jo aikaisemmin tässä kirjassa kerrottu
vaikutus. Oli olemassa sama utelijaisuus, sama ihmistulva, samat
vakavat rukoukset, samat jännittävät kohtaukset kyselyhuoneissa,
sama erinomainen johto ja sama Mr. Sankeyn laulujen aikaansaama
valtava vaikutus.

Eräässä kokouksessa istui Brasilian keisari, Don Pedro II

muutamien ystävien kanssa heille puhujalavalla erityisesti varatuilla
penkeillä. Keisari oli syvästi liikutettuna eräästä Mr. Sankeyn laulusta
ja seurasi syvällä harrastuksella Mr. Moodyn puhetta. On väitetty,
että Mr. Moodyn lausunnot sillä kertaa olivat jotenkin terävät, mikä
silminnähtävästi johtui siitä, ettei hän joka päivä saanut keisarille
saarnata.

Toiselta puolen väitettiin, ettei Mr. Moody tietänyt, että keisari oli
läsnä. Hämmästyneenä huudahti hän: "Oi! minä luulin hänen joksikin
lämminsydämiseksi metodistasaarnaajaksi, joka hiljan on maalta
tullut kaupunkiin".

Eräs suurimpia seurauksia näistä kokouksista oli se apu, jonka

Nuorten
Miesten Kristillinen Yhdistys New-Yorkissa sai. Mihin ikänä Mr.
Moody meni, siellä hän kannatti yhdistyksen vaikutusta ja puhui mitä
lämpimimmin sen asian eteen.

Ei ole välttämätöintä Mr. Moodyn vaikutusta kerrottaessa, seurata

häntä hänen loistavalla retkellään kaupungista toiseen. Hän kävi
melkein kaikissa suuremmissa kaupungeissa, ja mullisti sisimpää
myöden näiden hengellistä elämää. Hartfordista, jossa "The Rink",
mihin mahtui 3000 henkeä, oli kaikissa kokouksissa joka aikana
päivästä tungokseen asti täynnä, ja jossa tuloksena oli 1200
kääntymystä, siirsi hän vaikutuksen New Haveniin ja kävi nuorten
miesten pesäpaikan Yale College'n kimppuun. Harvoin tapahtuu, että
tällainen sivistymätöin ja oppimatoin mies saavuttaa yhden
maailman etevimpien yliopistojen huomion, vieläpä ihmettelynkin.

Tämän suuren kokousten sarjan aikana pääsivät Mr. Moodyn lahjat

täyteen käytäntöön. Hänen menettelytapansa käsitti sekä piiritystä
että hyökkäystä. Toisinaan, esim. Baltimoressa ja St. Louisissa,
oleskeli hän useita kuukausia samalla paikalla, tutki tilaa
erinomaisella tarkkanäköisyydellä, täytti koko kaupungin kokouksilla,
joissa, hän käytti apunaan sekä pappeja että maallikkoja, ja usein,
etenkin loppupuolella, kutsui hän evankelistoja ja laulajia läheltä ja
kaukaa avukseen. Hän ei ainoastaan tavoittanut suoranaisia
kääntymisiä — vaikka tietysti niitä etukädessä — vaan tahtoi myös
saattaa pysyväistä elämää seurakuntiin ja edistää
raamatuntutkimista. Viimemainittuun pantiin alusta alkaen suurta
painoa. Iltapäiväkokouksia käytettiin ylipäänsä raamatun
tutkimiseen, ja joka niissä kävi, ei ikänä voi noita alkuperäisiä, syvää
hengellistä kokemusta todistavia raamatunselityksiä unhoittaa. Mutta
yleiset kokoukset olivat sittenkin ihmeellisimmät todistukset
jumalallisen voiman läsnäolosta tämän muistettavan sotaretken
aikana.
 Ei löytynyt mitään kirkkoa tai muuta salia, johon ne tuhannet olisi
saatu mahtumaan, jotka kuulemaan tulvailivat. Täydyttiin senvuoksi
turvata suurimpiin huoneustoihin, joita saatavissa oli. New-Yorkissa
käytettiin kokoushuoneena erästä äärettömän suurta rakennusta,
tunnettu nimellä Hippodromi. Alkujaan rautatieasemaksi aijottu ja
sittemmin sirkukseksi laitettu, oli se erinomaisen sopiva Moodyn ja
Sankeyn kokouksille. Kokoukset oli ylipäänsä toistensa kaltaisia.
Seuraava Nathaniel P. Babcockin, erään silminnäkijän huvittava
kuvaus tapahtumista hippodromissa luo meille käsityksen Mr.
Moodyn vaikutuksesta seitsemänkymmenluvulla.

"Hippodromiin! kuului huuto New-Yorkin protestanttisessa

maailmassa ensimmäisinä kuukausina vuotta 1876. Siitä on nyt
kaksikymmentä neljä vuotta kulunut, ja sittenkin muistan vielä
elävästi nuo harvinaiset päivät, jolloin ilma, hengellisen innon
sähkövoimaa täynnä, raskaana painoi tuota suurta pääkaupunkia.
'Hippodromiin!' Tämä sana kaikui kymmenien kirkkojen
saarnatuoleilta — ensin vaan neuvona, sitten pappien käskynä
seurakunnilleen. 'Hippodromiin!' Se sana kuultiin raitiotievaunuissa,
hotelleissa, vieläpä noilla vilkkailla avenye'illäkin. Varhaisissa,
esikaupungeista tulevissa aamujunissa nähtiin sadottain eväskoreilla
varustettuja vaimoja, joita ei kaupunkiin houkutellut muotikauppojen
kevätkuosit vaan tuo kymmenien tuhansien kristittyjen sydämmissä
kaikuva huuto: Hippodromiin!"

Moody ja Sankey olivat suuren pappien paljouden ja useiden

vapaehtoisten lähetystyöntekijöiden yhdistysten avustamina
päättäneet panna koko New-Yorkin Kristuksen rakkauden voimasta
tuleen. Heidän erinomaista menestystään todistaa parhaiten se
seikka, että löytyi päiviä herätyskauden aikana, mikä kesti 7 p:stä
helmikuuta 19 p:ään huhtikuuta, jolloin aina 60,000 henkeen oli
evankelistojen ympäri kokoontuneena. Kokous seurasi toista
päivällisestä myöhään iltaan saakka, jokaisessa 7-8,000 henkeä
läsnä. Suunnaton näyttämö eli puhujalava rakennettiin itse
kokoushuoneesen. Sille mahtui kuusisata-henkinen kööri ja sitäpaitsi
ainakin neljäsataa läsnäolevaa pappia ja muita eteviä vieraita.
Tämän suunnattoman lavan äärimmäisessä kulmassa oli aitaus — se
tuskin kannatti saarnastuolin nimeä — josta saarnaajan piti puhua.
Se osa, joka muodosti aitauksen eturivin, tarvitsi olla vahvatekoinen,
sillä kun ihmisten omat-tunnot rupesivat heräämään, ja tuo suuri
evankelista vakavilla silmillään katsoi ales kuulijoiden tuskallisiin
kasvoihin, tapahtui usein, että hän nojasi raskaan olentonsa aitausta
vasten ja levitti kätensä, ikäänkuin olisi hän tahtonut koko tuon
suuren kärsivien syntisten maailman sulkea lohduttavaan syliinsä.
Kun Mr. Moody pienestä, puhujalavan takana olevasta ovesta astui
tuon hartaasti odottavan seurakunnan eteen, oli hän seuraavan
näköinen: voimakas, tyköistuvaan päällystakkiin puettu olento,
kauniinmuotoinen pää, joka miehen leveiden hartijoiden ja lyhyen
kaulan takia näytti pienemmältä, kuin mitä se todellisuudessa oli;
sangen partaiset kasvot; tuo paksu, musta parta ei nimittäin
ainoastaan ulottunut ales rinnan päälle asti, vaan kasvoi vielä ylös
pitkin poskiakin; otsa, mikä nähtävästi esiinpistävän muotonsa
tähden näytti matalalta; läpitunkevat silmät, varustetut rypyillä, jotka
ulommasta silmäkulmasta levisivät pitkin noita punertavia poskia,
sekä paksut, suuta varjoovat viikset. Kun Mr. Moody ensi kerran
esiintyi tämän suuren pääkaupunki-yleisön edessä, piti hän
raamattua kädessään. Mennessään ylös pitkin kaitaa käytävää
lauluköörin ja puhujalavalla olevien vierasten keskeltä ja päästyään
omalle paikalleen, otti hän kirjan vasempaan käteensä ja kohotti
oikeata, sisäpuoli alespäin, tuota lukuisaa kuulijakuntaa kohti. Se oli
hiljentymisen merkki, jota jokainen heti totteli.
 Kun soitto Mr. Moodyn merkistä oli tauvonnut ja kuulijat koonneet
huomionsa, lausui evankelista:

"Aloittakaamme kokous hiljaisella rukouksella!"

Nämä olivat ensimmäiset sanat, joita tämä merkillinen mies

Amerikan suurimmassa kaupungissa lausui sen herätyskauden
alussa, jonka vaikutukset tuntuivat mantereen toisesta päästä
toiseen. Nämä lausuessaan painoi hän päänsä aitausta vasten
puhujalavan nurkassa. Pyhällä hartaudella painuivat samassa
kaikkien päät tuossa suuressa kuulijakunnassa, ja täydellinen
hiljaisuus vallitsi.

En voi sanoa miten kauvan tämä hiljainen rukous kesti. Muistan

vaan elävästi sen kummallisen liikkeen, mikä sen loputtua seurasi,
kun Mr. Moody ilmoitti laulun. Koko tässä kuulijajoukossa löytyi vain
aniharvoja, joilla ei ollut laulukirjoja, sillä ensimmäisestä kokouksesta
saakka Brooklynissä 2 p. lokak. olivat Moody- ja Sankey-laulukirjat
tulleet käytäntöön. Ja kun nyt pyynti "yhtymään lauluun" lausuttiin,
ja evankelista ilmoitti yhden näiden herätyslaulujen numeron, alkoi
kymmenentuhatta kättä selailla laulukirjojen lehtiä, synnyttäen
äänen, mikä muistutti tuulen suhinaa puissa myrskyn lähestyessä.
Mr. Sankey istuutui pienten urkujen luo puhujalavan etupuolessa ja
otti laulun johdon käsiinsä…

Puhujalavalta tuli Mr. Moody ojennetuin käsin ales, ja kun hän

käveli käytäviä pitkin, nousi henkilöitä siellä täällä ja läksivät päät
ales painuneina kyselyhuoneisiin johtavia ovia kohti. Näiden ovien
sisäpuolelle emme tahdo heitä seurata. Sen vaan tiedän, että näissä
huoneissa odotteli joukko vakavia miehiä ja naisia kaikkia niitä, joita
raskautetut omattunnot sinne ajoivat. Tiedän, että he polvistuivat
rukoukseen, ja että rakkauden ja osanoton sanoja kuiskailtiin heidän
korviinsa, ja muistan nähneeni ihmisiä tulevan sieltä ulos ilosta
loistavilla kasvoilla; mutta emme tässä käy lähemmin kääntyneiden
syntisten persoonallisia kokemuksia kertomaan. Me koetamme vaan
kuvata seurakuntaa, jota jokin syvempi kuin maallinen innostus,
veljellinen rakkaus tai isänmaanrakkaus on liikuttanut.

Kolme kokousta päivässä — toisinaan vaikka harvemmin viisi — on

se päivätyö, minkä nämä evankelistat ovat ottaneet tehdäkseen.
Monena iltapäivänä on vaan naisilla pääsy Hippodromiin. He istuvat
taajaan sullottuina lattiasta aina ylös ylimmille penkeille asti, niin että
hattujen töyhdöt koskettelevat kattoparruja. "Rukoilkaa mieheni
edestä!" "Rukoilkaa poikani edestä!" "Rukoilkaa veljeni edestä!"
sopertavat he vapisevalla äänellä. "Rukoilkaa minun edestäni!"
pyytää eräs, jonka poskille ei kenties tämän perästä enää koskaan
tule ihoväriä, ja jonka jalat tästälähin tulevat astelemaan parempia
teitä.

Illalla on näky vielä ihmeellisempi, sillä silloin ovat miehet —

vahvat vanhat ja nuoret miehet — ottaneet salin haltuunsa. Näissä
kokouksissa on Mr. Moody oikeassa ilmanalassaan. Yksitoista tuhatta
miestä istui taajaan ahdattuina eräässä näistä iltakokouksista maalis-
ja huhtikuussa kaksikymmentä neljä vuotta sitten tuossa vanhassa
Hippodromissa. Kaasuliekit valaisevat heidän innokkaita kasvojaan.
Ei mikään valtiollinen kokous ole milloinkaan sellaista näkyä
tarjonnut. Tuhannet nousevat huutaen: "Minä tahdon! Minä tahdon!"
kun heitä kehoitetaan asettumaan uskovaisten riveihin. "Amen,
amen", kaikuu yhteislaukausten tavoin läpi huoneen, ja toisinaan
ilmenee uskonnollinen innostus niin valtavana, että pitkiä hetkiä
täytyy viettää hiljaisessa rukouksessa, jos mielii pitää velan tuntoon
heränneitä kohtuullisten itsensähillitsemisrajojen sisällä.
 Useimmat niistä, jotka todellisesti saatettiin Kristuksen yhteyteen
näiden kokousten aikana v:na 1876-1881, jäivät Moodylle
tuntemattomiksi. Tämänlaisesta statistiikasta hän ei pitänyt. Kun
muuan pappi hiljattain kysyi häneltä, kuinka monta sielua hänen
saarnansa kautta oli kääntynyt, vastasi hän:

"Sitä minä en tiedä. Jumalalle olkoon kiitos, että minä pääsen

siitä!
Minä en ole se, joka kirjoitan Karitsan elämän-kirjaa".
KUUDESTOISTA LUKU.

Mr. Moody evankelistana. Hänen parhaimmat ominaisuutensa ja

menettelytapansa.

Kirjoitt. teol. t:ri C. J. Scofield.

Heikoille henkilöille on ominaista, että ne erittäin

edesvastuunalaisissa oloissa sortuvat, jota vastoin voimakkaat
luonteet samoissa oloissa kehittyvät. Ne kaksi Amerikan kansalaista,
joilla saman miespolven aikana on ollut enimmän yhteyttä toistensa
kanssa — Lincoln ja Grant — kypsyivät kumpikin suunnattoman
työtaakan ja edesvastuun alaisina. Kummallakin oli aluksi vähäiset
luulot itsestään; kumpikin saavutti vihdoin merkillisen nöyrän
itseluottamuksen. Samalla tavalla voidaan sanoa, että Mr. Moodyn
voima kypsyi koettelemuksissa hänen hengellisen sotaretkensä ajalla
Englannissa. Hän kasvoi armossa ja viisaudessa aina kuolinpäiväänsä
asti; mutta vallassaan seurakuntien yli, neuvokkaisuudessaan,
johtokyvyssään, puuttumattomassa taitavuudessaan ja
tarkkanäköisyydessään oli hän Amerikaan palatessaan
korkeimmillaan.
 Hänen luoteensakin oli epäilemättä kypsynyt. Kolme suurta
koetusta kohtaa voimakkaita luonteita tässä elämässä: köyhyys ja
unhotus, myötäkäyminen ja suosio sekä kärsimys. Moni, joka
elämänsä alussa on, vaikkakin heikosti, sisälläasuvista voimista
tietoinen, tulee kärsimättömäksi ja katkeraksi, kun tulee
unohdetuksi, joutuu vähäpätöisiin oloihin eikä saavuta tunnustusta.
Toiset, jotka onnellisesti kestävät tämän ensimmäisen koetuksen,
pilaantuvat tai ainakin heikkonevat joukon suosiosta. Moni, joka
kestää sekä ylenkatseen että myötäkäymisen, sortuu kärsimyksissä
kokonaan. Mr. Moody meni Jumalan armon kautta läpi kaiken
onnellisesti. Harvoin lienee tapahtunut, että ihminen, joka yhtäkkiä
on koroitettu maailman suurten ja mahtavien kanssa
seurustelemaan, on niin vähän sallinut itseään tasapainostaan ja
tavallisista elintavoistaan järkyttää kuin Mr. Moody.

Tämä mielentyyneys oli epäilemättä osaksi perittyä — se on

Uuden Englannin vuoristoasukasten kesken tavallinen. Mutta aivan
varmaan tunsi Mr. Moody toiselta puolen niin syvästi sen arvon, joka
vähäpätöisimmällekin Jumalan lapselle kuuluu, että häntä vähän
maalliset arvonimet tai persoonallinen maine liikutti.

Eräässä noista suurista kokouksista Lontoossa piti Mr. Moody

puhujalavalta tavallisuuden mukaan huolta siitä, että tuo suuri
kuulijakunta sai istumasijoja. Kun hän juuri oli tässä toimessa ja
parhaillaan levottomin katsein seurasi pari vanhaa rouvashenkilöä,
jotka turhaan ensi penkeiltä etsivät istumasijoja, toi joku ystävä
erään kuuluisan englantilaisen kreivin ylös hänen luokseen
puhujalavalle.

"Hauska tavata Teitä, Lordi" — virkkoi Mr. Moody. "Tahdotteko

hyväntahtoisesti viedä pari tuolia noille vanhoille rouvashenkilöille
tuolla".

Kreivi tekikin sen jokseenkin matelevan johdattajansa suureksi

hämmästykseksi.

Eräässä toisessa tilaisuudessa kuiskasi joku jotenkin levottomana

hänen korvaansa, että muuan sangen ylhäinen nainen oli astunut
saliin.

Mr. Moody vastasi tyyneesti:

"Toivon, että hän on saapa kokea suurta siunausta".

Tämä riippumattomuus, mikä johtui ylevästä, yksinkertaisesta

luonteesta eikä suinkaan mistään röyhkeydestä, hankki Mr. Moodylle
kaikkien kansakerrosten rakkauden Suurbritanniassa. Ei
matelevaisuutta eikä toiselta puolen ylpeyttä tavattu tässä
yksinkertaisessa, voimakkaassa kristityssä.

Kaikki nämä ominaisuudet, joiden arvoa hänen maanmiehensä sitä

ennen vain osaksi tunsivat, tulivat sanomalehtien kertomusten kautta
tunnetuiksi ja valmistivat Amerikassa osaltaan sitä merkillistä
luottamuksen ja kunnioituksen ilmausta, jolla Mr. Moodya kotiin
palatessaan tervehdittiin. Koko Amerikan kristitty kansa nousi todella
vastaanottamaan häntä.

Tällä kertaa huhu ei liioitellut. Ei ole liikaa, jos sanomme, että

vuosien 1876-81 suuret kokoukset ilmitoivat Mr. Moodyn suuren
etevämmyyden ihmisenä, saarnaajana, järjestäjänä ja kristillisenä
taistelujohtajana.

Mr. Moodyn johtajakyky, hänen valtansa suurten ihmisjoukkojen yli

oli se, mikä ensin kiinnitti katsojan huomion, niin ettei hänen
valtansa kuulijoittensa yli siis etupäässä ollut hänen saarnakyvystään
riippuvainen. Toiset, kuten Whitfield ja Wesley ja nuo suuret
walesilaiset kenttäsaarnaajat kokosivat suuria kuulijajoukkoja, jotka
he vihdoin saivat kokonaan valtaansa, miten levottomia ja meluavia
ne olivatkin, kun nämä suuret mestarit "jalossa saarnataidossa"
nousivat heille puhumaan. Mutta Moody ei koskaan aloittanut
saarnaansa ennenkuin hän täydellisesti hallitsi kuulijakuntaansa.
Tämä oli hänelle erikoinen piirre, joka eroitti hänen kaikista muista
yhtä mahtavista saarnaajista.

Tätä tarkoitusperäänsä saavuttaakseen käytti hän erästä keinoa,

joka hänelle itselleen kyllä soveltui, mutta joka hänen
jäljittelijöittensä käsissä epäonnistui. Hän järjesti nimittäin
jonkinlaisen merkillisen jännittävän ja henkirikkaan
esijumalanpalveluksen, joka paitsi laulua ja rukousta käsitti jonkun
lyhyen, sattuvan lausunnon häneltä itseltään. Siitä hetkestä, jolloin
hän suurelle kuulijakunnalleen näyttäytyi, siihen asti, kun hän aloitti
saarnansa, piti hän koko seurakunnan huomion kiinnitettynä
johonkin, joka sitä miellytti. Suuren kirkkoköörin esittämät laulut,
kvartetit, duetit, soololaulut ja koko seurakunnan yhteisesti laulamat
laulut vaihtelivat keskenään, jättäen välillä tilaisuuden kokoukseen.
Mutta suuresti erehtyisimme, jos otaksuisimme Mr. Moodyn
päämaalin tai lopputuloksen olleen kansan huvittaminen. Hänen oma
esiintymisensä todisti heti hänen syvää vakavuuttaan, hänen suurta
huolenpitoaan sielujen pelastuksesta.

Laululla oli näissä kokouksissa suuri, toisinaan ylenmäärin valtava

vaikutus. Ennenkuin Moody nousi saarnaamaan, olivat kuulijat jo
järkytettyjä, liikutettuja ja voitettuja. On kerrottu monta tapausta,
jolloin varma päätös Kristukselle kokonaan antautumisesta tehtiin,
sillä aikaa kun Mr. Sankey vielä lauloi. Ajattelemattomampaa kritiikkiä
on tuskin koskaan lausuttu, kuin se, että Mr. Moody muka käytti
musiikkia vaan vetovoimana.

Mutta niin yksinkertaiselta ja läpinäkyvältä kuin Moodyn tarkoitus

esijumalanpalvelusten käyttämisellä näyttikin, huomattiin ennen
pitkää, kun jäljittelijät ottivat sen ohjelmaansa, että se, kuten kaikki
muukin pelkkänä metoodina katsottuna oli vähäisestä arvosta.
Sellaisenaan ja ennen kaikkia voiman puutteessa ei sillä mitään
saatu aikaan.

Kun Mr. Moodyn melkein erehtymätöin arvostelukyky sanoi

hänelle, että sopiva hetki oli käsissä, nousi hän puhumaan.

Saarnaajana katsottuna arvosteli akateemisesti sivistynyt papisto

Mr. Moodya sangen ankarasti. Tältä kannalta ei hänen
saarnatapaansa suinkaan voikaan puolustaa. Mutta se seikka, että
tämä itseoppinut saarnaaja kolmekymmentä viisi vuotta yhtämittaa
suurimmissa sivistyksen ja käytännöllisen vaikutuksen keskustoissa,
missä englannin kieltä puhutaan, veti suurimmat kuulijajoukot
ympärilleen, mitä ketään uudemman ajan puhujaa on nähty
kuulemassa — tämä seikka pitäisi mielestämme saattaa
jumaluusoppineet näkemään, että heillä mahdollisesti on tästä
miehestä jotakin oppimista.

Hänen menettelytavassaan ei piile mitään mystiikkaa. Hän tuotti

aineensa pyhästä raamatusta, ja koska hän suuresti vihasi
kaikenlaisia muodollisia alkulauseita, kävi hän heti itse aineesen
käsiksi. Hän teki kyllä kieliopillisia virheitä, eikä viitsinyt vähintäkään
parantaa nenä-äänistä lausuntotapaansa. Mutta melkein alusta hän
omisti itselleen voimakkaan, saksilaisen kielimurteen, ja hänen selvä
ymmärryksensä opetti häntä käsittämään lyhyeiden lauseiden ja
muotojen arvon.
 Tästä kaikesta oli mies itse, siinä kuulijoittensa edessä seistessään,
täydellisesti tietämätön. Hän oli peljättävän vakava, täydellisesti
rehellinen ja korulauseita muodostamaan kokonaan kykenemätöin.
Jumalan Henki oli ottanut hänet haltuunsa, ja tämä asianhaara sekä
hänen erinomainen ymmärryksensä oli hänen suojanaan korkealle
tavoittelevaa, upeilevaa kaunopuhelijaisuutta, teeskentelyä ja
luonnotonta esiintymistapaa vastaan. Kuten kaikki luontaiset
kaunopuhujat käytti hän usein ja menestyksellä vertauksia. Mutta
sittenkin on luultavaa, ettei hän milloinkaan käyttänyt parhaintakaan
vertausta vaan tunteen herättämiseksi. Hän mainitsi jonkun
kuvauksen tai viittasi johonkin kertomukseen tai tapahtumaan
raamatussa, koska se selvitti sitä ainetta, jota hän esitti.

Hän oli luonteeltaan sangen humoorillinen; sitäpaitsi oli hänellä

kertomiskyky, joka oli hänen vilkkaan mielikuvituksensa tuote.
Harvoilla on ollut sellainen kyky kuulijoilleen esittää raamatullinen
tapahtuma koko laajuudessaan, kuin hänellä. Ja hän osasi sitäpaitsi
supistaa esityksensä lyhyeen muotoon. Hän tiesi, milloin tuli
lopettaa, eikä koskaan heikontanut loppupuolella saamaansa
vaikutusta uudelleen kertomalla pääasioita.

Mutta tosi seikka on, että vaikka Mr. Moodylla yleisenä puhujana
oli kaikki nämä erinomaiset ominaisuudet, olisi hän sittenkin
päämaalinsa sivuuttanut, ellei hän olisi ollut Pyhän Hengen väkevällä
voimalla kastettu; mutta täydellä syyllä, voimme sanoa, että Henki
tässä nöyrässä palvelijassaan esiintoi erään kaikkien aikojen
suurimmista saarnaajista.

Mr. Moody ilmitoi kerran eräälle sanomalehtimiehelle käsityksensä

siitä, minkälaisen evankelistan tulisi olla. Hän lausui: "Työ on
monenlaista, ja siihen tarvitaan suuri paljous monenlaisia ihmisiä. Me
tarvitsemme oppineita evankelistoja, ja me tarvitsemme
evankelistoja, jotka ovat kansan miehiä. Mutta menestyksen
saavuttamiseksi tarvitsee jokainen selvää arvostelukykyä,
moitteetonta luonnetta, pyhitettyä elämää, laveita tuttavuuksia,
rakkautta kanssaihmisiin, uskoa, kärsivällisyyttä, toimelijaisuutta,
tarmoa, Jumalan sanan tarkkaa tuntemista ja, ennen kaikkia, Pyhän
Hengen kastetta. Sanalla sanoen, evankelista-ihanne on saarnata
yksinkertaista evankeliumia Pyhän Hengen voimassa sekä tulla
todelliseen tekemiseen ihmisten kanssa".

Hänen neuvonsa Chicagon työväestölle v. 1893 oli seuraava:

"Ensin ja ennen kaikkia etsikää Jumalan valtakuntaa ja hänen
vanhurskauttaan; luottakaa hänen lupauksiinsa, joiden en
milloinkaan tiedä pettäneen, ja kaikki muu annetaan teille; toiseksi
pyytäkää Jumalalta työtä; olkaa kovinakin aikoina niin kärsivälliset
kuin mahdollista; neljänneksi etsikää vakavasti työtä; viidenneksi
ottakaa vastaan mikä kunniallinen toimi tahansa, mikä vaan on
tarjona; kuudenneksi tutkikaa taloudenhoitoa".

Tieto Mr. Moodyn kuolemasta herätti raamattu-opistossa suurta

surua. Lukuja kyllä jatkettiin keskeyttämättä, mutta suru painoi
raskaana tuota suurta laitosta, ja opettajat eivät enemmän kuin
oppilaatkaan koettaneet kyyneleitään salata. Pastori Torrey, opiston
johtaja, matkusti Northfieldiin olemaan hautaustilaisuudessa läsnä.
T:ri Torrey selitti ettei Mr. Moodyn kuolema tuottaisi minkäänlaista
muutosta raamattu-opiston johdossa.

"Olemme kadottaneet johtajamme ja rakkaan isämme", lausui

hän, "mutta opisto kykenee jatkamaan työtään, vaikka syvästi
tulemmekin Mr. Moodyn neuvoja ja apua kaipaamaan. Rakennukset
ovat meidän, ja uskon, että tulemme saamaan kylläksi apua
lisätäksemme riittämätöintä pääomaamme. Mr. Moodya rakasti joka
ihminen, joka lapsi, joka hänen tunsi. Osa hänen voimastaan oli se
rakkaus, mikä hänellä oli kaikkiin Jumalan luomiin olentoihin, mutta
hänen suurin voimansa oli minun luullakseni Pyhän Hengen
läsnäolossa. Hän oli nöyrä kuin lapsi, vaikka hänen erinomainen
tarmonsa ja etevä persoonallisuutensa saatti hänet joskus
näyttämään itsepäiseltä. Hänen evankeliuminsa oli evankeliumi
Jumalan rakkaudesta".
SEITSEMÄSTOISTA LUKU.

Mr. Moody kansalaisena ja naapurina jokapäiväisessä elämässä

Northfieldissä.

Kun joku henkilö on tullut yleisesti tunnetuksi, huvittaa yleisöä

myös tuntea hänen elämäänsä esiripun takana. Tahdotaan mielellään
tietää, millainen se henkilö, joka nähdään puhujalavalla ja
saarnatuolissa, on kotielämässään, ja mitä hänen naapurinsa
hänestä ajattelevat.

Ei kenenkään yksityinen elämä kestä paremmin tarkastelua kuin D.

L.
Moodyn, tarkastettakoon häntä sitte isänä, naapurina tai ystävänä.
Aina, kaikissa vaiheissa oli hän tosi kristitty, tosi mies.

Hänen kotinsa Chicagossa paloi tulipalossa v. 1871. Seuraavan

talven asui hän itse tabernaklissa Chicagon pohjois-osassa, ja hänen
vaimonsa ja lapsensa asuivat itäisessä kaupunginosassa. Seuraavat
kolme vuotta kuluivat lähetysretkiin Englantiin, niin että hänellä
Amerikaan, takaisin palatessaan ei vieläkään ollut vakinaista kotia.
Welcome to our website – the ideal destination for book lovers and
knowledge seekers. With a mission to inspire endlessly, we offer a
vast collection of books, ranging from classic literary works to
specialized publications, self-development books, and children's
literature. Each book is a new journey of discovery, expanding
knowledge and enriching the soul of the reade

Our website is not just a platform for buying books, but a bridge
connecting readers to the timeless values of culture and wisdom. With
an elegant, user-friendly interface and an intelligent search system,
we are committed to providing a quick and convenient shopping
experience. Additionally, our special promotions and home delivery
services ensure that you save time and fully enjoy the joy of reading.

Let us accompany you on the journey of exploring knowledge and

personal growth!

textbookfull.com