Deep Learning for Natural Language Processing 1st Edition Palash Goyal 2024 Scribd Download
Deep Learning for Natural Language Processing 1st Edition Palash Goyal 2024 Scribd Download
com
https://ebookmeta.com/product/deep-learning-for-natural-
language-processing-1st-edition-palash-goyal/
OR CLICK BUTTON
DOWNLOAD NOW
https://ebookmeta.com/product/transfer-learning-for-natural-language-
processing-1st-edition-paul-azunre/
ebookmeta.com
https://ebookmeta.com/product/how-to-write-and-publish-a-scientific-
paper-9th-edition-barbara-gastel-and-robert-a-day/
ebookmeta.com
British and Irish Moths Third Edition A Photographic Guide
Chris Manley
https://ebookmeta.com/product/british-and-irish-moths-third-edition-a-
photographic-guide-chris-manley-2/
ebookmeta.com
https://ebookmeta.com/product/sergei-rachmaninoff-a-lifetime-in-
music-1st-edition-sergei-bertensson-jay-leyda/
ebookmeta.com
https://ebookmeta.com/product/understanding-norman-mailer-1st-edition-
maggie-mckinley/
ebookmeta.com
https://ebookmeta.com/product/detransition-1st-edition-max-robinson/
ebookmeta.com
https://ebookmeta.com/product/teach-your-kids-math-column-
addition-1st-edition-sunil-tanna/
ebookmeta.com
The Angel Roofs of East Anglia Unseen Masterpieces of the
Middle Ages 1st Edition Michael Rimmer
https://ebookmeta.com/product/the-angel-roofs-of-east-anglia-unseen-
masterpieces-of-the-middle-ages-1st-edition-michael-rimmer/
ebookmeta.com
Deep Learning for
Natural Language
Processing
Creating Neural Networks with Python
—
Palash Goyal
Sumit Pandey
Karan Jain
www.allitebooks.com
Deep Learning for
Natural Language
Processing
Creating Neural Networks
with Python
Palash Goyal
Sumit Pandey
Karan Jain
www.allitebooks.com
Deep Learning for Natural Language Processing: Creating Neural Networks
with Python
Palash Goyal Sumit Pandey
Bangalore, Karnataka, India Bangalore, Karnataka, India
Karan Jain
Bangalore, Karnataka, India
www.allitebooks.com
To our parents, sisters, brothers, and friends
without whom this book would have been
completed one year earlier :)
www.allitebooks.com
Table of Contents
About the Authors��������������������������������������������������������������������������������xi
About the Technical Reviewer�����������������������������������������������������������xiii
Acknowledgments������������������������������������������������������������������������������xv
Introduction��������������������������������������������������������������������������������������xvii
www.allitebooks.com
Table of Contents
Pattern�����������������������������������������������������������������������������������������������������������29
Stanford CoreNLP������������������������������������������������������������������������������������������29
Getting Started with NLP�������������������������������������������������������������������������������������29
Text Search Using Regular Expressions��������������������������������������������������������30
Text to List�����������������������������������������������������������������������������������������������������30
Preprocessing the Text����������������������������������������������������������������������������������31
Accessing Text from the Web������������������������������������������������������������������������32
Removal of Stopwords�����������������������������������������������������������������������������������32
Counter Vectorization������������������������������������������������������������������������������������33
TF-IDF Score��������������������������������������������������������������������������������������������������33
Text Classifier������������������������������������������������������������������������������������������������35
Introduction to Deep Learning����������������������������������������������������������������������������35
How Deep Is “Deep”?������������������������������������������������������������������������������������37
What Are Neural Networks?��������������������������������������������������������������������������������38
Basic Structure of Neural Networks��������������������������������������������������������������������40
Types of Neural Networks�����������������������������������������������������������������������������������45
Feedforward Neural Networks����������������������������������������������������������������������46
Convolutional Neural Networks���������������������������������������������������������������������46
Recurrent Neural Networks���������������������������������������������������������������������������47
Encoder-Decoder Networks���������������������������������������������������������������������������49
Recursive Neural Networks���������������������������������������������������������������������������49
Multilayer Perceptrons����������������������������������������������������������������������������������������50
Stochastic Gradient Descent�������������������������������������������������������������������������������54
Backpropagation�������������������������������������������������������������������������������������������������57
Deep Learning Libraries��������������������������������������������������������������������������������������60
Theano�����������������������������������������������������������������������������������������������������������60
Theano Installation����������������������������������������������������������������������������������������61
vi
Table of Contents
Theano Examples������������������������������������������������������������������������������������������63
TensorFlow����������������������������������������������������������������������������������������������������64
Data Flow Graphs������������������������������������������������������������������������������������������65
TensorFlow Installation����������������������������������������������������������������������������������66
TensorFlow Examples������������������������������������������������������������������������������������67
Keras�������������������������������������������������������������������������������������������������������������69
Next Steps�����������������������������������������������������������������������������������������������������������74
vii
Table of Contents
viii
Table of Contents
Index�������������������������������������������������������������������������������������������������269
ix
About the Authors
Palash Goyal is a senior data scientist and
currently works with the applications of
data science and deep learning in the online
marketing domain. He studied Mathematics
and Computing at the Indian Institute of
Technology (IIT) Guwahati and proceeded to
work in a fast-paced upscale environment.
He has wide experience in E-commerce
and travel, insurance, and banking industries.
Passionate about mathematics and finance,
Palash manages his portfolio of multiple
cryptocurrencies and the latest Initial Coin
Offerings (ICOs) in his spare time, using deep learning and reinforcement
learning techniques for price prediction and portfolio management. He
keeps in touch with the latest trends in the data science field and shares
these on his personal blog, http://madoverdata.com, and mines articles
related to smart farming in free time.
xi
About the Authors
xii
About the Technical Reviewer
Santanu Pattanayak currently works at GE
Digital as a staff data scientist and is the author
of the deep learning–related book Pro Deep
Learning with TensorFlow—A Mathematical
Approach to Advanced Artificial Intelligence
in Python. He has about 12 years of overall
work experience, 8 in the data analytics/
data science field, and has a background in
development and database technologies.
Prior to joining GE, Santanu worked in
such companies as RBS, Capgemini, and IBM. He graduated with a degree
in electrical engineering from Jadavpur University, Kolkata, and is an avid
math enthusiast. Santanu is currently pursuing a master’s degree in data
science from IIT Hyderabad. He also devotes his time to data science
hackathons and Kaggle competitions, in which he ranks within the top 500
across the globe. Santanu was born and brought up in West Bengal, India,
and currently resides in Bangalore, India, with his wife.
xiii
Acknowledgments
This work would not have been possible without those who saw us through
this book, to all those who believed in us, talked things over, read, wrote,
and offered their valuable time throughout the process, and allowed us to
use the knowledge that we gained together, be it for proofreading or overall
design.
We are especially indebted to Aditee Mirashi, coordinating editor,
Apress, Springer Science+Business, who has been a constant support and
motivator to complete the task and who worked actively to provide us with
valuable suggestions to pursue our goals on time.
We are grateful to Santanu Pattanayak, who went through all the
chapters and provided valuable input, giving final shape to the book.
Nobody has been more important to us in the pursuit of this project
than our family members. We would like to thank our parents, whose love
and guidance are with us in whatever we pursue. Their being our ultimate
role models has provided us unending inspiration to start and finish the
difficult task of writing and giving shape to our knowledge.
xv
Introduction
This book attempts to simplify and present the concepts of deep learning
in a very comprehensive manner, with suitable, full-fledged examples of
neural network architectures, such as Recurrent Neural Networks (RNNs)
and Sequence to Sequence (seq2seq), for Natural Language Processing
(NLP) tasks. The book tries to bridge the gap between the theoretical and
the applicable.
It proceeds from the theoretical to the practical in a progressive
manner, first by presenting the fundamentals, followed by the underlying
mathematics, and, finally, the implementation of relevant examples.
The first three chapters cover the basics of NLP, starting with the most
frequently used Python libraries, word vector representation, and then
advanced algorithms like neural networks for textual data.
The last two chapters focus entirely on implementation, dealing with
sophisticated architectures like RNN, Long Short-Term Memory (LSTM)
Networks, Seq2seq, etc., using the widely used Python tools TensorFlow
and Keras. We have tried our best to follow a progressive approach,
combining all the knowledge gathered to move on to building a question-
and-answer system.
The book offers a good starting point for people who want to get
started in deep learning, with a focus on NLP.
All the code presented in the book is available on GitHub, in the form
of IPython notebooks and scripts, which allows readers to try out these
examples and extend them in interesting, personal ways.
xvii
CHAPTER 1
Introduction
to Natural Language
Processing and Deep
Learning
Natural language processing (NPL) is an extremely difficult task in
computer science. Languages present a wide variety of problems that
vary from language to language. Structuring or extracting meaningful
information from free text represents a great solution, if done in the
right manner. Previously, computer scientists broke a language into its
grammatical forms, such as parts of speech, phrases, etc., using complex
algorithms. Today, deep learning is a key to performing the same exercises.
This first chapter of Deep Learning for Natural Language Processing
offers readers the basics of the Python language, NLP, and Deep Learning.
First, we cover the beginner-level codes in the Pandas, NumPy, and SciPy
libraries. We assume that the user has the initial Python environment
(2.x or 3.x) already set up, with these libraries installed. We will also briefly
discuss commonly used libraries in NLP, with some basic examples.
CARLO
Cacceremo, sai? A memoria d’uomo, non si sono mai viste tante
anitre sul fiume...
CARLO
Senti, come ti si parla!
IDA
Non insistere. Basta. Non abbiamo compenso per quel che gli
faremmo perdere. — Teatri, serate, amici, amiche, svaghi d’ogni
specie.
CARLO (ridendo)
Ah, quanto alle amiche, è affar serio!
IDA
Un amico, dal quale non si separa più...
CARLO
Quanto gli amici... se non sono esigenti...
IDA
Carlo, no, non si può estender l’invito.
CARLO (a Claudio)
È cacciatore il tuo amico?
CLAUDIO
Laneri?... Oh sì.
CARLO
Ma, cacciatore serio; come noi, modestia a parte?
CLAUDIO
Appassionato, quanto può esserlo lui.
CARLO
Allora...
IDA (bruscamente)
Via, Serra, cerchi il suo Pilade..... Concerteremo il gran fatto!
SCENA I.
IDA, CARLO, CLAUDIO e PIERO
IDA
Prenderai la camera migliore, spero. Ti farai fare una bella
fiammata...
CARLO
Sì, la camera migliore! Se la sarà tolta un collega. Telegrafare non
serve, telegrafano tutti, e le camere possibili, all’albergo d’Italia, sono
tre o quattro al più. Avrei potuto scrivere che mi tenessero quella del
presidente, poichè è malato, e sono vice... Ma l’avviso è capitato
come un fulmine; chi si sognava una seduta straordinaria del
Consiglio provinciale, proprio ora, dopo le seccature ed i disturbi già
avuti!... Oh se ci avessero pensato a tenermi una buona camera! Eh!
ma no, ne son certo. A quest’ora saranno arrivati il marchese
Besson, od il generale Pozzobonelli, che non hanno suggezione;
quando vi sono, quel che v’è di meglio nell’albergo, tutto è per loro
(con un sospiro). Quanto al fuoco, alla fiammata, la vedo e non la
vedo. Sono camere sempre vuote d’inverno. Il camino sarà otturato,
pieno di topi secchi, di pipistrelli in sopore, di ragnateli, fuliggine e
maledizioni! Poi legna verdi, umide, recalcitranti... Auf! che
seccatura...
IDA
E tu non andare.
CARLO
Non ci mancherebbe altro! Il presidente è malato...
IDA
Cosa vuoi ch’io ti dica?...
CARLO
Non dir nulla, lasciami imprecare.
CLAUDIO
Ti sbrigherai presto?
CARLO
Oh quanto a questo è affar mio! Vi prometto che sarò un presidente
modello: solleciterò l’ordine del giorno, manterrò la discussione in
carreggiata, rigorosamente; digressioni no, lungaggini no...
CLAUDIO
Senti, Carlo: Laneri ed io abbiamo pensato...
CARLO
Eccolo! So quello che mi vuoi dire: quello che m’ha cantato Laneri
poco fa. Siete matti tutti e due.
PIERO
Non parlo più.
CLAUDIO
Parlo io. Siamo qui da dieci giorni...
CARLO
Lunghi, eh?
CLAUDIO
Ritorneremo...
CARLO
Senti. Starò fuori tutto venerdì senza dubbio; sabato in giornata, o la
sera, alla peggio, sarò di ritorno. Domenica è Natale e lo dobbiamo
passare insieme, come s’è detto. Ve ne volete andare per due giorni
e tornare il terzo?... Vedete bene? Cacciate; anitre ve ne sono
sempre. Se in casa non vi basta la compagnia di mia moglie, e per
essere pari al biliardo, invitate Don Brina, trattenetelo a pranzo, a
cena, non opporrà resistenza... (guarda l’orologio e si alza) Ohe,
Nicola?
CARLO
È attaccato?
NICOLA
A momenti.
CARLO
Ma diavolo! ci volete lasciar celebrare Natale, da soli? Capo d’anno
dove vorrete, Natale qui, non si transige. Nicola,... sacco, coperta,
soprabito, subito!
CLAUDIO
Vengo.
IDA
Perdoni, Serra, ma le mie cifre quando me le vuol disegnare? Son
più giorni che le aspetto!
CARLO
Laneri, presto?
PIERO
Vengo, vengo io.
CARLO
Già, se non perdo il treno sarà un bel fatto. Arrivederci moglie...
(abbraccia Ida). Claudio, buona sera. (via con Piero, seguìto da
Nicola che porta il sacco e la coperta)
SCENA II.
IDA, CLAUDIO.
IDA
Dunque... si metta qui. Ecco carta, ecco lapis, tutto quel che occorre.
Mi trovi le cifre. Voglio si possano leggere al primo colpo d’occhio; nè
grandi, nè piccole; nuove poi, inventate per me; carine, insomma.
CLAUDIO (seduto)
E le par facile?
IDA
Non so se sia facile, è affar suo. (siede anche lei dall’altra parte della
tavola).
CLAUDIO
Bè, lasci ch’io ci pensi un momento, mentre appunto il lapis.
Intanto... la ringrazio d’avermi trattenuto con lei.
IDA
Ringrazierò io, quando m’avrà fatto il disegno.
CLAUDIO
Ma non le posso dir nulla?
IDA
Lavorando può dir quel che vuole.
CLAUDIO
Non posso dirle tutta quanta la mia riconoscenza?
IDA
Nessuno.
CLAUDIO
Ma dunque?
IDA
Dunque lavori. Che bisogno c’è di sottilizzare su tutto quel che si fa?
È contento lei d’esser qui?... Bene. Io sono contenta che ci sia.
Benissimo. — E non basta?
IDA (tace)
CLAUDIO
Eppure me l’ha lasciata dire, ed anche ripetere.
IDA
Perciò la so.
CLAUDIO (punto)
E perciò proprio non è necessario insistere? Non è vero? Dica così
che l’annoio, che le dò fastidio, che potrei far questo disegno di là, in
camera mia...
IDA
È facile interpretar tutto a modo nostro ed offendersi per cosa che
non si è nè detta, nè pensata.
IDA
Perchè?... Senta, Serra, non potrebbe non esagerar le cose?
CLAUDIO
Ma esagero, io? È lei che si ostina a non credermi. Vede pure come
sono. — Non le par tempo di finir la musica? La tela è levata e la
commedia, od il dramma incomincia.
CLAUDIO (risentito)
Ida!
IDA (accigliata)
Cioè?
IDA
Ma lei smetta quel tono.
CLAUDIO
Mi perdoni. Ha ragione, sono insopportabile. Non sarei così, sa. Ma
lei anche perchè è tanto strana e volubile? Ora vicina vicina, ora
tanto alta e lontana. (abbassando la voce) Se mi vuol bene me lo
dica. Non le pare che a quest’ora, dopo che ho tanto, tanto
atrocemente sofferto..? (dopo aver aspettato invano una parola) E
se mai, se proprio non sono nulla per lei, allora perchè non è
schietta? Non può farsi chiara?
IDA
Eh sì, lo potrei.
CLAUDIO
Ma dunque?
IDA
Lo sa, ci ho i miei momenti...
CLAUDIO (aspro)
Bene, se non vuol esserlo lei, lo sarò io, e subito.
IDA (freddamente)
Così ci sarà compenso.
CLAUDIO
Dunque poichè il fatto è questo, poichè lei mi ha lasciato parlare,
deve od accettare o respingere. È così, donna Ida, è così, è così...
(mutando tono) Mi basta un gesto, basta una parola: un sì, un no,
ma esplicito (con energia). E, se fosse un no, abbandono tutto, mi
riallontano e per sempre, per sempre; senza speranza di ritorno,
risoluto a non vederla più mai.
CLAUDIO (ferito)
Se non m’ha giovato, la colpa non è tutta mia... oramai.
IDA (seria)
Cioè?... Ah ecco, ci sono. Ebbene queste sono parole che non mi
sarei mai aspettate! L’ho accolto con festa, l’ho invitato alla villa, e ve
l’ho trattenuto. Sono questi i miei torti? (dopo una pausa) Ah voi altri
uomini come siete terribili per tormentare voi stessi e chi vi vuol
bene! Irrequieti, sospettosi, vanitosi, turbolenti... Volete far così poco
per farvi amare, sapete far tutto per rendervi impossibili. E non
comprendete mai, non indovinate mai: agite all’opposto sempre di
quel che dovreste. Ruvidi quando sarebbe il caso d’essere miti;
deboli ed inetti quando dovreste essere forti. Infine sapete qual è il
mio vero torto? (dopo una pausa, porgendogli la mano) Quello di
voler essere anzitutto compresa.
IDA (ritirandola)
Ma, e le mie cifre?
CLAUDIO
Ora le trovo; le porrò in netto domani.
IDA (osservando)
Non troppo grandi, mi raccomando. Così non c’è male. Ma se finite
poi non mi garbano?...
CLAUDIO
Ne farò delle altre. Ecco (guardando lo schizzo) I. G. S. Ida-
Galliari-Sanesi... Sanesi!... Mi ricordo quand’era ragazza, la prima
volta che l’ho veduta; mi trovavo con Piero, ne abbiamo parlato tutto
quel giorno. Chi m’avesse detto.... (s’interrompe) Dio! come tutto mi
turba; come tutto mi offusca, il passato, il presente, l’avvenire...
CLAUDIO (grave)
E con ragione.
IDA
Sicuro. — Vediamo la ragione?
CLAUDIO
Ebbene, no.
IDA
Oh via... Poichè ha cominciato, finisca. Geloso di chi?
IDA (fissandolo)
Coraggio!
CLAUDIO
Oh no!...
CLAUDIO
No.
IDA (imperiosa)
Badi, che lo esigo.
CLAUDIO
Eh! infine, perchè no...? (concitato) L’altro giorno, dopo pranzo,
Carlo era andato alla tenuta; lei passò con Piero in giardino; io mi
ritrassi a scriver lettere. Dalle finestre, attraverso ai rami brulli vi vidi
passar nel viale stretto che segue il muro di cinta. Lei era al suo
braccio... v’era nell’andatura un abbandono... quel non so che prova
d’intimità, d’accordo completo nei sentimenti...
IDA
Serra!
IDA
Serra...
CLAUDIO
E perchè vi spiccaste quand’io m’affacciai?
IDA
Ma basta, basta... (siede e riprende il lavoro, lunga pausa). Così
guai! Non posso avere un momento di distrazione, permettermi uno
scherzo, un’inezia? Non posso trovarmi stanca e cercar
semplicemente il braccio di chi m’è vicino?.. devo serbare un
contegno serio, irreprensibile, rigido... ridicolo... E scrutar le finestre,
e guardarmi alle spalle! (cambiando tono) Però, non so perchè io le
risponda; perchè io raccolga le sue parole, quasi intendessi
scolparmi, o... le accordassi diritti, che certo non avrà mai!
CLAUDIO (esasperato, addoloratissimo)
Signora, lei è troppo forte per me!... Non abusi della sua forza. Non
ne abusi. Mi sento perduto, sono fuori della via retta, non ho più
scrupoli, non ho ritegno. — Posso cacciarla ancora una volta dal
cuore e allora... il conto che m’avrebbe a rendere sarebbe terribile!
SCENA III.
Detti e PIERO.
CLAUDIO (asciutto)
Come vedi.
PIERO
Che le pare, baronessa, di queste cifre?
IDA
Bellissime.
PIERO
Gran bella cosa saper disegnare!... Non ci ho inclinazione. Questo
poi, del trovar cifre, arabeschi, che so io, è un talento speciale. Serra
lo possiede mirabilmente; l’ho veduto compir miracoli; scioglier veri
problemi, venir a capo di cifre complicate, formar monogrammi
ingegnosi, nitidi, stupendi. Ma credo pure che vi siano lettere per
così dire ribelli, ad ogni combinazione. L’I col G e coll’S devono
essere di queste.
CLAUDIO (aspro)
Chi te lo dice?
PIERO
Lo vedo.
CLAUDIO
Eccoti il lapis: provati!
PIERO
Sai che non so disegnare. Dunque...
IDA
Signori, chi mi dà l’ora?
IDA
Grazie (incomincia a riporre il lavoro).
PIERO
Cacceremo insieme.
CLAUDIO (senza tornare alla tavola, s’inchina)
Baronessa... Buona notte, Laneri. (entra nel secondo uscio a
destra).
PIERO (prontissimo)
Cos’ha?
IDA
Dubita.
PIERO
Di che?
IDA
Ci ha visti l’altro ieri, nel viale.
PIERO
Ah!... (dopo un momento) Mi vuoi bene?
PIERO
Ma tanto? (con passione) Una parola, Ida?... Mi vuoi bene?
IDA
Troppo.
PIERO (accostandosi)
Siamo liberi, soli...
IDA
Guardati!
CLAUDIO (ricomparso sulla soglia, viene innanzi
lentamente, cercando sul sofà, poi sulla tavola).
Cerco e... non trovo; credevo d’aver un libro in camera e non ce l’ho.
Non so dove posso averlo lasciato...
PIERO
Che libro?
CLAUDIO
La Revue des deux Mondes, l’ultimo fascicolo.
PIERO
La Revue? Era qui pur ora... eccola. (gli porge un libro).
CLAUDIO
Grazie... Vi è un articolo bellissimo... 1º dicembre? Ma non è l’ultimo!
(continua a cercare) Un articolo tanto bello; ma non fa nulla, se non
trovo l’altro ritengo questo — a meno che vi sia chi l’abbia in lettura?
IDA
No, no. (alzandosi) Auguro a loro signori una felicissima notte.
(porge loro la mano, risale la scena ed entra a sinistra).
SCENA IV.
PIERO, CLAUDIO
PIERO
Cercavi il fascicolo 15 dicembre, l’avevi sott’occhio.
CLAUDIO
Grazie! (lo sfoglia, stando in piedi, distratto. Un silenzio nel quale si
sente che entrambi fanno uno sforzo per restar calmi).
CLAUDIO
Buona notte. (subito) Piero?
PIERO
Eh?
CLAUDIO
Lo sai, che v’è una cosa che io non riesco a spiegarmi?
PIERO (pacatamente)
Tu vedi dell’indifferenza nel contegno della baronessa, verso di me?
(avvicinandosi) Santo Dio, che vuoi che ci sia?
PIERO
Sei un gran visionario, però... Antipatia?... È così che m’hai detto?
CLAUDIO
È la mia parola.
PIERO
Euh!?... Ben, ti giuro che non me n’ero accorto.
CLAUDIO
Ed è questo che mi sorprende. Ti ho sempre veduto star così sul
puntiglio, sempre; ed ora...
PIERO
No, non son tanto assoluto. In fondo ho un carattere che rifugge
dall’analisi, non sono fatto per approfondire. Mi abbandono io,
(blando) gusto il presente senza crucciarmi del passato, senza
angustiarmi per l’avvenire. Sono qui, con te, mi trovo bene, ci sto e
non cerco altro. Oggi la discrezione mi suggeriva d’andarmene... fui
pregato con gentile insistenza a rimanere, e son rimasto.
CLAUDIO
Insistenza naturalissima in persone ammodo, squisitamente cortesi.
PIERO (scuotendosi)
Oh, oh!... Mi dici questo con un tono,... (scaldandosi) Dunque a
parer tuo si è insistito meco per pura convenienza?... Perdio! Mi devi
parlar chiaro, è affar delicato. Se v’è un’ombra di verità in ciò che
affermi, presto fatto. Domani mi fo capitar una lettera di richiamo, un
telegramma, trovo un pretesto e via senz’altro, torniamo in città
senz’aspettar Natale, nè capo d’anno. (con intenzione) Dico