WILEY END USER LICENSE AGREEMENT

Die wichtigsten TensorFlow-Pakete

Bevor Sie ein TensorFlow-Programm schreiben, sollten Sie sich mit den verschiedenen Paketen und ihren Modulen vertraut machen. Hier sind die zehn wichtigsten TensorFlow-Pakete.

Paket	Inhalt
tensorflow	Zentrales Paket des TensorFlow-Frameworks; wird üblicherweise über tf aufgerufen
tf.train	Optimierer und weitere Klassen für das Training
tf.nn	Klassen für neuronale Netze und zugehörige mathematische Operationen
tf.layers	Funktionen zur Arbeit mit mehrschichtigen neuronalen Netzen
tf.contrib	Noch instabiler oder experimenteller Code
tf.image	Funktionen zur Bildverarbeitung
tf.estimator	Komplexere Tools zum Training und zur Evaluierung
tf.logging	Funktionen, die Daten in ein Protokoll schreiben
tf.summary	Benötigte Klassen zur Erzeugung von Zusammenfassungen
tf.metrics	Funktionen zum Messen der Ergebnisse des maschinellen Lernens

Vier wichtige Optimierungsklassen

Beim Training in TensorFlow werden die Variablen eines Modells angepasst, um die Abweichung zwischen dem Modell und den beobachteten Daten, den sogenannten Verlust, zu minimieren. Für diese Optimierung hat TensorFlow zahlreiche Algorithmen parat. Die Auswahl des richtigen Algorithmus für das maschinelle Lernprogramm ist von höchster Bedeutung. Die Optimizer-Klasse läuft dabei außer Konkurrenz. Auf sie wird nicht direkt zugegriffen, vielmehr müssen Programme eine ihrer Subklassen instanziieren. Die Optimizer-Klasse spielt jedoch eine zentrale Rolle, da sie die so wichtige minimize-Methode definiert.

GradientDescentOptimizer: Das ist der einfachste und am häufigsten genutzte Optimierer. Trotz seiner Popularität wird er von Experten aber nur selten empfohlen.

Der Grund dafür ist, dass vom Entwickler eine Lernrate festgelegt werden muss. Das ist ein Wert, der angibt, wie stark sich der Variablenwert von einem Schritt zum nächsten ändert. Ist die Lernrate zu groß, schreitet der Algorithmus zwar schnell voran, überspringt dadurch aber möglicherweise das Minimum und erreicht somit nie seinen Zielwert. Ist die Lernrate zu klein, arbeitet der Algorithmus präziser, benötigt aber entsprechend viel mehr Zeit. Zudem kann es passieren, dass der Optimierer seine Aufgabe an einem lokalen Minimum beendet statt am globalen Minimum. Ein weiterer Nachteil des Optimierers ist, dass er im ungünstigen Fall zwischen Werten oszilliert.

MomentumOptimizer: Dieser Optimierer hat mit dem GradientDescentOptimizer viel gemeinsam, konvergiert aber normalerweise schneller und oszilliert auch seltener.

Um die aktuellen Variablen anzupassen, nutzt der Algorithmus vorangegangene Werte des Verlustgradienten. In einen als Akkumulation bezeichneten Wert gehen die Lernrate, der Verlustgradient und der Akkumulationswert aus dem vorherigen Schritt ein. Ein als Momentum bezeichneter konstanter Wert legt fest, wie stark der Einfluss des vorangegangenen Schritts auf den aktuellen Schritt ist.

Bewegt sich der Optimierer zügig in Richtung eines Minimums, beschleunigt der Optimierer und nähert sich dem Minimum noch schneller an. Hängt der Optimierer zwischen zwei Werten fest, werden die Variablen mit geringeren Veränderungen aktualisiert.

AdagradOptimizer: Der Gradientenabstieg und der Momentum-Algorithmus wenden dieselbe Lernrate auf jede zu trainierende Variable und für jeden Schritt an. Unterschiedliche Variablen konvergieren jedoch nicht immer im selben Tempo gegen ihre Minima. Der adaptive Gradientenabstieg, kurz Adagrad, wird dieser Tatsache gerecht.

Adagrad erfreut sich unter Akademikern und Experten recht hoher Beliebtheit – auch weil Adagrad auch nicht differenzierbare Funktionen optimieren kann.

Ein Nachteil des Adagrad-Algorithmus ist, dass die Lernraten immer kleiner werden. Mit fortschreitendem Training erreichen sie irgendwann null, und das Training ist beendet.

AdamOptimizer: Das ist der Porsche unter den Optimierern.

Üblicherweise beginne ich mit ihm, vor allem, wenn ich mit Bilddaten arbeite. Nur wenn ich Neulingen Code erkläre, greife ich manchmal auf den GradientDescentOptimizer zurück, da er dank seines einfachen Aufbaus niemandem Angst einjagt.

Analyse von Systemen mittels Regression

Eines der leistungsfähigsten statistischen Verfahren ist die Regressionsanalyse. Die Regres­sion analysiert ein System, indem sie die Beziehungen zwischen seinen Variablen erfasst. TensorFlow bietet diverse Hilfsmittel für derartige Analysen. Dieses Buch konzentriert sich auf vier Arten der Regression:

Lineare Regression: Suche nach einer passenden Geraden für die Datenpunkte eines Datensatzes

Polynomielle Regression: Suche nach einem passenden Polynom für die Datenpunkte eines Datensatzes

Binäre logistische Regression: Zuordnung von Datenpunkten zu einer von zwei Kategorien

Multinomiale logistische Regression: Zuordnung von Datenpunkten zu einer von mehreren Kategorien

Backpropagation

Backpropagation, auch als Rückpropagierung bekannt, ist ein essenzielles Verfahren für das Training von neuronalen Netzen. Im Wesentlichen erweitert das Verfahren die Optimierungsalgorithmen auf neuronale Netze. Dazu sind sechs Schritte nötig:

1.Initialisierung der Gewichte des Netzes

2.Berechnung von y(x_i) für die Menge an Eingaben x_i

3.Bestimmung des Verlusts für die Menge an Eingaben x_i

4.Berechnung der partiellen Ableitung des Verlusts für jedes Gewicht

5.Aktualisierung der Gewichte im Netz mithilfe der in Schritt 4 berechneten partiellen Ableitungen

6.Rückkehr zu Schritt 2 und Fortsetzung des Verfahrens, bis die partiellen Ableitungen des Verlusts sich null annähern

Feinabstimmung des neuronalen Netzes

Um die Genauigkeit und Verarbeitungsgeschwindigkeit ihrer Programme zu verbessern, nutzen professionelle Entwickler spezielle Routinen, die unter dem Begriff Feinabstimmung beziehungsweise Tuning zusammengefasst werden. Für mich sind dies »die vier -Ierungen«:

Standardisierung der Eingaben: Eingaben werden so vorbereitet, dass sie denselben Mittelwert und dieselbe Standardabweichung wie die Trainingsdaten haben. Diese Standar­disierung wird in TensorFlow durch zwei Funktionen im tf.nn-Paket unterstützt: moments und batch_normalization.

Initialisierung der Gewichte: Geeignete Werte für die Anfangsgewichte werden bestimmt. Es gibt verschiedene Verfahren. TensorFlow unterstützt diese Verfahren mit Funktionen im tf.contrib.keras.initializers-Paket.

Normalisierung der Batches: Wenn der Ausgabewert eines Knotens einen Extremwert erreicht und die Steigung gegen null geht, kann das Problem der Sättigung auftreten. Wird ein Gradientenabstiegsverfahren genutzt, resultiert die geringe Steigung in langsamen Trainingsabläufen. Daten werden deshalb in allen Schichten – ähnlich wie bei der Standardisierung der Eingaben – vorverarbeitet, um die Sättigungswahrscheinlichkeit zu verringern. Zur Implementierung der Normalisierung in Programmen bietet TensorFlow tf.contrib.layers.batch_norm.

Regularisierung: Wenn Ihr Netz zu viele Knoten hat, passt es sich zwar sehr gut dem vorgelegten Trainingsdatensatz an, ist aber nicht mehr in der Lage, allgemeinere Daten zu analysieren. Man spricht von Überanpassung – und das ist eine richtig harte Nuss beim maschinellen Lernen. Das Gegenmittel ist die Regularisierung. Forscher haben zahlreiche Methoden zur Regularisierung von Netzen ersonnen; zwei davon sind:

●Dropout: Einige zufällig ausgesuchte Knoten werden aus dem Netz entfernt.

In TensorFlow können Sie eine Dropout-Komponente für ein neuronales Netz durch Hinzufügen einer Dropout-Schicht konfigurieren. Dazu muss die tf.nn.dropout-Funktion aufgerufen werden.

●L1-/L2-Regularisierung: Die Bedeutung einzelner Gewichte wird gezielt verringert. Dabei nimmt man zwar in Kauf, dass sich der Verlust vergrößert, erhofft sich aber eine größere Flexibilität des Modells.

In TensorFlow können Sie die L1-/L2-Regularisierung durch Aufruf von tf.contrib.layers.l1_regularizer oder tf.contrib.layers.l2_regularizer ­vornehmen.

WILEY-VCH Verlag GmbH & Co. KGaA

TensorFlow für Dummies

Matthew Scarpino

Übersetzung aus dem Amerikanischen von Simone Linke

Bibliografische Information der Deutschen Nationalbibliothek

Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

© 2018 WILEY-VCH Verlag GmbH & Co. KGaA, Weinheim

Original English language edition TensorFlow For Dummies © 2018 by Wiley Publishing, Inc.All rights reserved including the right of reproduction in whole or in part in any form. This translation ­published by arrangement with John Wiley and Sons, Inc.

Copyright der englischsprachigen Originalausgabe TensorFlow For Dummies © 2018 by Wiley Publishing, Inc.Alle Rechte vorbehalten inklusive des Rechtes auf Reproduktion im Ganzen oder in Teilen und in jeglicher Form. Diese Übersetzung wird mit Genehmigung von John Wiley and Sons, Inc. publiziert.

Wiley, the Wiley logo, Für Dummies, the Dummies Man logo, and related trademarks and trade dress are trademarks or registered trademarks of John Wiley & Sons, Inc. and/or its affiliates, in the United States and other countries. Used by permission.

Wiley, die Bezeichnung »Für Dummies«, das Dummies-Mann-Logo und darauf bezogene Gestaltungen sind Marken oder eingetragene Marken von John Wiley & Sons, Inc., USA, Deutschland und in anderen Ländern.

Das vorliegende Werk wurde sorgfältig erarbeitet. Dennoch übernehmen Autoren und Verlag für die Richtigkeit von Angaben, Hinweisen und Ratschlägen sowie eventuelle Druckfehler keine Haftung.

Coverfoto: ktsdesign – stock.adobe.com

Korrektur: Claudia Lötschert, Neuss

Satz/ePub: Reemers Publishing Services GmbH, Krefeld

Print ISBN: 978-3-527-71547-3

ePub ISBN: 978-3-527-81896-9

Matthew Scarpino ist seit rund zwanzig Jahren als Programmierer und Ingenieur tätig. Er widmet sich insbesondere der Entwicklung von neuronalen Netzen zur Bilderkennung sowie dem Entwurf von Schaltkreisen zur Modellierung der menschlichen Wahrnehmung für die Forschungsabteilung des US-Verteidigungsministeriums (Defense Advanced Research Projects Agency, kurz DARPA). Derzeit ist er außerdem leitender Entwickler bei Plutocracy.com, einer Website, die mithilfe von maschinellen Lernalgorithmen Börsenprognosen erstellt.

Seit 2018 besitzt er die Zertifizierung als Google Certified Data Engineer. In seiner Freizeit programmiert er Roboter und schreibt Blogartikel zu TensorFlow unter http://tfblog.com/.

Maschinelles Lernen gehört zu den spannendsten und wichtigsten technologischen Ansätzen unserer modernen Welt. Die US-amerikanische Raumfahrtbehörde NASA beispielsweise nutzt maschinelle Lernalgorithmen, um Teleskopbilder auszuwerten und neue Planeten in den Tiefen des Weltalls aufzuspüren. Auch Google testet die vielversprechenden Möglichkeiten dieses Ansatzes. Sein AlphaGo-Programm beherrschte nach einem nur dreitätigen Training das komplizierte Brettspiel Go und besiegte einen der weltbesten Profispieler.

Trotz des enormen Potenzials machen sich bisher jedoch nur wenige Programmierer das maschinelle Lernen zunutze. Dies liegt nicht zuletzt daran, dass die Programmierung einer Anwendung für maschinelles Lernen eine gänzlich neue Denkweise erfordert. Es geht nicht mehr darum, ein spezifisches Problem zu lösen, sondern es soll eine Anwendung entwickelt werden, die ein zum Zeitpunkt der Programmierung noch unbekanntes Problem später selbstständig lösen kann.

Die Methoden des maschinellen Lernens vereinen verschiedene Fachbereiche der Mathematik, unter anderem die Statistik, die Analysis, die lineare Algebra und die Optimierung. Bedauerlicherweise hält sich unsere reale Welt aber nicht immer an mathematische Gesetzmäßigkeiten. Selbst ein gut durchdachtes mathematisches Modell liefert im ungünstigen Fall nur lausige Ergebnisse. Das ist natürlich frustrierend und hat mich schon oft genug dazu verleitet, neuronale Netze verärgert als »Hightech-Scharlatanerie« abzustempeln.

TensorFlow bietet zwar auch kein perfektes Modell, ermöglicht jedoch eine deutlich schnellere und weniger nervenaufreibende Entwicklung von maschinellen Lernprogrammen. Statt Aktivierungsfunktionen und Normalisierungsroutinen mühsam von Grund auf neu zu programmieren, können Sie auf zahlreiche integrierte Funktionen des Frameworks zurückgreifen. TensorFlow für Dummies erklärt, wie Sie diese Funktionen richtig einsetzen.