EITC/AI/DLPTFK Deep Learning mit Python, TensorFlow und Keras

Künstliche neuronale Netze (ANNs) wurden von der Informationsverarbeitung und verteilten Kommunikationsknoten in biologischen Systemen inspiriert. Das Adjektiv „tief“ im tiefen Lernen bezieht sich auf die Verwendung mehrerer Schichten im Netzwerk. Frühe Arbeiten zeigten, dass ein lineares Perzeptron kein universeller Klassifikator sein kann, und dass dies auch ein Netzwerk mit einer nichtpolynomiellen Aktivierungsfunktion mit einer verborgenen Schicht unbegrenzter Breite sein kann. Deep Learning ist eine moderne Variante, die sich mit einer unbegrenzten Anzahl von Schichten begrenzter Größe befasst, die eine praktische Anwendung und eine optimierte Implementierung ermöglicht und gleichzeitig die theoretische Universalität unter milden Bedingungen beibehält. Beim Deep Learning dürfen die Schichten auch heterogen sein und aus Gründen der Effizienz, Trainingsfähigkeit und Verständlichkeit stark von biologisch informierten verbindungsorientierten Modellen abweichen, woher der „strukturierte“ Teil stammt.

Python ist dynamisch typisiert (zur Laufzeit werden viele gängige Programmierverhaltensweisen ausgeführt, die statische Programmiersprachen während der Kompilierung ausführen) und müllsammelt (mit automatischer Speicherverwaltung). Es unterstützt mehrere Programmierparadigmen, einschließlich strukturierter (insbesondere prozeduraler), objektorientierter und funktionaler Programmierung. Es wurde Ende der 1980er Jahre erstellt und 1991 von Guido van Rossum als Nachfolger der Programmiersprache ABC erstmals veröffentlicht. Python 2.0, das im Jahr 2000 veröffentlicht wurde, führte neue Funktionen wie Listenverständnis und ein Garbage Collection-System mit Referenzzählung ein und wurde mit Version 2.7 im Jahr 2020 eingestellt. Python 3.0, das im Jahr 2008 veröffentlicht wurde, war eine wichtige Überarbeitung der jeweiligen Sprache Nicht vollständig abwärtskompatibel und viel Python 2-Code wird unter Python 3 nicht unverändert ausgeführt. Mit dem Ende der Lebensdauer von Python 2 (und Pip, das die Unterstützung im Jahr 2021 eingestellt hat) wird nur Python 3.6.x und höher unterstützt, wobei ältere Versionen noch vorhanden sind Unterstützung zB Windows 7 (und alte Installationsprogramme, die nicht auf 64-Bit-Windows beschränkt sind).

Python-Interpreter werden für Mainstream-Betriebssysteme unterstützt und sind für einige weitere verfügbar (und haben in der Vergangenheit viele weitere unterstützt). Eine globale Community von Programmierern entwickelt und pflegt CPython, eine kostenlose Open-Source-Referenzimplementierung. Die Python Software Foundation, eine gemeinnützige Organisation, verwaltet und leitet Ressourcen für die Python- und CPython-Entwicklung.

Ab Januar 2021 belegt Python nach T und BE den dritten Platz im TIOBE-Index der beliebtesten Programmiersprachen, nachdem es zuvor den zweiten Platz und die Auszeichnung für den beliebtesten Gewinn für 2020 erhalten hatte. 2007 und 2010 wurde es zur Programmiersprache des Jahres gewählt und 2018.

Eine empirische Studie ergab, dass Skriptsprachen wie Python für Programmierprobleme bei der Manipulation von Zeichenfolgen und der Suche in einem Wörterbuch produktiver sind als herkömmliche Sprachen wie C und Java, und stellte fest, dass der Speicherverbrauch häufig „besser als Java und nicht“ ist viel schlimmer als C oder C ++ ”. Zu den großen Organisationen, die Python verwenden, gehören ua Wikipedia, Google, Yahoo! CERN, NASA, Facebook, Amazon, Instagram.

Neben seinen Anwendungen für künstliche Intelligenz wird Python als Skriptsprache mit modularer Architektur, einfacher Syntax und Rich-Text-Verarbeitungswerkzeugen häufig für die Verarbeitung natürlicher Sprache verwendet.

TensorFlow wurde vom Google Brain-Team für den internen Google-Gebrauch entwickelt. Es wurde unter der Apache License 2.0 im Jahr 2015 veröffentlicht.

Ab 2011 hat Google Brain DistBelief als proprietäres maschinelles Lernsystem entwickelt, das auf Deep-Learning-Neuronalen Netzen basiert. Seine Verwendung nahm in verschiedenen Alphabet-Unternehmen sowohl in der Forschung als auch in kommerziellen Anwendungen rasch zu. Google beauftragte mehrere Informatiker, darunter Jeff Dean, die Codebasis von DistBelief zu vereinfachen und in eine schnellere, robustere Bibliothek für Anwendungen umzuwandeln, aus der TensorFlow wurde. Im Jahr 2009 hatte das Team unter der Leitung von Geoffrey Hinton eine allgemeine Backpropagation und andere Verbesserungen implementiert, die die Erzeugung neuronaler Netze mit wesentlich höherer Genauigkeit ermöglichten, beispielsweise eine Reduzierung der Spracherkennungsfehler um 25%.

TensorFlow ist das System der zweiten Generation von Google Brain. Die Version 1.0.0 wurde am 11. Februar 2017 veröffentlicht. Während die Referenzimplementierung auf einzelnen Geräten ausgeführt wird, kann TensorFlow auf mehreren CPUs und GPUs ausgeführt werden (mit optionalen CUDA- und SYCL-Erweiterungen für Allzweck-Computing auf Grafikprozessoren). TensorFlow ist auf 64-Bit-Linux-, MacOS-, Windows- und Mobile-Computing-Plattformen einschließlich Android und iOS verfügbar. Die flexible Architektur ermöglicht die einfache Bereitstellung von Berechnungen auf einer Vielzahl von Plattformen (CPUs, GPUs, TPUs) und von Desktops über Cluster von Servern bis hin zu Mobil- und Edge-Geräten. TensorFlow-Berechnungen werden als zustandsbehaftete Datenflussdiagramme ausgedrückt. Der Name TensorFlow leitet sich von den Operationen ab, die solche neuronalen Netze an mehrdimensionalen Datenarrays ausführen, die als Tensoren bezeichnet werden. Während der Google I/O-Konferenz im Juni 2016 gab Jeff Dean an, dass 1,500 Repositories auf GitHub TensorFlow erwähnten, von denen nur 5 von Google stammten. Im Dezember 2017 stellten Entwickler von Google, Cisco, RedHat, CoreOS und CaiCloud Kubeflow auf einer Konferenz vor. Kubeflow ermöglicht den Betrieb und die Bereitstellung von TensorFlow auf Kubernetes. Im März 2018 kündigte Google TensorFlow.js Version 1.0 für maschinelles Lernen in JavaScript an. Im Januar 2019 kündigte Google TensorFlow 2.0 an. Es wurde im September 2019 offiziell verfügbar. Im Mai 2019 kündigte Google TensorFlow Graphics für tiefes Lernen in Computergrafik an.

Bis Version 2.3 unterstützte Keras mehrere Backends, darunter TensorFlow, Microsoft Cognitive Toolkit, Theano und PlaidML. Ab Version 2.4 wird nur TensorFlow unterstützt. Entwickelt, um schnelles Experimentieren mit tiefen neuronalen Netzen zu ermöglichen, konzentriert es sich darauf, benutzerfreundlich, modular und erweiterbar zu sein. Es wurde im Rahmen der Forschungsanstrengungen des Projekts ONEIROS (offenes neuroelektronisches intelligentes Roboterbetriebssystem) entwickelt und sein Hauptautor und Betreuer ist François Chollet, ein Google-Ingenieur. Chollet ist auch der Autor des XCeption Deep Neural Network-Modells.

Keras enthält zahlreiche Implementierungen häufig verwendeter Bausteine ​​für neuronale Netze wie Ebenen, Ziele, Aktivierungsfunktionen, Optimierer und eine Vielzahl von Tools, die das Arbeiten mit Bild- und Textdaten vereinfachen und die Codierung vereinfachen, die zum Schreiben von tiefem neuronalen Netzwerkcode erforderlich ist. Der Code wird auf GitHub gehostet. Zu den Community-Support-Foren gehören die Seite mit GitHub-Problemen und ein Slack-Kanal.

Zusätzlich zu Standard-Neuronalen Netzen unterstützt Keras Faltungsnetzwerke und wiederkehrende Neuronale Netze. Es unterstützt andere gängige Dienstprogrammschichten wie Dropout, Batch-Normalisierung und Pooling. Mit Keras können Benutzer Deep-Modelle auf Smartphones (iOS und Android), im Web oder auf der Java Virtual Machine erstellen. Es ermöglicht auch die Verwendung des verteilten Trainings von Deep-Learning-Modellen auf Clustern von Grafikprozessoren (GPU) und Tensorprozessoren (TPU). Keras wurde aufgrund von Python (Programmiersprache) und seiner eigenen Benutzerfreundlichkeit und Installation für die wissenschaftliche Forschung übernommen. Keras war das zehnthäufigste Tool in der KDnuggets 10-Softwareumfrage und verzeichnete eine Auslastung von 2018%.