Rekonstruktion iberischer Keramikkeramiken mithilfe generativer kontradiktorischer Netzwerke

Jan 30, 2024

Wissenschaftliche Berichte Band 12, Artikelnummer: 10644 (2022) Diesen Artikel zitieren

1612 Zugriffe

20 Altmetrisch

Details zu den Metriken

Mehrere Aspekte der vergangenen Kultur, einschließlich historischer Trends, werden aus zeitbasierten Mustern abgeleitet, die in archäologischen Artefakten aus verschiedenen Epochen beobachtet werden. Das Vorhandensein und die Variation dieser Objekte liefern wichtige Hinweise auf die neolithische Revolution und angesichts ihrer relativen Häufigkeit in den meisten archäologischen Stätten sind Keramikgefäße für diesen Zweck von großem Nutzen. Dennoch sind die meisten verfügbaren Töpferwaren fragmentiert, was dazu führt, dass morphologische Informationen fehlen. Derzeit ist das Zusammensetzen fragmentierter Objekte aus einer Sammlung Tausender gemischter Fragmente eine entmutigende und zeitaufwändige Aufgabe, die fast ausschließlich von Hand erledigt wird und eine physische Manipulation der Fragmente erfordert. Um die Herausforderungen der manuellen Rekonstruktion zu überwinden und die Qualität rekonstruierter Proben zu verbessern, präsentieren wir IberianGAN, ein maßgeschneidertes Generative Adversarial Network (GAN), das auf einer umfangreichen Datenbank mit vollständigen und fragmentierten Referenzen getestet wurde. Wir haben das Modell mit 1072 Proben trainiert, die iberischen Töpferscheibenprofilen entsprechen, die zu archäologischen Stätten im oberen Tal des Flusses Guadalquivir (Spanien) gehören. Darüber hinaus bieten wir quantitative und qualitative Bewertungen zur Messung der Qualität der rekonstruierten Proben sowie eine Fachgutachtenbewertung mit Archäologen an. Das resultierende Gerüst ist eine mögliche Möglichkeit, die Keramikrekonstruktion aus Teilfragmenten eines Originalstücks zu erleichtern.

Materielle Beweise früherer Nahrungssuchender Populationen sind ein produktives Forschungsgebiet in der Archäologie. Unter den vielen Faktoren, die den neolithischen Übergang beeinflussen, sind Keramikkeramiken im Hinblick auf kulturelle Selektionsprozesse sehr aufschlussreich. Sie gehören auch zu den am häufigsten gefundenen archäologischen Artefakten. Da sie in der Regel nur von kurzer Dauer sind, halten Forscher diese Artefakte für eine chronologische und geografische Erkundung nützlich, da Form und Dekoration im Laufe der Zeit und im Raum erheblichen modischen Veränderungen unterliegen1. Dies bildet eine Grundlage für die Datierung der archäologischen Schichten und liefert Beweise aus einer Vielzahl wertvoller Daten, wie z. B. lokale Produktion, Handelsbeziehungen und Konsumverhalten der lokalen Bevölkerung2,3,4. Mehrere frühere Studien analysieren verschiedene Aspekte von Keramik anhand vollständiger Keramikprofile. Die automatische Profilklassifizierung5,6,7,8,9 und die Merkmalsextraktion10,11,12,13,14,15,16,17 wurden umfassend untersucht und reichen von traditionellen Bildverarbeitungstechniken bis hin zu Deep-Learning-Ansätzen. Leider ist Keramik zerbrechlich, und daher sind die meisten tatsächlich aus archäologischen Stätten geborgenen Keramiken zerbrochen, sodass der Großteil des verfügbaren Materials in Fragmenten vorkommt. Der Zusammenbau der Fragmente ist eine entmutigende und zeitaufwändige Aufgabe, die fast ausschließlich von Hand erledigt wird und eine physische Manipulation der Fragmente erfordert. Eine intuitive Möglichkeit, den Fragmentierungsprozess zu verstehen und die Rekonstruktionsaufgabe zu verbessern, besteht darin, große Mengen an Töpferwaren herzustellen, die von den iberischen Handwerkern angewandten Verfahren nachzuahmen, sie zu zerbrechen und dann die resultierenden Fragmentgruppen zu analysieren. Leider sind diese und ähnliche manuelle Verarbeitungsmethoden für diese Art von unvollständigem Material selbst für erfahrene Archäologen sehr zeitaufwändig und arbeitsintensiv18. Aufgrund dieser Faktoren besteht ein zunehmendes Interesse an der automatischen Zusammenfügung und Rekonstruktion von Keramik19,20,21 und der Fragmentanalyse22. Dennoch lösen bestehende Arbeiten das Fragmentproblem durch Vergleiche zwischen bekannten Stücken. Die beste Übereinstimmung innerhalb des Datensatzes ist das beste Fragment für diese Keramik. Hier schlagen wir einen Deep-Learning-Ansatz vor, bei dem das „beste Fragment“ auf der Grundlage einer Reihe bekannter Fragmente im Modell künstlich generiert wird und so neue virtuelle Keramik mit denselben Eigenschaften wie die realen erstellt wird. Die Hauptbeiträge dieses Papiers sind:

Wir präsentieren IberianGAN, ein Framework, das auf generativen Modellen basiert, die Keramikprofile aus Rand- oder Basisfragmenten rekonstruieren (siehe Abb. 1A,B).

Wir erzeugen künstliche Fragmentproben mit einer Methode, um die vollständigen Keramikprofile in zwei Teile (bzw. Basis und Rand, siehe Abb. 1C) zu unterteilen.

Wir bewerten vier weitere Ansätze zum Vergleich mit unserer Architektur. Darüber hinaus validieren wir die fünf Methoden mithilfe einer Studie, die auf geometrischer Morphometrie (siehe Abb. 1D und Abb. 2), einer Validierung durch Fachexperten und einem Klassifikator für offene/geschlossene Formen basiert (Abb. S1).

Überblick über den vorgeschlagenen Ansatz. (A) IberianGAN-Architektur. Der G(x)-Generator basiert auf einer Encoder-Decoder-Architektur. Beim Empfang eines Keramikfragments wandelt der Encoder es in einen Vektor um und der Decoder generiert dann das fehlende oder unbekannte Fragment. Der Diskriminator D(x) empfängt das vollständige Profil, um festzustellen, ob es wahr oder falsch ist. (B) Kriterien für die Profilaufteilung in Profilrand und -basis. (C) Beispiele für von IberianGAN generierte Proben aus Fragmenten sowohl für offene als auch für geschlossene Formen (in hellerer Farbe dargestellt). (D) Semi-Landmark-Analyse und RMSE-Werte als Vergleich tatsächlicher und künstlich erzeugter Proben.

Formvalidierung. In Orange, generiertes Profil mit tatsächlicher Felge. In Blau das vollständige aktuelle iberische Profil. In Rosa die k-nächsten Nachbarn des tatsächlichen Fragments (mit Ausnahme des Eingaberands). dr ist der Abstand zwischen der tatsächlichen und der erzeugten Felge. dg ist der minimale Abstand (im morphometrischen Basisraum) zwischen dem erzeugten Fragment und seinen K Nachbarn im morphometrischen Randraum.

Die Rohdaten gehören zu binären Profilbildern, die iberischen Töpferscheiben aus verschiedenen archäologischen Stätten im oberen Tal des Flusses Guadalquivir (Spanien) entsprechen. Die verfügbaren Bilder bestehen aus einer Profilansicht der Keramik, wobei die Bildauflösungen (in Pixel), entsprechend der Größenskala, je nach Aufnahmeeinstellungen variieren können (Abb. S2). Wir haben diese Bilder in Rand- und Basisteil unterteilt, um die Brüche in den Profilen zu simulieren. Das Partitionierungskriterium und die Ausrichtung hängen von der Ausgangsform ab (geschlossen oder offen, siehe Abb. 1B). Der resultierende Datensatz besteht aus 1075 Bildern, die zufällig in einen Trainingsteilsatz mit 752 Bildern (70 %), einen Validierungssatz mit 108 Bildern (10 %) und einen Testsatz mit 215 Bildern (20 % des Gesamtdatensatzes) aufgeteilt werden.

GANs haben bemerkenswerte Ergebnisse bei verschiedenen Computer-Vision-Aufgaben wie der Bilderzeugung23,24, der Bildübersetzung25,26, der Gesichtsbildsynthese27,28,29 und neuerdings auch bei der Text-30,31 und Audioerzeugung32 gezeigt. Ein typisches GAN33-Framework enthält ein generatives (G) und ein diskriminatives (D) neuronales Netzwerk, sodass G darauf abzielt, realistische Stichproben zu generieren, während D lernt, zu unterscheiden, ob eine Stichprobe aus der realen Datenverteilung (H0) stammt oder nicht. D(x) sollte hoch sein, wenn x aus Trainingsdaten stammt, und niedrig, wenn x vom Generator stammt. Die Variable z ist ein latenter Raumvektor, der einer Normalverteilung entnommen wurde. G(z) stellt die Generatorfunktion dar, die den latenten Vektor z auf den Datenraum iberischer Keramikprofile abbildet.

Durch mehrere Iterationen wird G darüber informiert, wie der Generierungsprozess an D angepasst werden muss. In unserem Fall entspricht das Datenelement x einem binären zweidimensionalen Array, das die Keramikprofilgeometrie enthält. D(G(z)) ist die Wahrscheinlichkeit, dass die Ausgabe des Generators G eine echte Probe aus dem iberischen Keramikdatensatz ist. D versucht, (log D(x)) zu maximieren, was die Wahrscheinlichkeit einer korrekten Klassifizierung tatsächlicher Formen ist, während G versucht, (log (1 − D(G(x))) zu minimieren, was die Wahrscheinlichkeit von D ist Erkennung aller gefälschten Ausgaben, die von G generiert werden. Deep Convolutional Generative Adversarial Networks (DCGAN)34 gehören zu den beliebtesten und erfolgreichsten Netzwerken, die für GANs entwickelt wurden. Das Modell besteht hauptsächlich aus Faltungsschichten ohne maximales Pooling oder vollständig verbundenen Schichten. Es verwendet Faltung Schritt- und Transponierungsfaltungen für Downsampling und Upsampling. In anderen Arbeiten wird der Vektor z aus einem oder mehreren Eingabebildern erstellt und das generierte Sample durch die Eingabe konditioniert. Zu dieser Art von Autoencoding GAN (AE-GAN) gehört fügte ein Netzwerk von Encodern hinzu, das darauf trainiert ist, eine \(E:X \to Z\)-Funktion zu lernen und jede reale Probe einem Punkt (z) im latenten Raum zuzuordnen35. Der detaillierte Entwurf und die Implementierung unseres vorgeschlagenen generativen Ansatzes werden in beschrieben Abschnitt „Materialien und Methoden“.

Die Ergebnisse von IberianGAN wurden mit mehreren Ansätzen basierend auf AE-GAN35 verglichen. Alle Ansätze beinhalten Variationen in der Architektur oder im Trainingsprozess (siehe Abschnitt „Materialien und Methoden“). Wir bewerten die Methoden anhand mehrerer generativer Metriken, einer geometrischen morphometrischen Analyse, einer Validierung basierend auf einem offenen und geschlossenen Formklassifikator und einem von Fachexperten durchgeführten Validierungstest. Um insbesondere die Qualität der von IberianGAN erzeugten Bilder zu bewerten, haben wir die folgenden generativen Metriken berechnet: Root Mean Square Error (RMSE), Frechet Inception Distance (FID)36, Geometry Score (GS)37 und Würfelkoeffizient38. RMSE ermöglicht die Auswertung der generierten Ergebnisse im Vergleich zu den tatsächlichen Profilen. RMSE quantifiziert, wie unterschiedlich zwei Bilder sind. Je kleiner ein RMSE-Wert ist, desto ähnlicher sind die Profile. Die Metrik FID soll die Verteilung generierter Bilder mit der Verteilung realer Bilder vergleichen. Ein niedrigerer FID-Wert weist auf eine bessere Bildqualität hin, ein höherer Wert auf eine Ausgabe mit geringerer Qualität. Der GS ermöglicht den Vergleich der Topologie der zugrunde liegenden Mannigfaltigkeiten für zwei Formen (in diesem Fall echte Keramik und synthetische) auf stochastische Weise37. Niedrige GS-Werte weisen auf ähnliche Topologien zwischen zwei Datensätzen hin. Schließlich wird der Dice-Koeffizient verwendet, um zwei Binärbilder (schwarze oder weiße Pixel) zu vergleichen. Die Metrik nimmt einen normalisierten Wert in [0, 1] an, wobei 0 bedeutet, dass zwei Bilder völlig unterschiedlich sind, und 1 auftritt, wenn beide das gleiche Bild sind. In Tabelle 1 präsentieren wir die Leistungsmetriken für den Testsatz aus dem iberischen Datensatz. Bei RMSE-, FID- und DC-Scores weist IberianGAN im Vergleich zu den anderswo vorgestellten Architekturen eine deutlich bessere Leistung auf.

Dies bedeutet, dass die erzeugten Profile eine ähnliche geometrische Verteilung in Bezug auf die tatsächlichen Proben aufweisen und daher die resultierenden Töpferwaren mit den tatsächlichen Proben vergleichbar sind. Eine vorgeschlagene Alternative mit Reinforcement Learning (AE-GAN-LR) verbessert die Topologieähnlichkeit (GS-Metrik). Dennoch ist die topologische Ähnlichkeit nicht der relevanteste Faktor, und da es tatsächlich eine Überlappung zwischen den von AE-GAN-LR und IberianGAN erzeugten synthetischen Topologien gibt (siehe Abb. 3A), gehen wir davon aus, dass die von letzterem erzeugten synthetischen Proben betrachtet werden können topologisch korrekt im Vergleich zu den tatsächlichen Proben. Darüber hinaus haben wir die Verteilung der Daten qualitativ ausgewertet. Zu diesem Zweck haben wir mithilfe der Hauptkomponentenanalyse (PCA) einen Merkmalsraum mit den Bildern tatsächlicher und generierter Keramik erstellt. In Abb. 3B beobachten wir, dass die Verteilung der tatsächlichen Bilder in diesem Merkmalsraum der Verteilung der mit IberianGAN generierten Bilder ähnelt. Wir vergleichen die Ergebnisse aller Ansätze qualitativ. In Abb. 4 zeigen wir einige Ergebnisse, die dieselbe Eingabe verwenden und sie mit dem Originalbild des Datensatzes vergleichen. Wie beobachtet, betrachtet IberianGAN das Eingabebild und vervollständigt das Fragment mit überzeugenden Ergebnissen (siehe weitere Ergebnisse in Abb. S4). Angesichts der oben genannten Ergebnisse kann IberianGAN zufriedenstellend verwendet werden, um fehlende Fragmente abzuschätzen und realistische, vollständige Keramikprofile bereitzustellen, wobei die geometrischen Eigenschaften der Originalkeramiken erhalten bleiben.

(A) GS-Verteilung des realen (blau) und generierten (orange) Datensatzes. Weitere Informationen zur GS-Metrik finden Sie im Abschnitt „Materialien und Methoden“: Bewertungsmetriken. (B) PCA-Vergleich des vollständigen realen Datensatzes und zufällig generierter 1200 Stichproben.

Es wurden zufällige Beispiele ausgewählt, um die Leistung von IberianGAN mit den anderen Ansätzen zu vergleichen. Die erzeugte Keramik ist in Orange. In Schwarz ist das Eingabefragment dargestellt.

Im realen Profildatensatz erscheint die Grundform eines Profils nur in Kombination mit einer Teilmenge des gesamten Felgensatzes (und umgekehrt), dh nicht alle Grund-/Felgenkombinationen sind in realen Profilen vorhanden. Dies liegt daran, dass die gesamte Struktur der Keramik normalerweise nur einem Zweck dient (z. B. Lagerung von Flüssigkeiten, Kochen, Transport, Trinken, Ritual usw.). Bei manchen Boden-/Randkombinationen würden nutzlose oder unpraktische Töpfe entstehen (z. B. mit einem sehr kleinen Boden und einem großen Rand). Ein ähnlicher Effekt zeigt sich bei der Analyse des Designs der Projektilspitze39, wo die Variationen der Designs des Stiels und der Klinge (zwei Teile einer Projektilspitze) dieser Artefakte modular untersucht werden, um die Beziehung in den Designs zu bestimmen seine Formen. Daher bewerten wir die Fähigkeit von IberianGAN, Felgen mit einer gültigen Form aus vorhandenen Basen zu generieren und umgekehrt. Basierend auf39 haben wir Semi-Landmarks extrahiert, um die Form der generierten Fragmente zu analysieren. Unter Verwendung des Profildatensatzes tatsächlicher Keramik haben wir einen morphometrischen Raum erstellt und dabei die Halbmarkierungen der Fragmente als Eingabe für eine PCA verwendet. Wir arbeiteten mit vier morphometrischen Räumen, zwei für geschlossene und zwei für offene Keramikformen, wobei jeder seine entsprechenden Ränder und Basen enthielt. Um eine Metrik zu erhalten, die es uns ermöglicht, generierte Profile zu vergleichen, analysieren wir den euklidischen Abstand zwischen den generierten Fragmenten und den realen Keramikprofilen in diesen morphometrischen Räumen (siehe eine grafische Beschreibung in Abb. 2). Bei einem Topf, der aus einem vorhandenen Fragment (z. B. einer Felge) generiert wurde, teilen wir zunächst das generierte Profil und platzieren die beiden resultierenden Hälften in ihren entsprechenden Räumen. Anschließend analysieren wir den Abstand zwischen dem tatsächlichen und dem generierten Fragment (dr in Abb. 2). ). Um die andere Hälfte des generierten Profils auszuwerten, verwenden wir die K Fragmente, die dem echten (dem Eingabefragment) am nächsten kommen (K = 50), im ersten Raum und platzieren ihre Paare im anderen Raum (in unserem Beispiel das Platz, der für alle realen Basen erzeugt wird). Wir berechnen den Mindestabstand in diesem Raum zwischen dem generierten Fragment und seinen Nachbarn im ersten Raum (dg in Abb. 2). Diese Art der morphometrischen Validierung stellt die Fähigkeit der Methode fest, aus einem Eingabefragment ein Fragment mit einer tatsächlichen Form zu generieren. In Tabelle 2 zeigen wir die mittleren euklidischen Abstände in allen in dieser Arbeit getesteten Ansätzen (siehe Abschnitt „Materialien und Methoden“). Die Tabelle besteht aus zwei Teilen, die offenen und geschlossenen Formen entsprechen. Wir haben zwei Szenarien betrachtet, bei denen es sich bei der Eingabe um eine Felge oder um eine Basis handelt. Da IberianGAN nur das unbekannte Fragment generierte, liegen die Abstände zwischen der Eingabe und dem bekannten Fragment nahe bei Null. Bei den Ansätzen, bei denen das Netzwerk die Form für das gesamte Profil generierte, sind die Abstände zwischen bekannten und unbekannten Fragmenten ähnlich.

Unabhängig von den generativen Modi haben wir einen binären Klassifikator trainiert. Dieses Modell ist in der Lage, offene und geschlossene Gefäßprofile zu klassifizieren. Wir haben vorab trainierte Gewichte von ResNet-1840 verwendet. Mit dieser Validierung soll überprüft werden, ob die von den verschiedenen Modellen generierten Daten die realen Stichproben imitieren können und dass der Klassifikator die richtigen Klassen vorhersagen kann, selbst wenn er nur mit echten Datenstichproben trainiert wird. Tabelle S1 zeigt die Klassifizierungsmetriken unter Verwendung der verschiedenen Datensätze. Insbesondere ist ersichtlich, dass der Klassifikator durch die generierten Daten nicht beeinflusst wird. Bemerkenswert ist, dass sich die Messwerte im Vergleich zum tatsächlichen Testdatenanteil in allen Fällen verbessern. Darüber hinaus sehen wir in Abb. S1 eine grafische Darstellung der Sensitivität gegenüber der Spezifität des Klassifikators, wenn die Unterscheidungsschwelle variiert wird. Diese Art von Ergebnis zeigt, dass die generierten neuen Stichproben in ihrer Verteilung und Form den realen Daten ähneln. Beachten Sie außerdem, dass sie keinen Einfluss auf die Genauigkeit des Klassifikators haben.

Wir haben ein Experiment für Facharchäologieexperten entwickelt, um die Fähigkeit von IberianGAN zu bewerten, Keramikprofile mit einem angemessenen iberischen Stil zu erstellen. Zu diesem Zweck präsentieren wir in Form eines Online-Fragebogens eine Reihe von Bildern (siehe Abb. S3) sechs auf die iberische Kultur spezialisierten Archäologen. In der Umfrage zeigen wir eine zufällige Auswahl von 20 Bildern, von denen die Hälfte tatsächlichen iberischen Töpferprofilen entspricht und die andere Hälfte mit iberischem GAN generiert wurde. Für jedes Bild gibt es eine Multiple-Choice-Bewertung zwischen 0 und 5, um den Grad der Ähnlichkeit mit einem iberischen Stil zu bestimmen, wobei 0 bedeutet, dass es keinen Bezug zum iberischen Stil hat und 5 bedeutet, dass es vollständig im iberischen Stil liegt. Insgesamt wurden die generierten Proben im Durchschnitt mit 3,88 bewertet, mit einer Standardabweichung von 1,43 über alle Archäologen hinweg und tatsächliche Proben mit einer Bewertung von 3,93 ± 1,45. Zusammenfassend gehen die Archäologen davon aus, dass die erzeugten Töpferwaren im Durchschnitt einen iberischen Stil aufweisen, der dem ähnelt, der in tatsächlichen Töpferwaren zu finden ist. Dies ist wichtig, da IberianGAN in der Lage ist, aus einem unvollständigen Fragment eine Keramik im iberischen Stil zu erzeugen.

Keramik ist eines der am häufigsten gefundenen archäologischen Artefakte und stellt die zentralen Überreste dar, die üblicherweise zur Untersuchung von Variationen in Stil, verwendeten Materialien und Herstellungstechniken verwendet werden. Die Erforschung diachroner und geografischer Variationen in der Keramik ist von entscheidender Bedeutung, um die Dynamik des neolithischen Übergangs in verschiedenen Regionen zu rekonstruieren. Keramik ist jedoch zerbrechlich und daher ist das meiste geborgene Material aus archäologischen Stätten zerbrochen. Folglich erscheinen die verfügbaren Proben in Fragmenten. Das Zusammensetzen der Fragmente ist eine entmutigende und zeitaufwändige Aufgabe, die fast ausschließlich von Hand durchgeführt wird und eine physische Manipulation der Keramiksplitter erfordert. Daher kann ein generativer Ansatz wie IberianGAN, der Fragmente automatisch verarbeitet und eine Rekonstruktionsanalyse bereitstellt, Archäologen beim Wiederzusammenbau unterstützen.

Ein solcher Ansatz hat eine breitere Wirkung, indem er einen allgemeinen Rahmen für den Zusammenbau von Objekten bereitstellt. Unser vorgeschlagenes Framework ist flexibel, um mit verschiedenen Keramikdatensätzen zu arbeiten, die eine Vielzahl gebrochener Materialien darstellen (siehe Ergebnisse der römischen Keramik in Abb. S6). IberianGAN könnte über die reine Keramikkeramik hinaus zur Rekonstruktion anderer archäologischer (z. B. Projektilpunkte, historische Gebäude usw.) und anthropologischer Überreste (z. B. Schädel, postkranielle Knochen usw.) verwendet werden.

Wir haben die Leistung von IberianGAN auf der Grundlage von drei verschiedenen, aber sich ergänzenden Ansätzen bewertet: (a) klassische Metriken zur Bewertung des Generierungsprozesses von Bildern (siehe Tabelle 1 und Abb. 2); (b) Formanalyse basierend auf der Keramikstruktur (siehe Abschnitt „Ergebnisse“: Formvalidierung) und (c) Validierung durch unabhängige Untersuchung von auf iberisches Erbe spezialisierten Archäologen („Ergebnisse“: Validierung durch Fachexperten).

Die im Rahmen der drei Ansätze erzielten Ergebnisse legen nahe, dass unser Ansatz in der Lage ist, Töpferwaren zu erzeugen, die das Bild, die morphometrische Struktur der Keramik und die Expertenvalidierungskriterien erfüllen. Während mit IberianGAN eine ermutigende Leistung bei der Vorhersage von Fragmenten in der Datenbank iberischer Töpferscheiben erzielt wird, müssen einige Einschränkungen behoben werden. Im Allgemeinen arbeiten Archäologen mit Fragmenten, die zur Basis oder Oberseite der Keramik gehören. Daher wurde das Netzwerk immer unter Verwendung eines Basis- oder Randfragments trainiert, was bedeutet, dass das Modell ein Fragment immer als Basis oder Rand positioniert. Darüber hinaus verwendet unser Ansatz große Fragmente während des Trainings und der Bewertung. Zusätzliche Studien sind erforderlich, um die minimal akzeptierte Größe eines Fragments zu bestimmen, damit das Modell die erwartete Leistung erbringt. Nichtsdestotrotz glauben wir, dass unser vorgeschlagener Rahmen der erste Schritt in Richtung einer breiteren Nutzung generativer Netzwerke für die Erkennung und den Zusammenbau von Fragmenten ist, der neue Forschungswege im Zusammenhang mit Anwendungen für verschiedene Messungen von Fragmenten und sogar in 3D-Keramik im Besonderen und Objekten darin eröffnen wird allgemein.

Frühere Forschungen zur Keramik umfassen sowohl klassische Ansätze, die auf der vergleichenden Analyse von Form, Abmessungen, Dekoration, technologischen Elementen, Farbe, geometrischen Eigenschaften, Symmetrieachse, verwendeten Materialien usw. basieren; und neuartige Methoden, die auf Techniken des maschinellen Lernens im Allgemeinen und Deep Learning im Besonderen basieren und auf die Charakterisierung von Keramik angewendet werden. Insgesamt wurden Keramikprofile im Rahmen der Klassifizierung5,6,7,8,9 und zur Untersuchung von Variationen in Form und/oder Stilattributen10,11,12,13,14,15,16,17 verwendet. Wie bereits erwähnt, sind nicht alle bei den Ausgrabungen gefundenen Töpferwaren vollständig; Aus diesem Grund ist es von entscheidender Bedeutung, die Charakterisierungsmethoden zur Identifizierung fragmentierter Keramik zu verbessern. Rasheed et al.19 präsentierten eine auf einer Polynomfunktion basierende Methode zur Rekonstruktion von Keramik aus archäologischen Fragmenten. Ausgehend von einem Bild eines Fragments wird die Kantenkurve extrahiert und durch eine Polynomfunktion angenähert, um einen Koeffizientenvektor zu erhalten. Die beste Übereinstimmung zwischen paarweisen Keramikfragmenten erfolgt entsprechend der Beziehung ihrer Koeffizienten.

Andere Autoren schlugen eine Methode vor, um fehlende Teile eines archäologischen Fundes20,21 ausgehend von einem 3D-Modell zu generieren. In dem Bereich, in dem sich die fehlenden Fragmente befinden sollen, werden durch umgekehrte Modellierung Skizzen erstellt und anschließend zur Gestaltung der fehlenden Fragmente verwendet. Schließlich wird die digitale Reproduktion des fehlenden Teils durch die additive Fertigungstechnologie erreicht.

GANs haben in verschiedenen Anwendungsbereichen bemerkenswerte Ergebnisse gezeigt. Ihre Fähigkeit, komplexe Verteilungen zu lernen und semantisch bedeutsame Stichproben zu generieren, hat zu zahlreichen Variationen im Netzwerkdesign und neuartigen Trainingstechniken geführt (GANs33, bedingte GANs41, InfoGAN42, BAGAN43). Angepasste Verlustfunktionen (Inhaltsverlust44, Zykluskonsistenzverlust45) und Domänenanpassungsansätze (ADDA46, CycleGAN47) usw. Eine umfassendere Übersicht über die verschiedenen GAN-Varianten und Trainingstechniken finden Sie in48,49,50.

Darüber hinaus gibt es mehrere Beispiele für GANs, die auf Bereiche des Kulturerbes angewendet werden. Beispielsweise wurden Techniken wie die automatisierte Übertragung von Bildstilen51 verwendet, um ein Modell zu entwickeln, das darauf abzielt, Bilder im Stil von kantonesischem Porzellan ausgehend von benutzerdefinierten Masken zu erzeugen. Ähnliche Techniken wurden auch auf den Materialabbau angewendet47,52,53,54,55,56. Hermoza et al.57 führten beispielsweise ORGAN ein, ein 3D-Rekonstruktions-GAN zur Restaurierung archäologischer Objekte. Dies basiert auf einem Encoder-Decoder-3D-DNN auf einem GAN basierend auf cGANs41. Dieses Netzwerk kann die fehlenden Teile eines unvollständigen Objekts vorhersagen. Ein ähnlicher Ansatz wird in 58 verfolgt, wo ein Z-GAN ein einzelnes Bild eines beschädigten Objekts in Voxel übersetzt, um das Originalstück zu rekonstruieren. Beide Studien befassen sich mit dem Problem der Vorhersage fehlender Geometrie auf beschädigten Objekten, die 3D-modelliert und voxelisiert wurden. Genauer gesagt gehen diese Studien von der Annahme aus, dass von Menschenhand geschaffene Objekte eine gewisse Struktur und Regelmäßigkeit aufweisen. Der am häufigsten verwendete Strukturtyp ist die Symmetrie. Ausgehend von einem GAN lernen sie die Struktur und Regelmäßigkeit einer Sammlung bekannter Objekte und nutzen diese, um unvollständige beschädigte Objekte zu vervollständigen und zu reparieren. Ein weiteres Beispiel für die Erhaltung des kulturellen Erbes findet sich in der Referenz59, in der ein Bildvervollständigungsansatz60 für die Kuratierung und Vervollständigung beschädigter Kunstwerke adaptiert wird.

Wir haben fünf verschiedene generative Netzwerke basierend auf AE-GAN entworfen, trainiert und evaluiert, verwendeten jedoch während der Experimentierphase mehrere Trainingsverfahren. In diesem Abschnitt haben wir jede im Prozess angewendete inkrementelle Strategie und ihre entsprechenden Hyperparameter sowie Trainingstechniken und -einstellungen detailliert beschrieben. Die Daten und der Quellcode mit dem Hyperparameter-Setup und den verschiedenen in dieser Studie analysierten Ansätzen sind in IberianGAN unter https://github.com/celiacintas/vasijas/tree/iberianGAN zu Erweiterungs- und Replikationszwecken offen verfügbar.

Alle resultierenden Netzwerke wurden für 5000 Epochen unter Verwendung der binären Kreuzentropie als Verlustfunktion trainiert, mit einer Lernrate von 2 × 10−4 für das generative Netzwerk (G) und 2 × 10−5 für den Diskriminator (D). Um den Trainingsprozess aller Modelle zu optimieren, haben wir die Bilder auf eine einheitliche Auflösung von 128 × 128 Pixel skaliert und die Farben invertiert. Wir haben eine Datenerweiterung angewendet, insbesondere eine zufällige Rotation (zwischen 0 und 45 Grad). Wir haben die ADAM-Optimierung61 sowohl für G als auch D mit β1 = 0,5 und β2 = 0,999 verwendet und die binäre Kreuzentropie als Verlustfunktion verwendet. Insbesondere für das Training von D haben wir Label Smoothing62 verwendet. Die reale Menge wird mit einer Zufallszahl zwischen 0,7 und 1,2 dargestellt und die generierte Menge mit 0,0 und 0,33.

Zunächst haben wir ein typisches AE-GAN trainiert, um ein vollständiges Töpferprofil zu erstellen. Wir haben einen Generator (G) mit einer Architektur implementiert, die zwei Bilder als Eingabe zulässt, und einen Diskriminator (D) mit drei Eingabebildern (die beiden Eingaben und das generierte Bild). Während des Trainings und um den Konvergenzprozess von G zu beschleunigen, erstellen wir verschiedene Eingabetypen mit derselben Wahrscheinlichkeit und wählen ein Bildpaar aus. Die möglichen Eingabetypen waren Rim/Base (oder Base/Rim), Base/Black Image oder Rim/Black Image (siehe Abb. S5-A). Anschließend modifizieren wir die Architektur des Encoders im AE-GAN-Teil des Generators, genannt AE-GAN-MP, um eine Übersetzung vom Eingabefragment in das vollständige Töpferprofil zu erhalten. In diesem Fall verarbeitet der Generator-Encoder jeweils ein Eingabebild. Wir tun dies, um die Eingabebilder separat einzubetten und eine Max-Pooling-Ebene anzuwenden, um die beiden Darstellungen zu verbinden, siehe Abb. S5-B. Diese Modifikation ermöglicht eine größere Variabilität in der Darstellung zur Generierung des Vollprofils.

Zusätzlich definieren wir eine neue Verlustfunktion zum Trainieren des Generators der AE-GAN-MP-Architektur. Mithilfe der Strategie mehrerer Eingabetypen (Rand/Basis, Basis/Rand, Rand/Schwarz und Basis/Schwarz) berechnen wir diese neue Verlustfunktion nur, wenn die Eingaben vollständig sind (z. B. Rand/Basis oder Basis/Rand). . Hierzu verwenden wir den Mean Square Error (MSELoss), der wie folgt definiert ist:

wobei \(\hat{y}\) die vorhergesagte Keramik und \({\text{y}}\) das reale Beispiel ist. Das Ziel besteht darin, dass der Generator den MSE-Fehler zwischen dem Ergebnis und dem Ziel (reales Keramikprofil) minimiert. Um schließlich eine stärkere Beziehung zwischen den Eingaben und der erzeugten Keramik zu erhalten, entwerfen wir eine Strategie zur Modifizierung der resultierenden Keramik (oder iterieren, um ein genaueres Ergebnis zu erhalten). Wir tun dies, indem wir die Eingabe mit dem vorherigen Ergebnis verwenden, um mit zwei Iterationen neue Keramik (das Endergebnis) zu generieren. Das Zwischenergebnis wird mithilfe von Bildmatrixoperationen zur Eingabe hinzugefügt, siehe Abb. S5-C. Wir haben diesen Ansatz AE-GAN mit Reinforcement Learning (AE-GAN-RL) genannt.

IberianGAN basiert auf dem AE-GAN, wobei der Generator ein Autoencoding-Netzwerk ist \({\text{Encode}}\left( {\text{x}} \right) \to {\text{z }} \in { \text{R}}^{{\text{m}}} ,{\text{ Dekodieren}}\left( {\text{Z}} \right) \to {\text{x}}^{{\ Primzahl }}\), wobei \({\text{x}} \in \left[ {0,1} \right]^{{{\text{m}} \times {\text{m}}}} \) ist das Eingabefragment, ein binäres zweidimensionales Array, das die Fragmentforminformationen enthält, und x' ist ein fehlender generierter Teil. Um das Diskriminatornetzwerk zu trainieren, verwenden wir für die Beispiele D(y), wobei \({\text{y }} = {\text{ x }} + {\text{ x}}^{{\prime }}\). generiert. Zu diesem Zeitpunkt generiert das Netzwerk nur ein unbekanntes Fragment und der Diskriminator wird mit dem vollständigen Profil trainiert. Da IberianGAN nur das fehlende Fragment generiert, ist es für den Trainingsprozess nicht erforderlich, zwei Bilder als Eingabe zu verwenden (siehe Abb. 1A). Für das Training verwenden wir nur ein Bild, das der Basis oder dem Rand des Profils entspricht. Die vollständige Definition, Implementierung, Schulung und Bewertung von IberianGAN finden Sie hier: https://github.com/celiacintas/vasijas/tree/iberianGAN.

In diesem Abschnitt zeigen wir den Prozess der Bewertung der Qualität der generierten Proben. Um die Ergebnisse der verschiedenen Ansätze zu vergleichen, verwenden wir zwei Ansätze. Erstens handelt es sich um eine Reihe von Messungen, die zur Bewertung von GANs verwendet werden. Diese Metriken beziehen sich auf die allgemeine Verteilung aller erzeugten Töpferwaren. Darüber hinaus verwenden wir Metriken, um das erhaltene Ergebnis mit den tatsächlichen Töpferwaren zu vergleichen, um beispielsweise die bekannten Fragmente in den erzeugten Töpferwaren zu bewerten. Für den ersten Typ erwägen wir die Bewertung der Verteilung und Form der generierten Profile. Zunächst verwenden wir die Frechet Inception Distance (FID)36, die derzeit eine der gebräuchlichsten Metriken zur Bewertung von GANs63 ​​ist. FID ermöglicht die Quantifizierung der Unterschiede in der Dichte zweier Verteilungen im hochdimensionalen Merkmalsraum eines InceptionV3-Klassifikators64. Im Detail bettet FID die Bilder in einen Deskriptorraum (definiert durch eine Zwischenschicht von Inception-V3) mit einem hohen Abstraktionsgrad ein. Dieser Merkmalsraum wird verwendet, um den Mittelwert und die Varianz der generierten Daten und der tatsächlichen Daten zu berechnen. Zwischen diesen Verteilungen wird der Fletcher-Abstand berechnet. Der FID wird nach dieser Gleichung berechnet:

Dabei sind (µr, Σr) und (µg, Σg) der Mittelwert und die Kovarianz der tatsächlichen Daten bzw. der generierten Verteilungen. Kleine Abstände deuten darauf hin, dass die Verteilung der Daten ähnlich ist, in unserem Fall darauf, dass die erzeugten Keramiken eine ähnliche Verteilung wie die realen haben. FID basiert auf einem Klassifikatornetzwerk. Es hat sich gezeigt, dass sich diese Art von Metrik auf Texturen und nicht auf Formen konzentriert65, daher haben wir uns entschieden, die Ansätze mit einer formbasierten Metrik, dem Geometry Score (GS)37, zu bewerten.

GS ist eine Metrik zum Vergleich der topologischen Eigenschaften zweier Datensätze. Formal ist GS der l2-Abstand zwischen den Mittelwerten der relativen Lebensdauervektoren (RLT), die den beiden Bildgruppen zugeordnet sind. Die RLT einer Gruppe von Bildern (z. B. in einem Merkmalsraum codiert) ist ein unendlicher Vektor (v1, v2, ..., vi), wobei der i-te Eintrag ein Maß für persistente Intervalle ist, die eine persistente homologe Gruppe haben Rang gleich i. vi ist wie folgt definiert:

Dabei ist Ij = 1 der Rang einer persistenten homologen Gruppe mit Dimension 1 im Intervall [dj, dj + 1] i und Ij = 0 das Gegenteil37. Niedrige GS-Werte weisen auf eine ähnliche Topologie zwischen den Bildsätzen hin. Andererseits bewerten wir für die zweite Gruppe von Metriken die Ergebnisse anhand der gesamten Töpfereien. Es ist wichtig klarzustellen, dass wir nicht versuchen, dass die Ergebnisse mit denen der tatsächlichen Keramik übereinstimmen, da sie nur aus einem Fragment erstellt werden. Zu diesem Zweck verwenden wir zwei häufige Metriken in der Bildverarbeitung, den Root Mean Square Error (RMSE) und DICE-Koeffizient38.

RMSE ist eine Metrik, die Ähnlichkeitsvergleiche zwischen zwei Proben (in diesem Fall Keramikprofile) ermöglicht. Dies wird anhand der Quadratwurzel des Durchschnitts der quadrierten Differenzen zwischen den Pixeln im generierten Bild und dem tatsächlichen Bild gemessen. Der RMSE zwischen einem tatsächlichen Profilbild (Bild d) und dem generierten Bild (Bild f) ist gegeben durch

Diese Metrik wird Pixel für Pixel berechnet, wobei di und fi die Pixel des Bildes D bzw. F sind. In dieser Formel weisen niedrige RMSE-Werte auf einen geringfügigen Fehler hin. Der DICE-Koeffizient ermöglicht die Bewertung der Geometrie zwischen dem generierten und dem realen Profil. Diese Metrik wird häufig zur Bewertung von Ergebnissen in Segmentierungsnetzwerken verwendet66. Aus diesem Grund müssen die Bilder zur Berechnung des DICE-Koeffizienten binär (schwarzweiß) sein. Dieser Koeffizient wertet die Bilder als zwei Überlagerungen von Formen aus. Dazu wird der Bereich des erzeugten Bildes und der Bereich des tatsächlichen Profils berechnet. Unter Berücksichtigung des generierten Profils A und des realen Profils B wird DICE berechnet38:

wobei A und B die Größe des Profils in Pixeln sind. Der Maximalwert der Metrik ist 1, wenn die Form mit der realen identisch ist, und 0, wenn die Gesamtform nicht übereinstimmt.

Die Daten und der Code, die die Ergebnisse dieser Studie stützen, sind in IberianGAN unter https://github.com/celiacintas/vasijas/tree/iberianGAN zu Erweiterungs- und Replikationszwecken offen verfügbar.

Eslami, D., Di Angelo, L., Di Stefano, P. & Pane, C. Übersicht über computergestützte Methoden zur Rekonstruktion archäologischer Keramikscherben. Virtuelles Archäol. Rev. 11, 34–49 (2020).

Artikel Google Scholar

Orton, C., Tyers, P. & Vinci, A. Pottery in Archaeology (Cambridge University Press, 1993).

Google Scholar

Kampel, M. & Sablatnig, R. Ein automatisiertes System zur Archivierung und Rekonstruktion von Keramik. J. Vis. Berechnen. Animiert. 14, 111–120 (2003).

Artikel Google Scholar

Kashihara, K. Ein intelligentes Computerassistenzsystem zur Artefaktrestaurierung basierend auf genetischen Algorithmen mit ebenen Bildmerkmalen. Int. J. Comput. Intel. Appl. 16, 1750021 (2017).

Artikel Google Scholar

Lucena, M., Fuertes, JM, Martinez-Carrillo, AL, Ruiz, A. & Carrascosa, F. Effiziente Klassifizierung iberischer Keramik mithilfe vereinfachter Kurven. J. Kult. Erbe. 19, 538–543. https://doi.org/10.1016/j.culher.2015.10.007 (2016).

Artikel Google Scholar

Lucena, M., Fuertes, JM, Martínez-Carrillo, AL, Ruiz, A. & Carrascosa, F. Klassifizierung archäologischer Keramikprofile mittels Modalanalyse. Multimed. Werkzeuge Appl. 76, 21565–21577. https://doi.org/10.1007/s11042-016-4076-9 (2017).

Artikel Google Scholar

Cintas, C. et al. Automatische Merkmalsextraktion und Klassifizierung iberischer Keramik basierend auf tiefen Faltungsnetzwerken. J. Kult. Erbe. 41, 106–112. https://doi.org/10.1016/j.culher.2019.06.005 (2020).

Artikel Google Scholar

Llamas, J., Lerones, PM, Zalama, E. & Gómez-García-Bermejo, J. Anwendung von Deep-Learning-Techniken auf Bilder des kulturellen Erbes im Rahmen des INCEPTION-Projekts. In „Vorlesungsunterlagen zur Informatik“ (einschließlich der Unterreihen „Vorlesungsunterlagen zur Künstlichen Intelligenz“ und „Vorlesungsunterlagen zur Bioinformatik“), Bd. 10059 LNCS, 25–32. https://doi.org/10.1007/978-3-319-48974-2_4 (2016).

Di Angelo, L., Di Stefano, P. & Pane, C. Automatische dimensionale Charakterisierung von Keramik. J. Kult. Erbe. 26, 118–128. https://doi.org/10.1016/j.culher.2017.02.003 (2017).

Artikel Google Scholar

Shennan, S. & Wilcock, J. Form- und Stilvariation in mitteldeutschen Glockenbechern. Wissenschaft. Archäol. 15, 17–31 (1975).

Google Scholar

Rice, PM Pottery Analysis (University of Chicago Press, 1987).

Google Scholar

Nautiyal, V. et al. Geometrische Modellierung indischer archäologischer Keramik: Eine Vorstudie. In Clark, J. & Hagemeister, E. (Hrsg.) Exploring New Frontiers in Human Heritage. CAA2006. Computeranwendungen und quantitative Methoden in der Archäologie (Fargo, USA, 2006).

Mom, V. SECANTO – Das ABSCHNITT-ANALYSE-TOOL. In Figueiredo, A. & Velho, GL (Hrsg.): Die Welt liegt in deinen Augen. CAA2005. Computeranwendungen und quantitative Methoden in der Archäologie, 95–101 (Tomar, Portugal, 2007).

Saragusti, I., Karasik, A., Sharon, I. & Smilansky, U. Quantitative Analyse von Formattributen basierend auf Konturen und Schnittprofilen in der Artefaktanalyse. J. Archaeol. Wissenschaft. 32, 841–853 (2005).

Artikel Google Scholar

Karasik, A. & Smilansky, U. Computergestützte morphologische Klassifizierung von Keramik. J. Archaeol. Wissenschaft. 38, 2644–2657 (2011).

Artikel Google Scholar

Smith, NG et al. Die Keramikinformatik-Abfragedatenbank: Eine neue Methode für mathematische und quantitative Analysen großer regionaler Keramikdatensätze. J. Archaeol. Methodentheorie 21, 212–250. https://doi.org/10.1007/s10816-012-9148-1 (2014).

Artikel ADS Google Scholar

Navarro, P. et al. Lernfunktionsdarstellung iberischer Keramik mit automatischen Klassifizierungsmodellen. J. Kult. Erbe. 48, 65–73. https://doi.org/10.1016/j.culher.2021.01.003 (2021).

Artikel Google Scholar

Di Angelo, L., Di Stefano, P. & Pane, C. Eine automatische Methode zur Analyse von Keramikfragmenten. Messung 128, 138–148. https://doi.org/10.1016/j.measurement.2018.06.008 (2018).

Artikel ADS Google Scholar

Rasheed, NA & Nordin, MJ Eine Polynomfunktion bei der automatischen Rekonstruktion fragmentierter Objekte. J. Comput. Wissenschaft. 10, 2339–2348 (2014).

Artikel Google Scholar

Fragkos, S., Tzimtzimis, E., Tzetzis, D., Dodun, O. & Kyratsis, P. 3D-Laserscanning und digitale Restaurierung eines archäologischen Fundes. MATEC Web Conf. 178, 03013. https://doi.org/10.1051/matecconf/201817803013 (2018).

Artikel Google Scholar

Kalasarinis, I. & Koutsoudis, A. Unterstützung von Keramikrestaurierungsverfahren mit digitalen Technologien. Int. J. Comput. Methoden Herit. Wissenschaft. IJCMHS 3, 20–32 (2019).

Artikel Google Scholar

Chateau-Smith, C. Ein Computertool zur Identifizierung der besten Übereinstimmungen für Keramikfragmente. J. Archaeol. Wissenschaft. Rep. 37, 102891. https://doi.org/10.1016/j.jasrep.2021.102891 (2021).

Artikel Google Scholar

Emami, H., Dong, M., Nejad-Davarani, SP & Glide-Hurst, CK Generierung synthetischer CTS aus Magnetresonanzbildern mithilfe generativer kontradiktorischer Netzwerke. Med. Physik. 45, 3627–3636 (2018).

Artikel Google Scholar

Han, C. et al. Gan-basierte synthetische MR-Bildgenerierung des Gehirns. Im Jahr 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), 734–738 (2018).

Zhu, J.-Y. et al. Auf dem Weg zur multimodalen Bild-zu-Bild-Übersetzung. In Advances in Neural Information Processing Systems, 465–476 (2017).

Armanious, K. et al. Medgan: Medizinische Bildübersetzung mit Gans. Berechnen. Med. Bildgebungsdiagramm. 79, 101684 (2020).

Artikel Google Scholar

Karras, T., Aila, T., Laine, S. & Lehtinen, J. Progressiver Anbau von Gans für verbesserte Qualität, Stabilität und Variation. arXiv-Vorabdruck arXiv:1710.10196 (2017).

Ye, L., Zhang, B., Yang, M. & Lian, W. Dreifachübersetzungsgan mit mehrschichtiger spärlicher Darstellung für die Gesichtsbildsynthese. Neurocomputing 358, 294–308 (2019).

Artikel Google Scholar

Zhang, H. et al. Stackgan++: Realistische Bildsynthese mit gestapelten generativen gegnerischen Netzwerken. IEEE Trans. Muster Anal. Mach. Intel. 41, 1947–1962 (2018).

Artikel Google Scholar

Chen, L. et al. Kontroverse Textgenerierung über die Distanz des Feature-Movers. In NIPS, 4666–4677 (2018).

Xu, J., Ren, In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 3940–3949 (2018).

Lorenzo-Trueba, J. et al. Können wir Ihre stimmliche Identität aus dem Internet stehlen?: Erste Untersuchung zum Klonen von Obamas Stimme mithilfe von Gan, Wavenet und gefundenen Daten geringer Qualität. arXiv-Vorabdruck arXiv:1803.00860 (2018).

Goodfellow, I. et al. Generative gegnerische Netze. Adv. Neuronale Inf. Verfahren. Syst. 27, 2516 (2014).

Google Scholar

Radford, A., Metz, L. & Chintala, S. Unüberwachtes Repräsentationslernen mit tiefgreifenden generativen gegnerischen Faltungsnetzwerken. arXiv-Vorabdruck arXiv:1511.06434 (2015).

Lazarou, C. Automatische Kodierung generativer gegnerischer Netzwerke. arXiv-Vorabdruck arXiv:2004.05472 (2020).

Heusel, M. et al. Gans, die durch eine Zwei-Zeitskalen-Aktualisierungsregel trainiert werden, konvergieren zu einem Nash-Gleichgewicht. AdRR abs/1706.08500 (2017).

Khrulkov, V. & Oseledets, I. Geometrie-Score: Eine Methode zum Vergleich generativer gegnerischer Netzwerke. arXiv-Vorabdruck arXiv:1802.02664 (2018).

Sorensen, TA Eine Methode zur Bildung von Gruppen gleicher Amplitude in der Pflanzensoziologie basierend auf der Ähnlichkeit des Artengehalts und ihre Anwendung auf Analysen der Vegetation auf dänischen Allmende. Biol. Skar. 5, 1–34 (1948).

Google Scholar

de Azevedo, S., Charlin, J. & González-José, R. Identifizierung von Design- und Reduktionseffekten auf lithische Projektilspitzenformen. J. Archaeol. Wissenschaft. 41, 297–307 (2014).

Artikel Google Scholar

He, K., Zhang, X., Ren, S. & Sun, J. Deep Residual Learning für die Bilderkennung. In der IEEE-Konferenz zu Computer Vision und Mustererkennung (CVPR) (2016).

Mirza, M. & Osindero, S. Bedingte generative gegnerische Netze. AdRR abs/1411.1784 (2014).

Chen, X. et al. Infogan: Interpretierbares Repräsentationslernen durch informationsmaximierende generative gegnerische Netze. Adv. Neuronale Inf. Verfahren. Syst. 29, 1247 (2016).

Google Scholar

Mariani, G., Scheidegger, F., Istrate, R., Bekas, C. & Malossi, C. Tiere: Datenerweiterung mit Ausgleichsgan. https://doi.org/10.48550/FILE.1803.09655 (2018).

Azadi, S. et al. Multi-Content-Gan für die Übertragung von Schriftarten in wenigen Schritten. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2018).

Wang, L., Sindagi, VA & Patel, VM Hochwertige Synthese von Gesichtsfotoskizzen unter Verwendung multikontradiktorischer Netzwerke. 2018 13. IEEE Int. Konf. auf Autom. Gesichts- und Gestenerkennung. (FG 2018) 83–90 (2018).

Tzeng, E., Hoffman, J., Saenko, K. & Darrell, T. Adversarial diskriminative Domänenanpassung. https://doi.org/10.48550/ARXIV.1702.05464 (2017).

Zhu, J.-Y., Park, T., Isola, P. & Efros, AA Ungepaarte Bild-zu-Bild-Übersetzung unter Verwendung zykluskonsistenter gegnerischer Netzwerke. Im Jahr 2017 IEEE International Conference on Computer Vision (ICCV), 2242–2251. https://doi.org/10.1109/ICCV.2017.244 (2017).

Shamsolmoali, P. et al. Bildsynthese mit gegnerischen Netzwerken: Eine umfassende Umfrage und Fallstudien. Inf. Fusion 72, 126–146. https://doi.org/10.1016/j.inffus.2021.02.014 (2021).

Artikel Google Scholar

Creswell, A. et al. Generative gegnerische Netzwerke: Ein Überblick. IEEE-Signalprozess. Mag. 35, 53–65. https://doi.org/10.1109/MSP.2017.2765202 (2018).

Artikel ADS Google Scholar

Wang, Z., She, Q. & Ward, TE Generative gegnerische Netzwerke in der Computer Vision: Eine Umfrage und Taxonomie. ACM-Computing. Überleben. 54, 2514. DOI: https://doi.org/10.1145/3439723 (2021).

Chen, S. et al. Generierung kantonesischer Porzellanbilder mithilfe benutzergeführter generativer gegnerischer Netzwerke. IEEE Comput. Graph. Appl. 40, 100–107. https://doi.org/10.1109/MCG.2020.3012079 (2020).

Artikel PubMed Google Scholar

Papadopoulos, S., Dimitriou, N., Drosou, A. & Tzovaras, D. Modellierung räumlich-zeitlicher Alterungsphänomene mit tiefen generativen gegnerischen Netzwerken. Signalprozess. Bildkommun. 94, 156 (2021).

Artikel Google Scholar

Liu, M.-Y., Breuel, T. & Kautz, J. Unsupervised Image-to-Image Translation Networks, 700–708 (CVPR, 2017).

Isola, P., Zhu, J.-Y., Zhou, T. & Efros, AA Bild-zu-Bild-Übersetzung mit bedingten gegnerischen Netzwerken. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1125–1134 (2017).

Wang, H., He, Z., Huang, Y., Chen, D. & Zhou, Z. Bodhisattva-Kopfbilder modellieren die Stilerkennung von Dazu-Felsschnitzereien basierend auf einem tiefen Faltungsnetzwerk. J. Kult. Erbe. 27, 60–71. https://doi.org/10.1016/j.culher.2017.03.006 (2017).

Artikel Google Scholar

Zachariou, M., Dimitriou, N. & Arandjelovic, O. Visuelle Rekonstruktion antiker Münzen unter Verwendung zykluskonsistenter generativer gegnerischer Netzwerke. Science 2, 124. https://doi.org/10.3390/sci2030052 (2020).

Artikel Google Scholar

Hermoza, R. & Sipiran, I. 3D-Rekonstruktion unvollständiger archäologischer Objekte mithilfe eines generativen kontradiktorischen Netzwerks. In Proceedings of Computer Graphics International 2018, 5–11 (ACM, 2018).

Kniaz, VV, Remondino, F. & Knyaz, VA Generative gegnerische Netzwerke für die 3D-Rekonstruktion einzelner Fotos. In ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. 42, 403–408 (2019).

Jboor, N., Belhi, A., Al-Ali, A., Bouras, A. & Jaoua, A. Auf dem Weg zu einem malerischen Rahmen für das visuelle Kulturerbe. In IEEE Jordan International Joint Conference on Electrical Engineering and Information Technology (JEEIT), 602–607. https://doi.org/10.1109/JEEIT.2019.8717470 (Amman, Jordanien, 2019).

Yeh, R. et al. Semantisches Bild-Inpainting mit tiefen generativen Modellen. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 5485–5493 (2017).

Kingma, DP & Ba, JL Adam: eine Methode zur stochastischen Optimierung. Int. Konf. auf Lernen. Vertreten. 2015 1–15 (2015). 1412.6980.

Salimans, T. et al. Verbesserte Techniken zum Training von Gans. Adv. Neuronale Inf. Verfahren. Syst. 29 (2016).

Nunn, EJ, Khadivi, P. & Samavi, S. Zusammengesetzter Frechet-Anfangsabstand zur Qualitätsbewertung von Gan-erstellten Bildern. arXiv-Vorabdruck arXiv:2106.08575 (2021).

Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J. & Wojna, Z. Überdenken der Anfangsarchitektur für Computer Vision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2818–2826 (2016).

Karras, T. et al. Analyse und Verbesserung der Bildqualität von Stylegan. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 8110–8119 (2020).

Feng, Y. et al. Eine vergleichende Studie zu automatischen Bildsegmentierungsalgorithmen zur Zielverfolgung in der MR-IGRT. J. Appl. Klin. Med. Physik. 17, 441–460 (2016).

Artikel Google Scholar

Referenzen herunterladen

Diese Arbeit wurde von der Europäischen Union durch das Operative Programm FEDER Andalucía 2014-2020 Forschungsprojekt unter den Zuschüssen UJA-1381115 und UJA-1265116, dem Zentrum für fortgeschrittene Studien in Informations- und Kommunikationstechnologien (CEATIC) und dem Forschungsuniversitätsinstitut für Iberische Archäologie unterstützt der Universität Jaén.

Patagonisches Institut für Sozial- und Humanwissenschaften, Patagonisches Nationalzentrum, CONICET, Bv. Almirante Brown 2915, 9120, Puerto Madryn, PC, Argentinien

Pablo Navarro und Rolando González-Jose

Fakultät für Informatik (DIT), Fakultät für Ingenieurwissenschaften, Nationale Universität Patagonien San Juan Bosco, Mitre 665, 9100, Trelew Chubut, PC, Argentinien

Pablo Navarro

IBM Research Africa, Campus der Katholischen Universität von Ostafrika, Bogani E Rd, Nairobi, 00200, PC, Kenia

Celia Cintas

Fakultät für Informatik, Universität Jaén, Campus Las Lagunillas s/n, 23071, Jaén, PC, Spanien

Manuel Lucena, Jose Manuel Fuertes und Rafael Segura

Forschungsuniversitätsinstitut für Iberische Archäologie, Universität Jaén, Campus Las Lagunillas s/n, 23071, Jaén, PC, Spanien

Manuel Lucena, Jose Manuel Fuertes und Rafael Segura

Fakultät für Elektrotechnik und Informationstechnik, Universidad Nacional del Sur und CONICET, San Andre's 800, Campus Palihue, 8000, Bahía Blanca, PC, Argentinien

Claudio Delrieux

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

PN, CC, ML, JMF, RS, CD und RG-J. gestaltete Forschung; PN, CC, ML und JMF führten Untersuchungen durch; PN, CC, ML, JMF, CD und RG-J. analysierte Daten; und PN, CC, ML, JMF, CD und RG-J. hat die Arbeit geschrieben.

Korrespondenz mit Rolando González-José.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Navarro, P., Cintas, C., Lucena, M. et al. Rekonstruktion iberischer Keramikkeramiken mithilfe generativer kontradiktorischer Netzwerke. Sci Rep 12, 10644 (2022). https://doi.org/10.1038/s41598-022-14910-7

Zitat herunterladen

Eingegangen: 09. Februar 2022

Angenommen: 14. Juni 2022

Veröffentlicht: 23. Juni 2022

DOI: https://doi.org/10.1038/s41598-022-14910-7

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein gemeinsam nutzbarer Link verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.