ΤΕΧΝΟΛΟΓΙΑ - ΗΠΑ - HAARP: "Έλεγχος τού Διαδικτύου" - Το Facebook αλλάζει τον τρόπο που βλέπουμε
(Κωδικός Facebook)
Εύχάριστες Τεχνολογικές έξελίξεις καί παρεμβάσεις άπό τήν νοήμονα τεχνολογική κοινότητα, στίς όποίες δέν θά παρέχεται ή δυνατότητα παρέμβασης στίς κυβερνήσεις κρατών
Βομβαρδισμός της Τουρκίας,άλλά καί τών όλοκληρωτικών διεφθαρμένων πολιτικών συστημάτων, από το Αμερικανικό σύστημα HAARP
Μετάβαση εξ ολοκλήρου σε νευρική αυτόματη μετάφραση
Μετάφραση γλώσσας είναι ένας από τους τρόπους που μπορούμε να δώσουμε στους ανθρώπους τη δύναμη να χτίσουν κοινότητα και να φέρει τον κόσμο πιο κοντά. Μπορεί να βοηθήσει τους ανθρώπους να συνδεθούν με τα μέλη της οικογένειας που ζουν στο εξωτερικό, ή να κατανοήσουν καλύτερα την προοπτική κάποιου που μιλά μια διαφορετική γλώσσα. Χρησιμοποιούμε αυτόματης μετάφρασης για να μεταφράσει το κείμενο σε αναρτήσεις και σχόλια αυτόματα, προκειμένου να σπάσει τα γλωσσικά εμπόδια και επιτρέπουν στους ανθρώπους σε όλο τον κόσμο για να επικοινωνούν μεταξύ τους.
Δημιουργία απρόσκοπτη, εξαιρετικά ακριβή μετάφραση εμπειρίες για τα 2 δισεκατομμύρια άνθρωποι που χρησιμοποιούν το Facebook είναι δύσκολη. Πρέπει να λαμβάνονται υπόψη το πλαίσιο, αργκό, ορθογραφικά λάθη, συντομογραφίες, και την πρόθεση ταυτόχρονα. Για να συνεχιστεί η βελτίωση της ποιότητας των μεταφράσεων μας, έχουμε πρόσφατα μεταπήδησε από τη χρήση μοντέλων μηχανικής μετάφρασης φράση που βασίζεται σε νευρωνικά δίκτυα για να τροφοδοτήσει όλα τα συστήματα μετάφρασης backend, οι οποίες αντιπροσωπεύουν πάνω από 2.000 μετάφραση κατευθύνσεις και 4,5 δισ μεταφράσεις κάθε μέρα. Αυτά τα νέα μοντέλα παρέχουν πιο ακριβείς και άπταιστα μεταφράσεις, τη βελτίωση της εμπειρίας των ανθρώπων που καταναλώνουν περιεχόμενο του Facebook που δεν είναι γραμμένο σε γλώσσα της προτίμησής τους.
Ακολουθία-to-ακολουθία LSTM με προσοχή: Χρησιμοποιώντας το πλαίσιο
στατιστικές τεχνικές μας προηγούμενη φράση-based ήταν χρήσιμη, αλλά είχε επίσης περιορισμούς. Ένα από τα βασικά μειονεκτήματα των συστημάτων φράση-based είναι ότι καταρρεύσει ποινές σε μεμονωμένες λέξεις ή φράσεις, και ως εκ τούτου κατά την παραγωγή μεταφράσεις μπορούν να εξετάσουν μόνο αρκετές λέξεις σε μια στιγμή. Αυτό οδηγεί σε δυσκολία μετάφραση μεταξύ γλωσσών με σημαντικά διαφορετικές διατάξεις λέξη. Για να διορθωθεί αυτό και να οικοδομήσουν νευρωνικά συστήματα του δικτύου μας, ξεκινήσαμε με ένα είδος επαναλαμβανόμενες νευρωνικό δίκτυο γνωστό ως αλληλουχία-to-ακολουθία LSTM (μεγάλη βραχυπρόθεσμη μνήμη) με προσοχή. Ένα τέτοιο δίκτυο μπορεί να λάβει υπόψη το σύνολο πλαίσιο της φράσης πηγής και ό, τι παράγεται μέχρι σήμερα, για να δημιουργήσετε πιο ακριβή και άπταιστα μεταφράσεις. Αυτό επιτρέπει σε μεγάλες αποστάσεις αναδιάταξη, όπως συμβαίνει ανάμεσα στα αγγλικά και τουρκικά, για παράδειγμα. Πάρτε την ακόλουθη μετάφραση που παράγεται από ένα τουρκικό-to-αγγλικό σύστημα φράση που βασίζεται:
Συγκρίνετε αυτό με τη μετάφραση που παράγεται από το νέο μας, νευρωνικά δίκτυα που βασίζονται σε τουρκο-to-αγγλικό σύστημα:
Με το νέο σύστημα, είδαμε μια μέση σχετική αύξηση 11 τοις εκατό σε BLEU - μια ευρέως χρησιμοποιούμενη μετρική για την αξιολόγηση της ακρίβειας της αυτόματης μετάφρασης - σε όλες τις γλώσσες σε σχέση με τα συστήματα φράση που βασίζεται.
Χειρισμός άγνωστες λέξεις
Σε πολλές περιπτώσεις, μια λέξη στη φράση πηγή δεν έχει άμεση αντίστοιχη μετάφραση στο λεξιλόγιο-στόχο. Όταν συμβαίνει αυτό, το νευρικό σύστημα θα δημιουργήσει ένα σύμβολο κράτησης θέσης για την άγνωστη λέξη. Σε αυτή την περίπτωση, θα επωφεληθούν από το μαλακό ευθυγράμμισης ότι ο μηχανισμός προσοχή παράγει μεταξύ της πηγής και του στόχου λέξεις για να περάσει η αρχική λέξη πηγή μέσα από την πρόταση στόχου. Στη συνέχεια θα εξετάσουμε τη μετάφραση της λέξης σε ένα δίγλωσσο λεξικό που χτίστηκε από τα δεδομένα εκπαίδευσης μας και να αντικαταστήσει την άγνωστη λέξη στην πρόταση στόχου. Αυτή η μέθοδος είναι πιο ισχυρή από ό, τι χρησιμοποιώντας ένα παραδοσιακό λεξικού, ειδικά για θορυβώδεις εισόδου. Για παράδειγμα, στα Αγγλικά με μετάφραση στα Ισπανικά, είμαστε σε θέση να μεταφράσει «tmrw» (αύριο) σε «mañana.» Αν και η προσθήκη ενός λεξικού φέρνει μόνο οριακές βελτιώσεις στη βαθμολογία BLEU, οδηγεί σε υψηλότερες βαθμολογίες μετάφραση από ανθρώπους Facebook.
Συγκρίνετε αυτό με τη μετάφραση που παράγεται από το νέο μας, νευρωνικά δίκτυα που βασίζονται σε τουρκο-to-αγγλικό σύστημα:
Με το νέο σύστημα, είδαμε μια μέση σχετική αύξηση 11 τοις εκατό σε BLEU - μια ευρέως χρησιμοποιούμενη μετρική για την αξιολόγηση της ακρίβειας της αυτόματης μετάφρασης - σε όλες τις γλώσσες σε σχέση με τα συστήματα φράση που βασίζεται.
Χειρισμός άγνωστες λέξεις
Σε πολλές περιπτώσεις, μια λέξη στη φράση πηγή δεν έχει άμεση αντίστοιχη μετάφραση στο λεξιλόγιο-στόχο. Όταν συμβαίνει αυτό, το νευρικό σύστημα θα δημιουργήσει ένα σύμβολο κράτησης θέσης για την άγνωστη λέξη. Σε αυτή την περίπτωση, θα επωφεληθούν από το μαλακό ευθυγράμμισης ότι ο μηχανισμός προσοχή παράγει μεταξύ της πηγής και του στόχου λέξεις για να περάσει η αρχική λέξη πηγή μέσα από την πρόταση στόχου. Στη συνέχεια θα εξετάσουμε τη μετάφραση της λέξης σε ένα δίγλωσσο λεξικό που χτίστηκε από τα δεδομένα εκπαίδευσης μας και να αντικαταστήσει την άγνωστη λέξη στην πρόταση στόχου. Αυτή η μέθοδος είναι πιο ισχυρή από ό, τι χρησιμοποιώντας ένα παραδοσιακό λεξικού, ειδικά για θορυβώδεις εισόδου. Για παράδειγμα, στα Αγγλικά με μετάφραση στα Ισπανικά, είμαστε σε θέση να μεταφράσει «tmrw» (αύριο) σε «mañana.» Αν και η προσθήκη ενός λεξικού φέρνει μόνο οριακές βελτιώσεις στη βαθμολογία BLEU, οδηγεί σε υψηλότερες βαθμολογίες μετάφραση από ανθρώπους Facebook.
Λεξιλόγιο μείωση
Ένα τυπικό νευρωνικό μοντέλο αυτόματης μετάφρασης υπολογίζει μια κατανομή πιθανοτήτων πάνω από όλες τις λέξεις στο λεξιλόγιο-στόχο. Οι περισσότερες λέξεις που περιλαμβάνονται σε αυτή την κατανομή, το περισσότερο χρόνο κατά τον υπολογισμό λαμβάνονται. Χρησιμοποιούμε μια τεχνική μοντελοποίησης που ονομάζεται μείωση λεξιλόγιο για την αντιμετώπιση αυτού του ζητήματος, τόσο του χρόνου εκπαίδευσης και εξαγωγής συμπερασμάτων. Με το λεξιλόγιο μείωση, συνδυάζουμε τις πιο συχνά εμφανιζόμενες λέξεις στο λεξιλόγιο στόχο και ένα σύνολο πιθανών μετάφραση υποψηφίων για μεμονωμένες λέξεις από μια συγκεκριμένη πρόταση για να μειώσει το μέγεθος του λεξιλογίου στόχου. Φιλτράρισμα το λεξιλόγιο στόχο μειώνει το μέγεθος του στρώματος προβολής εξόδου, το οποίο βοηθά στο να γίνει υπολογισμός πολύ πιο γρήγορα χωρίς να υποβαθμίζεται πολύ σημαντικά την ποιότητα.
παραμέτρους του μοντέλου Τονινγ
Τα νευρωνικά δίκτυα έχουν σχεδόν πάντα ρυθμιζόμενους παραμέτρους που ελέγχουν τα πράγματα όπως την εκμάθηση ποσοστό του μοντέλου. Η επιλογή του βέλτιστου συνόλου αυτών hyperparameters μπορεί να είναι εξαιρετικά επωφελής για την απόδοση. Ωστόσο, αυτό αποτελεί σημαντική πρόκληση για την αυτόματη μετάφραση σε κλίμακα, δεδομένου ότι κάθε κατεύθυνση μετάφρασης αντιπροσωπεύεται από ένα μοναδικό μοντέλο με το δικό του σύνολο των hyperparameters. Δεδομένου ότι οι βέλτιστες τιμές μπορεί να είναι διαφορετικές για κάθε μοντέλο, έπρεπε να συντονιστείτε αυτούς για για κάθε σύστημα κατά την παραγωγή ξεχωριστά. Τρέξαμε χιλιάδες πειράματα μετάφρασης end-to-end για αρκετούς μήνες, αξιοποιώντας την πλατφόρμα FBLearner πλατφόρμα FBLearner ροής σε hyperparameters τελειοποιήσουν όπως η εκμάθηση ρυθμό, τύπου προσοχή και σύνολο μέγεθος. Αυτό είχε σημαντικές επιπτώσεις για ορισμένα συστήματα. Για παράδειγμα, είδαμε μια σχετική βελτίωση του 3,7 τοις εκατό BLEU για τα Αγγλικά στα Ισπανικά, με βάση μόνο το μοντέλο ρύθμιση hyperparameters.
Κλιμάκωση νευρωνικά μηχανή μετάφρασης με Caffe2
Μία από τις προκλήσεις με τη μετάβαση σε ένα νευρωνικό σύστημα να πάρει τα μοντέλα για να τρέξει με την ταχύτητα και την αποτελεσματικότητα που απαιτούνται για κλίμακας Facebook. Έχουμε εφαρμόσει συστήματα μετάφρασης μας στο βαθύ πλαίσιο μάθησης Caffe2 . Κάτω-to-the-metal και ευέλικτη φύση της μας επέτρεψε να συντονιστείτε την απόδοση της μετάφρασης μοντέλα μας κατά τη διάρκεια τόσο της κατάρτισης και της εξαγωγής συμπερασμάτων για την GPU και CPU πλατφόρμες μας.
Για την εκπαίδευση, θα υλοποιηθεί βελτιστοποιήσεις της μνήμης, όπως η ανακύκλωση άμορφη μάζα και άμορφη μάζα εκ νέου υπολογισμού, η οποία μας βοήθησε να εκπαιδεύσει μεγαλύτερες παρτίδες και ολοκληρωμένη εκπαίδευση πιο γρήγορα. Για συμπέρασμα, χρησιμοποιήσαμε εξειδικευμένες βιβλιοθήκες φορέα μαθηματικά και κβαντισμού βάρος για τη βελτίωση της υπολογιστικής απόδοσης. Πρόωρη σημεία αναφοράς για τα υπάρχοντα μοντέλα έδειξαν ότι οι υπολογιστικών πόρων για την υποστήριξη περισσότερων από 2.000 μετάφραση κατευθύνσεις θα ήταν απαγορευτικά υψηλό. Ωστόσο, η ευέλικτη φύση των Caffe2 και τις βελτιώσεις που υλοποιούνται μας έδωσε ώθηση 2,5 φορές στην απόδοση, η οποία μας επέτρεψε να αναπτύξει νευρωνικά μοντέλα αυτόματης μετάφρασης στην παραγωγή.
Ακολουθούμε την πρακτική, κοινή σε αυτόματη μετάφραση, από τη χρήση της αναζήτησης ακτίνας σε χρόνο αποκωδικοποίησης για να βελτιώσει την εκτίμηση μας για την πρόταση εξόδου υψηλότερη πιθανότητα ανάλογα με το μοντέλο. Θα αξιοποιηθεί η γενικότητα της αφαίρεσης επαναλαμβανόμενες νευρωνικών δικτύων (RNN) σε Caffe2 να εφαρμόσει αναζήτηση δέσμη άμεσα ως μια ενιαία προς τα εμπρός υπολογισμό του δικτύου, το οποίο μας δίνει γρήγορο και αποτελεσματικό συμπέρασμα.
Κατά τη διάρκεια αυτού του έργου, έχουμε αναπτύξει RNN δομικά στοιχεία, όπως LSTM, πολλαπλασιαστική LSTM ολοκλήρωση και την προσοχή. Είμαστε ενθουσιασμένοι για να μοιραστεί αυτή την τεχνολογία τεχνολογία ως μέρος της Caffe2 και να προσφέρει γνώσεις που μας στις κοινότητες έρευνας και ανοικτού κώδικα.
Συνεχίζεται το έργο
Το Facebook Έρευνας Τεχνητής Νοημοσύνης (FAIR) ομάδα πρόσφατα δημοσιευμένη έρευνα δημοσιευμένη έρευνα σχετικά με τη χρήση συνελικτικού νευρωνικά δίκτυα (CNNs) για την αυτόματη μετάφραση. Συνεργαστήκαμε στενά με FAIR για να φέρει την τεχνολογία αυτή από την έρευνα στα συστήματα παραγωγής, για πρώτη φορά, η οποία έλαβε λιγότερο από τρεις μήνες. Ξεκινήσαμε μοντέλα CNN για τα αγγλικά με γαλλικά και τα αγγλικά με γερμανική μετάφραση, η οποία έφερε βελτίωση της ποιότητας BLEU του 12,0 τοις εκατό (4,3) και 14,4 τοις εκατό (3,4), αντίστοιχα, κατά τη διάρκεια των προηγούμενων συστημάτων. Αυτές οι βελτιώσεις στην ποιότητα κάνει CNNs μια συναρπαστική νέα πορεία ανάπτυξης, και θα συνεχίσουμε το έργο μας να χρησιμοποιούν CNNs για περισσότερα συστήματα μετάφρασης.
Έχουμε μόλις αρχίσει να είναι σε θέση να χρησιμοποιούν περισσότερο το πλαίσιο για τις μεταφράσεις. Νευρωνικά δίκτυα ανοίγουν πολλές μελλοντική ανάπτυξη μονοπάτια που σχετίζονται με την προσθήκη επιπλέον πλαίσιο, όπως μια φωτογραφία που συνοδεύει το κείμενο της θέση, να δημιουργήσουν καλύτερες μεταφράσεις.
Είμαστε, επίσης, αρχίζουν να εξερευνήσετε πολύγλωσσο μοντέλα που μπορεί να μεταφράσει πολλές διαφορετικές κατευθύνσεις γλώσσα. Αυτό θα βοηθήσει στην επίλυση του προβλήματος της εξομάλυνσης των βραχυχρόνιων διακυμάνσεων κάθε συστήματος που σχετίζονται με ένα συγκεκριμένο ζεύγος γλωσσών, και μπορεί επίσης να φέρει την ποιότητα κέρδη από κάποιες κατευθύνσεις μέσα από την ανταλλαγή των δεδομένων εκπαίδευσης.
Ολοκλήρωση της μετάβασης από τη φράση που βασίζεται σε νευρωνικά αυτόματη μετάφραση αποτελεί ορόσημο στην πορεία μας για την παροχή Facebook εμπειρίες για όλους στη γλώσσα της προτίμησής τους. Θα συνεχίσουμε να διευρύνουμε τα όρια των νευρωνικών τεχνολογία αυτόματης μετάφρασης, με σκοπό την παροχή ανθρωπόμορφα μεταφράσεις σε όλους τους χρήστες του Facebook.
____________________________________________
"States of the Middle Founder:
US Department of State
World Intellectual Property Organization (IP) »
Go to the profile of Spyridon Liar
Spyridon Liar
Middle member 2017
