เฮ้ ในฐานะซัพพลายเออร์หม้อแปลงฉันมักจะถูกถามเกี่ยวกับความแตกต่างระหว่างหม้อแปลงและ LSTM ดังนั้นฉันคิดว่าฉันจะเขียนบล็อกนี้เพื่อทำลายมันให้คุณ
Transformers และ LSTMS คืออะไร?
เริ่มต้นด้วยคำนำอย่างรวดเร็ว Transformers เป็นสถาปัตยกรรมเครือข่ายประสาทที่ได้รับความนิยมอย่างมากในการประมวลผลภาษาธรรมชาติ (NLP) ในปัจจุบัน พวกเขาได้รับการแนะนำในกระดาษ "ความสนใจคือสิ่งที่คุณต้องการ" ในปี 2560 แนวคิดสำคัญที่อยู่เบื้องหลังหม้อแปลงคือการใช้กลไกความสนใจซึ่งช่วยให้แบบจำลองสามารถมุ่งเน้นไปที่ส่วนต่าง ๆ ของลำดับอินพุตเมื่อทำการคาดการณ์
ในทางกลับกันเครือข่ายหน่วยความจำระยะสั้นระยะยาว (LSTM) เป็นประเภทของเครือข่ายประสาทเรนเดอร์ (RNN) RNNs ได้รับการออกแบบมาเพื่อจัดการข้อมูลตามลำดับเช่นข้อความหรือเวลา - ข้อมูลซีรีส์ แต่ RNN แบบดั้งเดิมประสบปัญหาการไล่ระดับสีที่หายไปซึ่งทำให้ยากสำหรับพวกเขาที่จะเรียนรู้การพึ่งพาระยะยาว LSTMS ได้รับการพัฒนาเพื่อแก้ปัญหานี้ พวกเขามีโครงสร้างเซลล์พิเศษที่มีประตู (ประตูอินพุตลืมเกตและเกตเอาท์พุท) ที่สามารถควบคุมการไหลของข้อมูลผ่านเครือข่ายทำให้พวกเขาสามารถจดจำข้อมูลเป็นระยะเวลานานขึ้น
ความแตกต่างของสถาปัตยกรรม
หนึ่งในความแตกต่างที่ใหญ่ที่สุดระหว่างหม้อแปลงและ LSTMS อยู่ในสถาปัตยกรรมของพวกเขา
ลำดับกระบวนการ LSTMS ตามลำดับ นั่นหมายความว่าพวกเขาอ่านอินพุตหนึ่งองค์ประกอบในแต่ละครั้งและอัปเดตสถานะภายในของพวกเขาตามอินพุตปัจจุบันและสถานะก่อนหน้า การประมวลผลตามลำดับนี้ทำให้พวกเขายอดเยี่ยมสำหรับงานที่คำสั่งของอินพุตมีความสำคัญมากเช่นการแปลภาษาที่ไวยากรณ์และคำสั่งคำมีความสำคัญ อย่างไรก็ตามมันยังทำให้พวกเขาช้าในการฝึกอบรมเพราะพวกเขาไม่สามารถขนานการประมวลผลของลำดับ
ในทางกลับกันหม้อแปลงอย่าประมวลผลลำดับตามลำดับ พวกเขาใช้กลไกความสนใจเพื่อดูทุกส่วนของลำดับอินพุตพร้อมกัน สิ่งนี้ช่วยให้พวกเขาสามารถขนานการประมวลผลซึ่งหมายความว่าพวกเขาสามารถฝึกได้เร็วกว่า LSTMS มาก กลไกความสนใจจะคำนวณผลรวมถ่วงน้ำหนักของเวกเตอร์อินพุตซึ่งน้ำหนักจะถูกกำหนดโดยความเกี่ยวข้องของแต่ละอินพุตที่เกี่ยวข้องกับผู้อื่น ด้วยวิธีนี้โมเดลสามารถจับการพึ่งพาระยะยาวได้อย่างง่ายดายในลำดับโดยไม่ต้องประมวลผลทีละขั้นตอน
ประสิทธิภาพในงานที่แตกต่างกัน
เมื่อพูดถึงการแสดงทั้งหม้อแปลงและ LSTMS มีจุดแข็งและจุดอ่อน
ในงาน NLP Transformers ได้เข้ายึดครองในช่วงไม่กี่ปีที่ผ่านมา สำหรับงานต่าง ๆ เช่นการสร้างข้อความการวิเคราะห์ความเชื่อมั่นและคำถาม - ระบบตอบรับหม้อแปลงมักจะมีประสิทธิภาพสูงกว่า LSTMS ความสามารถของพวกเขาในการจับการพึ่งพาระยะยาวและการฝึกฝนอย่างรวดเร็วทำให้พวกเขาดี - เหมาะสำหรับงานเหล่านี้ ตัวอย่างเช่นโมเดลเช่น GPT (หม้อแปลงที่ผ่านการฝึกฝนมาก่อน) และเบิร์ต (การเป็นตัวแทนของตัวเข้ารหัสแบบสองทิศทางจากหม้อแปลง) ขึ้นอยู่กับสถาปัตยกรรมหม้อแปลงและได้รับสถานะ - - ผลลัพธ์ศิลปะในมาตรฐาน NLP จำนวนมาก
อย่างไรก็ตาม LSTMS ยังคงมีสถานที่ของพวกเขา พวกเขายังคงมีประโยชน์สำหรับงานที่ลักษณะตามลำดับของข้อมูลมีความสำคัญมากและความยาวลำดับค่อนข้างสั้น ตัวอย่างเช่นในการจดจำคำพูดที่ลำดับของเฟรมเสียงมีความสำคัญมาก LSTMs อาจเป็นตัวเลือกที่ดี พวกเขายังสามารถตีความได้มากกว่าหม้อแปลงในบางกรณีซึ่งอาจเป็นข้อได้เปรียบเมื่อคุณต้องการเข้าใจว่าแบบจำลองกำลังตัดสินใจอย่างไร
หน่วยความจำและการคำนวณ
การใช้หน่วยความจำเป็นอีกพื้นที่หนึ่งที่ Transformers และ LSTMS แตกต่างกัน
LSTMS มีรอยเท้าหน่วยความจำค่อนข้างเล็กเมื่อเทียบกับหม้อแปลง เนื่องจากพวกเขาประมวลผลลำดับหนึ่งองค์ประกอบในแต่ละครั้งพวกเขาจะต้องติดตามสถานะปัจจุบันและสถานะก่อนหน้า สิ่งนี้ทำให้พวกเขามีหน่วยความจำมากขึ้น - มีประสิทธิภาพโดยเฉพาะอย่างยิ่งสำหรับลำดับที่ยาวนาน
ในทางกลับกันหม้อแปลงต้องเก็บเวกเตอร์อินพุตทั้งหมดและคำนวณคะแนนความสนใจสำหรับองค์ประกอบอินพุตทั้งหมด สิ่งนี้สามารถนำไปสู่การใช้หน่วยความจำสูงโดยเฉพาะอย่างยิ่งสำหรับลำดับที่ยาวนาน อย่างไรก็ตามด้วยการพัฒนาเทคนิคเช่นความสนใจกระจัดกระจายปัญหานี้ได้รับการบรรเทาลงในระดับหนึ่ง
ในแง่ของการคำนวณดังที่ได้กล่าวไว้ก่อนหน้านี้หม้อแปลงสามารถขนานกับการประมวลผลของลำดับซึ่งทำให้พวกเขาเร็วกว่าการฝึกอบรมมากกว่า LSTMS แต่นี่ก็หมายความว่าพวกเขาต้องการทรัพยากรการคำนวณมากขึ้นเช่น GPU ที่ทรงพลังหรือ TPU LSTMS ซึ่งมีการประมวลผลตามลำดับของพวกเขามีการคำนวณน้อยลง แต่ใช้เวลานานกว่าในการฝึกอบรม
แอปพลิเคชันในโลกแห่งความเป็นจริง
มาพูดถึงวิธีการใช้สถาปัตยกรรมทั้งสองนี้ในโลกแห่งความเป็นจริง
หม้อแปลงกำลังถูกใช้ในแอพพลิเคชั่นที่หลากหลาย ในอุตสาหกรรมเทคโนโลยีพวกเขาใช้สำหรับสิ่งต่าง ๆ เช่นผู้ช่วยเสมือนจริงแชทบอทและบริการแปลภาษา ตัวอย่างเช่น Google Translate ได้เริ่มใช้โมเดลที่ใช้หม้อแปลงเพื่อปรับปรุงคุณภาพของการแปล ในด้านการเงินหม้อแปลงสามารถใช้ในการทำนายราคาหุ้นโดยการวิเคราะห์บทความข่าวและความเชื่อมั่นของโซเชียลมีเดีย
LSTM ยังคงใช้ในหลายอุตสาหกรรมเช่นกัน ในอุตสาหกรรมการดูแลสุขภาพพวกเขาสามารถใช้สำหรับการวิเคราะห์ข้อมูลผู้ป่วยเมื่อเวลาผ่านไปเช่นสัญญาณ Electrocardiogram (ECG) หรือสัญญาณชีพผู้ป่วย ในอุตสาหกรรมยานยนต์ LSTM สามารถใช้สำหรับการทำนายพฤติกรรมยานพาหนะตามข้อมูลประวัติ
ผลิตภัณฑ์หม้อแปลงของเรา
ในฐานะซัพพลายเออร์หม้อแปลงเรานำเสนอหม้อแปลงคุณภาพสูงที่หลากหลายสำหรับแอพพลิเคชั่นที่แตกต่างกัน หากคุณกำลังมองหาไฟล์หม้อแปลงควบคุมเฟสเดียวเรามีคุณครอบคลุม หม้อแปลงเหล่านี้ได้รับการออกแบบมาเพื่อให้การควบคุมที่แม่นยำและประสิทธิภาพที่เชื่อถือได้ในระบบไฟฟ้าเฟสเดี่ยว
เรายังมีอลูมิเนียมแรงดันไฟฟ้าต่ำสามเฟสหม้อแปลงแห้งชนิดแห้ง- หม้อแปลงเหล่านี้มีน้ำหนักเบาพลังงาน - มีประสิทธิภาพและเหมาะสำหรับการใช้งานอุตสาหกรรมที่หลากหลาย
และถ้าคุณต้องการไฟล์หม้อแปลงควบคุมซีรีส์ BKเรามีพวกเขาอยู่ในสต็อก ซีรี่ส์ BK เป็นที่รู้จักกันดีในเรื่องความทนทานและประสิทธิภาพที่ยอดเยี่ยมในวงจรควบคุม
บทสรุป
โดยสรุปทั้งหม้อแปลงและ LSTMS เป็นสถาปัตยกรรมเครือข่ายประสาทที่ทรงพลัง แต่มีลักษณะที่แตกต่างกันซึ่งทำให้เหมาะสำหรับงานที่แตกต่างกัน หม้อแปลงนั้นยอดเยี่ยมสำหรับงานที่ต้องมีการพึ่งพาระยะยาวและจำเป็นต้องมีการฝึกอบรมอย่างรวดเร็วในขณะที่ LSTMs ดีกว่าสำหรับงานที่การประมวลผลตามลำดับและประสิทธิภาพของหน่วยความจำมีความสำคัญ
หากคุณอยู่ในตลาดสำหรับ Transformers สำหรับระบบไฟฟ้าของคุณเราอยู่ที่นี่เพื่อช่วย ไม่ว่าคุณจะต้องการหม้อแปลงการควบคุมเฟสเดี่ยว, หม้อแปลงสามเฟสแห้ง - ประเภทหม้อแปลงหรือหม้อแปลงควบคุมซีรี่ส์ BK เราสามารถจัดหาผลิตภัณฑ์ที่เหมาะสมให้คุณได้ ติดต่อเราเพื่อเริ่มการอภิปรายการจัดซื้อและค้นหาทางออกที่ดีที่สุดสำหรับความต้องการของคุณ
การอ้างอิง
- Vaswani, A. , Shazer, N. , Parmar, N. , Uszkoreit, J. , Jones, L. , Gomez, An, ... & Polosukhin, I. (2017) ความสนใจคือสิ่งที่คุณต้องการ ความก้าวหน้าในระบบการประมวลผลข้อมูลระบบประสาท
- Hochreiter, S. , & Schmidhuber, J. (1997) หน่วยความจำระยะสั้นระยะยาว การคำนวณทางประสาท, 9 (8), 1735 - 1780