Wayne's Talk - 韋恩愛講話

Photo by Maarten van den Heuvel on Unsplash

133 views
8 minute read

雙向 Transformer 編碼器表徵（Bidirectional Encoder Representations from Transformers, BERT）

ByWayne
15/04/2025

雙向 Transformer 編碼器表徵（Bidirectional Encoder Representations from Transformers, BERT）是由 Google AI 在 2018 年提出的一個用於自然語言處理的預訓練技術。BERT 透過提供對語言更深入的語境理解，顯著推進了自然語言處理的發展。

124 views
7 minute read

Transformer 模型

ByWayne
03/04/2025

Transformer 模型於 2017 年由谷歌大腦的一個團隊推出，是一種使用注意力機制（attention）的深度學習架構。它解決了傳統序列模型（sequential model）難以捕捉長距離依賴性和無法高效並行計算的問題。

161 views
8 minute read

注意力模型（Attention Models）

ByWayne
19/03/2025

注意力機制（Attention mechanism）是深度學習中的一種方法，它讓模型在產生其輸出的每個部分時專注於其輸入中最相關的部分。相較於傳統 sequence models 經常難以處理較長的輸入，attention 允許模型在產生輸出序列的每個部分時動態地聚焦輸入序列的不同部分。

159 views
4 minute read

Sequence to Sequence 模型（Seq2Seq Models）

ByWayne
15/03/2025

Sequence to Sequence（Seq2Seq）模型一個將序列（sequence）映射至另一個序列的 neural network 模型。它徹底改變了自然語言處理（NLP）領域，使得翻譯、文本摘要和聊天機器人等任務的效果大幅提升。本篇文章將深入探討 Seq2Seq 模型的原理。

200 views
8 minute read

雙向循環神經網絡（Bi-directional Recurrent Neural Networks, BRNNs）

ByWayne
10/03/2025

雙向循環神經網絡（Bi-directional recurrent neural networks, BRNNs）是一種 RNN，專門用於同時從前向和後向處理序列數據。與傳統 RNN 相比，BRNN 能夠保留更完整的上下文信息，使其能夠在整個序列中捕捉有用的依賴關係，從而在自然語言處理和語音識別等任務中提高預測準確性。

200 views
3 minute read

GloVe 是一種詞嵌入（word embedding）模型，透過 global co-occurence 統計來構建詞向量。與依賴 local context windows 的 Word2Vec 不同，GloVe 通過矩陣分解（matrix factorization）來捕捉詞語之間的整體統計關係。這種方法使 GloVe 能夠生成高質量的詞向量，有效地編碼語義和語法關係。本文將介紹 GloVe 的原理與訓練方法。

175 views
7 minute read

Word2Vec 詞嵌入模型

ByWayne
03/03/2025

Word2Vec 是一種用於學習詞向量（word embeddings）的模型，透過神經網路將詞彙與其語義轉換為向量。Word2Vec 提供 CBOW 與 Skip-gram 兩種訓練方法，並透過 Negative Sampling 和 Subsampling 技術提升效率。本文章將介紹 Word2Vec 的基本原理與訓練方法。

231 views
8 minute read

門控循環單元（Gated Recurrent Unit, GRU）

ByWayne
24/02/2025

門控循環單元（Gate recurrent unit, GRU）是一種 RNN，專門用來處理序列資料（sequential data）。與長短期記憶網路（long short-term memory）相似，它的設計目的是解決標準 RNN 長期依賴（long-term dependency）問題。

243 views
9 minute read

長短期記憶（Long Short-Term Memory, LSTM）

ByWayne
24/02/2025

長短期記憶（Long short-term memory, LSTM）是一種 RNN，專門用來處理序列資料（sequential data）。相較於標準的 RNN，LSTM 網路能夠維持有用的長期依賴（long-term dependencies）關係，以便在當前和未來的時間步驟中做出預測。

255 views
9 minute read

循環神經網路（Recurrent Neural Networks, RNN）

ByWayne
15/02/2025

循環神經網路（Recurrent Neural Networks, RNN）是一個專門處理序列資料（sequential data）的神經網路架構。RNN 利用循環連結（recurrent connections）來保留先前的輸出資訊，使網路在處理當前步驟時，能同時考慮過去的狀態。本文章將介紹 RNN 的基本原理。

Get source code of posts.

生成式預訓練 Transformer 模型（Generative Pre-trained Transformer, GPT）

雙向 Transformer 編碼器表徵（Bidirectional Encoder Representations from Transformers, BERT）

Transformer 模型

注意力模型（Attention Models）

Sequence to Sequence 模型（Seq2Seq Models）

雙向循環神經網絡（Bi-directional Recurrent Neural Networks, BRNNs）

GloVe 詞嵌入模型

Word2Vec 詞嵌入模型

門控循環單元（Gated Recurrent Unit, GRU）

長短期記憶（Long Short-Term Memory, LSTM）

循環神經網路（Recurrent Neural Networks, RNN）

生成式預訓練 Transformer 模型（Generative Pre-trained Transformer, GPT）

雙向 Transformer 編碼器表徵（Bidirectional Encoder Representations from Transformers, BERT）

Transformer 模型

注意力模型（Attention Models）

Sequence to Sequence 模型（Seq2Seq Models）

Python 長條圖（Bar Charts）

Kotlin Coroutine 教學

Python 散佈圖／折線圖（Scatter/Line Charts）

Spring Boot + REST APIs + JPA 教學

Python 圓餅圖／環狀圖／放射環狀圖（Pie/Donut/Sunburst Charts）

Python 長條圖（Bar Charts）

Kotlin Coroutine 教學

Python 散佈圖／折線圖（Scatter/Line Charts）

Spring Boot + REST APIs + JPA 教學