Title

Improving the accuracy of the tree-tensor network approach by optimization of network structure

Author

Toshiya Hikihara, Hiroshi Ueda, Kouichi Okunishi, Kenji Harada, and Tomotoshi Nishino

Abstract

Numerical methods based on tensor networks have been extensively explored in the research of quantum many-body systems in recent years. It has been recognized that the ability of tensor networks to describe a quantum many-body state crucially depends on the spatial structure of the network. In the previous work [T. Hikihara et al., Phys. Rev. Res. 5, 013031 (2023)], we proposed an algorithm based on tree-tensor networks (TTNs) that automatically optimizes the structure of a TTN according to the spatial profile of entanglement in the state of interest. In this paper, we apply the algorithm to the random 𝑋𝑌 -exchange model under random magnetic fields and the Richardson model in order to analyze how the performance of the algorithm depends on the detailed updating schemes of the structural optimization. We then find that for the random 𝑋𝑌 model, on the one hand, the algorithm achieves improved accuracy, and the stochastic algorithm, which selects the local network structure probabilistically, is notably effective. For the Richardson model, on the other hand, the resulting numerical accuracy subtly depends on the initial TTN and the updating schemes. In particular, the algorithm without the stochastic updating scheme certainly improves the accuracy, while the one with the stochastic updates results in poor accuracy due to the effect of randomizing the network structure at the early stage of the calculation. These results indicate that the algorithm successfully improves the accuracy of the numerical calculations for quantum many-body states, while it is essential to appropriately choose the updating scheme as well as the initial TTN structure, depending on the systems treated.

Comments

19 pages, 17 figures, 2 tables

Citation

Toshiya Hikihara, Hiroshi Ueda, Kouichi Okunishi, Kenji Harada, Tomotoshi Nishino, ``Improving the accuracy of the tree-tensor network approach by optimization of network structure'', Phys. Rev. B 112, 134427 (2025)

DOI

10.1103/ljj8-tkpc

Code

Demo code

日本物理学会　2025年年次大会（広島大学）

日程: 2025年9月16日から9月19日

• 18pPS-90 "グラウバーダイナミクスにおける熱力学不確定性関係" (寺前実, 原田健自)
• 18pPS-103 "動的制約付きモデルの有限時間における動的相転移の直接的観測" (西川大凱, 原田健自)
• 18pSL101-13 "MPS表現を用いた確率過程の動的低ランク近似法" (皆川諒, 原田健自)
• 18pSL101-14 "生成モデリングのためのミニバッチアニーリングを組み込んだ適応的テンソルツリー法" (原田健自, 大久保毅, 川島直輝)

Dates

August 25-29, 2025

Conference

SQAI-NCTS Workshop on Quantum Technologies and Machine Learning (National Taiwan University, Taipei, Taiwan)

Title

Adaptive Tensor Tree Method with Annealing of Mini-batch Samples for Generative Modeling on Quantum Devices

Abstract

We proposed the Adaptive Tensor Tree (ATT) method, which uses the tensor tree network within the Born machine framework to construct a generative model. This method expresses the target distribution function as the squared amplitude of a quantum wave function represented by a tensor tree. The core concept of the ATT method involves dynamically optimizing the tree structure to minimize the bond mutual information. In this presentation, we introduce a new technique that utilizes an annealing process on mini-batch samples to enhance the performance of the ATT method. We will demonstrate the effectiveness of this new ATT approach using various datasets.

テンソルネットワークをベースとした生成モデルの新しい構築法を提案しその有効性を示した研究に関するプレスリリースを行いました。

Title

Tensor tree learns hidden relational structures in data to construct generative models

Author

Kenji Harada, Tsuyoshi Okubo, Naoki Kawashima

Abstract

Based on the tensor tree network with the Born machine framework, we propose a general method for constructing a generative model by expressing the target distribution function as the amplitude of the quantum wave function represented by a tensor tree. The key idea is dynamically optimizing the tree structure that minimizes the bond mutual information. The proposed method offers enhanced performance and uncovers hidden relational structures in the target data. We illustrate potential practical applications with four examples: (i) random patterns, (ii) QMNIST handwritten digits, (iii) Bayesian networks, and (iv) the pattern of stock price fluctuation pattern in S\&P500. In (i) and (ii), the strongly correlated variables were concentrated near the center of the network; in (iii), the causality pattern was identified; and in (iv), a structure corresponding to the eleven sectors emerged.

Comments

10 pages, 3 figures

Citation

Kenji Harada, Tsuyoshi Okubo, and Naoki Kawashima, Machine Learning: Science and Technology 6 025002(2025)

DOI

10.1088/2632-2153/adc2c7

Code

Adaptive Tensor Tree Generative Modeling

日本物理学会　2025年春季大会（オンライン）

日程: 2025年3月18日から3月21日

• 講演(18pL3-2) "ツリーテンソルネットワークを用いた生成モデルにおけるテンソル・ネットワーク最適化"（共同研究者：大久保毅、川島直輝）

発表日

2025年1月16日

Seminar

第14回学習物理領域セミナー＋第66回DLAP

タイトル

テンソル木を用いた生成モデルがデータ内の隠れた関係性を抽出する

概要

ボルンマシンと呼ばれる量子状態の観測結果を基にした生成モデルが提案され、量子コンピュータの応用例として注目されています。一方、ボルンマシンの量子状態をテンソルネットワーク（テンソル分解）で表現することにより、古典計算機でも効率よく実行できる手法も興味深いものです。実際、テンソルネットワークを用いることで、量子回路によるボルンマシンのパラメータ最適化問題を解決できることが示されています。しかし、このアプローチには、テンソルネットワークの構造に性能が大きく依存するという課題があります。我々の最近の研究では、データ内の相互情報量に着目し、ツリーテンソルネットワーク（テンソル木）を用いたボルンマシンにおいて、ネットワーク構造を動的に改善する手法を提案しました。その結果、ボルンマシンの性能向上に加えて、ネットワーク構造からデータ内の関係性を抽出できることが明らかになりました。講演では、ランダムパターン、手書き文字画像、ベイジアンネットワーク、株価の揺らぎなどのデータに適用した実例を紹介します。近年、パラメータ圧縮の観点から機械学習においてテンソル分解が多く用いられており、ネットワーク最適化はその性能向上に貢献する有望なアプローチとして期待できます。

文献

arXiv:2408.10669

参照コード

Adaptive Tensor Tree Generative Modeling

Date

December 13th, 2024

Seminar

Theory seminar at ISSP, Univ. of Tokyo

Title

Tensor tree learns hidden relational structure in data to construct generative models

Abstract

Generative modeling is a significant machine learning technique that constructs the probability distribution of a dataset, owing to its wide range of applications across various problems. Recently, there has been extensive research into generative modeling on quantum computers, referred to as Born machines. This approach utilizes the output of projective measurement of quantum states for　stochastic samplings.

We propose a general method for constructing a generative model based on the tree tensor network within the Born machine framework. The core idea is to optimize the tree structure dynamically to minimize the bond mutual information. We demonstrate potential applications with four examples: (1) Random bit sequences with long-range correlation, (2) Images of handwritten digits from the QMNIST dataset, (3) Bayesian networks, (4) Stock price fluctuations in the S&P 500.

Our method significantly enhances performance and reveals hidden relational structures in the target data, paving the way for future improvements and advancements.

Reference

arXiv:2408.10669

Code

Adaptive Tensor Tree Generative Modeling

日程

2024年11月15日から11月17日

研究会

TENSOR NETWORK 2024（金沢）

講演タイトル

Tensor tree learns hidden relational structure in data to construct generative models

概要

テンソルネットワークを用いた生成モデルの研究についてレビューを行い、テンソル木を用いたボルン生成マシンを構築する新しい手法を紹介する。キーとなるアイデアは、ボンド相互情報を最小化する木構造を動的に最適化することで、性能を向上させるだけでなく、対象データ中の隠れた関係構造を発見できることである。いくつかの実験例を用いて、その特徴を紹介する。