[[20241002151457]]　『パワークエリのパフォーマンス』（フリオ）　ページの最後に飛ぶ

『パワークエリのパフォーマンス』（フリオ）

パワークエリを始めて使用しています。
ネットで使い方を見ながら設定しています。
していることは、sharepointにある3000個程あるexcelファイルの名前と各ファイルのA1セルに入力された値を抽出してテーブルにしているのですが、かなり重たいです。バックグラウンドで実施すると、20分強かかりました。
これくらいかかるものなのでしょうか？

＜使用 Excel：Microsoft365、使用 OS：Windows10 ＞

ふんわりとしたことしか言えませんが…
使用しているPCスペックと、元のファイルの容量にもかなり依存します。
SharePoint経由だと、そこに通信速度も加味されるので重くなりがちだとは思います。
（\） 2024/10/02(水) 16:07:56

スペックの問題ですか。
クエリとは別の方法を考える必要がありますね。
（フリオ） 2024/10/02(水) 17:04:25

問題がどこにあるのかは１つずつ潰していかないと分からないので SharePointに保存して
いるファイルをローカルフォルダに移してみるかあるいはドキュメントフォルダを同期し
てそのフォルダに接続した場合にどうなるかですね。

何も変わらないなら SharePointフォルダを参照している点については問題ないことになり
ます。
（d-q-t-p） 2024/10/03(木) 11:24:58

d-q-t-p様

ローカルサーバーにデータを写してやってみましたが、やっぱり遅いです。
おそらく、各ファイルの中の値を参照するのに時間がかかっているのだと思います。
120個程のデータを参照するのに1分ほどかかりました。
（フリオ） 2024/10/03(木) 15:08:24

＞ 120個程のデータを参照するのに1分ほどかかりました。
それが重いかどうかは回答者側には判断できません。

ファイルが 3000個あることは明確になっていますがシートの数やデータ量は不明ですし PCスペック
も環境も不明なままです。

また「各ファイルの中の値を参照」をどのようにやっているのかも書かれていません。
ヘルパークエリを作っているのだとしたら「サンプルファイルの変換」クエリに余計なステップを入
れずにドリルダウンだけ実行して結合した場合にどうなるか試してみればいいかと思います。

試しに 5列3000行の値を入力した Excelファイル（１シート）を 200個用意して A1だけを読み込んで
結合してみましたが２秒かからず更新が終わりました。
（d-q-t-p） 2024/10/03(木) 16:48:28

d-q-t-p様

ご回答ありがとうございます。
無駄な作業をしているのですね。
ネットで調べた方法をそのまま使っているのがダメなのかもしれません。
シート数：10シート
データ量：1ファイル600KB程度
抽出するシートのデータは44行*91列
している作業：
1、sharepointのリストをexcelにエクスポートして3200行*5列のテーブルを作成
2、データタブ→データの取得→ファイルから→sharepointフォルダーからを押す
3、sharepointフォルダーのURLを入力
4、一覧が出てきたらデータの結合と変換を選択
5、ファイルの結合画面でサンプルファイルプルダウンからサンプルファイルを選択
6、抽出するシートを選択してOKを押す
7、クエリエディターの左のクエリ一覧でサンプルファイルの変換を押す
8、抽出するセルを選択して右クリックしてドリルダウンを選択
9、ファイルタブのテーブルへの変換を押す
10、左のクエリ一覧でその他のクエリの中のクエリ1を選択して、閉じて次に読み込むを押す
11、新規ワークシートにテーブルとしてインポートする
となります。
クエリと接続画面では上から
・クエリ1からファイルを変換する[2]
・ヘルパークエリ[3]
・パラメーター1（サンプルファイル）
　接続専用
・サンプルファイル
　接続専用
・ファイルの変換
　接続専用
・サンプルファイルの変換
　接続専用
・その他のクエリ[1]
・クエリ1
となっています。
以上、よろしくお願いいたします。
（フリオ） 2024/10/04(金) 07:49:07

＞無駄な作業をしているのですね。
無駄な作業をしているかどうかはご自身で色々と試してみないと分かりません。

＞となっています。
ヘルパークエリが作成される場合は全てそうなりますから、この説明はいらないです。
「A1セルに入力された値を抽出」をどうやっているのかを知りたいんですけども。

ひょっとして「クエリ1」で抽出していますか？　だとしたら絶対的に読み込みが重くなるはずです。

「サンプルファイルの変換」クエリで必要な値を「ドリルダウン」しましょう。
そうすると「クエリ1」がエラーを起こしますからエラーが出なくなるまでステップを下から順に
削除していけばいいです。
https://nandemo-xl.hatenablog.com/entry/2024/05/22/141247
（d-q-t-p） 2024/10/04(金) 09:30:50

d-q-t-p様

添付のサイトに記載の方法をしていますが、やはり重いです。
上にも記載していますが、クエリのグループ名にクエリ1からファイルを変換と記載されているのでクエリ1から抽出しているのでしょうか？

＞そうすると「クエリ1」がエラーを起こしますからエラーが出なくなるまでステップを下から順に
削除していけばいいです。
sharepointから抽出するとクエリ1でエラーが起きません。ローカルフォルダから抽出すると出ますが。
（フリオ） 2024/10/04(金) 10:31:18

＞やはり重いです。
「重い」という感覚的なところについては何ともいえません。
そのデータ量ですから読み込むのに何十秒かはかかると思います。

ローカルフォルダに条件通りのファイルを 3000個作って試しましたが 30秒くらいで読み込みが
完了しました。

＞クエリのグループ名にクエリ1からファイルを変換と記載されているので
フォルダ指定で読み込んでいるなら本来は「'フォルダ名'からファイルを変換」となるはずです。
（d-q-t-p） 2024/10/04(金) 10:51:22

d-q-t-p様

色々設定を変えたりしましたが、遅いのは変わりません。
もう諦めます。
今までありがとうございました。
（フリオ） 2024/10/04(金) 11:19:02

コメント返信：

[ 一覧(最新更新順) ]

[[20241002151457]] 『パワークエリのパフォーマンス』（フリオ） ページの最後に飛ぶ

[[20241002151457]]　『パワークエリのパフォーマンス』（フリオ）　ページの最後に飛ぶ