2021年12月の記事一覧 | たろさん7890のブログ

Excel のデータをMySQLに入れたいけど、CSV形式は何かと大変

Excel のデータをMySQLに入れたいけど、CSVだと何かと大変。Excelって、・セルの中で改行していたり、・データ区切り文字に使いたいカンマ(､)・文字列囲みのダブルコーテーション（”）とかが、含まれていたりすると、インポートするときに、そこそこ面倒です。phpMyAdmin だと、CSVを画面からインポートすることができるのですが、100%の確率で、上記のような理由で、エラーとなってしまいます。エラーをすべてつぶしていると、件数が多いと、かなりの時間を使ってしまいます。そこで、オススメなのが、XML形式です。前提としては、MySqlのクライアントが必要です。MySqlクライアントから、Loadコマンドを利用します。■MySQLのLoadコマンドで取り込む（ゴールイメージ）XMLファイルを準備して、コマンドラインから、こんな感じで実行します。たとえば、mysql --host ホスト名 --user ユーザＩＤ -pパスワード <<EOFuse データベース名;set character_set_client="utf8";truncate table table_chumon;load xml local infile "D:\chumon.xml" replace into table table_chumon rows identified by "<table_chumon>" EOF上の例では、・ホスト名、ユーザID、パスワード、データベース名：環境にあわせて指定・取り込むファイルを指定："D:\chumon.xml" ・取り込み先のテーブルを指定：table_chumon・レコードの区切りの指定：<table_chumon>　（ここは、作成したXMLファイルに記述されている文字列に合わせるのが楽です）を指定してます。■取り込むデータの準備XML形式での準備としては、Excelでデータを作成すると思うのですが、実はExcelファイルから、XMLファイルを直接出力するのは面倒です。Excelの開発ツールを使う必要があります。Excelの開発ツールで、出力するXMLの項目などを定義するのですが、これが結構手間がかかります。開発に慣れていない方には、ハードルが高いかも・・・お薦めは、Accessの利用です。Accessない場合は、Excelで頑張りましょう。Accessだと、事前の定義なしで、XMLファイルを出力できます。大まかなイメージとしては、１．Accessから、データが入っているExcelシートを読み込むか、またはリンクしてます２．そして、対象のシートをXML形式で保存します。３．事前にExcel側で、Excelの列名をテーブルの列名に合わせておきます。具体的にみると、１．AccessにExcelデータと取り込むAccessを起動して、「外部データ」から「Excel」をクリック。あとは、画面に合わせて、対象のExcelのシートを選びます（リンクでも、インポートでもどちらでもOK)２．XMLファイルの出力Excelを取り込むと、テーブルに表示されます。右クリックで、「エクスポート」から「XMLファイル」を選択します。エクスポートの情報は、「データ」と「スキーマ」で良いでしょう。出力されたXMLって、どうなっているの？出力したファイルをテキストエディタなどで開くと、以下のようになっています。Excelの１行が、タグ付されます。以下の例では、＜レイド＞と＜/レイド＞で囲まれた部分が、１行分です。上の例で、「レコードの区切りの指定：<table_chumon>　」にあたります。Excelのシート名がここに変換されます。Excelの列名が、＜＞で囲まれたところに変換されています。Mysqlにロードするときに、ここがMySQLの列名の指定になります。つまり、Excelの方で、列名をMySQLの列名に合わせておけば、出力されたXMLにその列名で生成されます。Excelの１つのセルは、この＜列名＞と＜/列名＞で囲まれた形式に変換されます。セル中に改行や、区切り文字が入っていても、そのままこの＜列名＞と＜/列名＞の間に入ります。改行とかが入っていても、CSVだと壊れたデータになってしまいますが、XMLだとそのまま、MySQLにロードできます。■MySQLコマンドの実行最後に、上で書いたのMySQLのコマンドを実行すれば、終了です。コマンドでエラーになる主なケース：だいたい、次の２つです。・MySQLの列名と、XMLで指定した値と一致していない・行の区切り（例では、＜レイド＞と＜/レイド＞の部分）がXMLファイルと、MySQLコマンドで指定した値と一致していない■MySQLクライアントMysqlクライアントのインストールが必要なんですが、次のようなキーワードでググれば、すぐに見つかります。MySQL Command Line ClientMySQLクライアント多少、準備が必要ですが、CSVのロードエラーをつぶしていく時間を考えれば、圧倒的に楽だと思います。

2021.12.22

コメント(0)

2021年度秋期情報処理試験の結果

2021年度秋期情報処理試験の結果がでました。今回はシステム監査を受験しています。結果は、午後１で敗退。午後２の論文の採点には辿りつけませんでした。５０点にも届かないなんて、想定外です。完全に、問題を読み違えていますね。これで、午後１は何連敗だろう。。。。。そして、2年間合格なしになってしまったので、午後１免除もなくなりました（泣）次回は、午前１も受験しないといけません。範囲が広すぎて、対策が大変なんですよね、午前１は。めげずに頑張らないと。

2021.12.17

コメント(0)

ポケモンGO スペシャルウィークエンドのCHARGESPOTの参加券到着

ポケモンGO スペシャルウィークエンドのCHARGESPOTの参加券が到着したので、登録しました。申し込んでから、時間が開いたので、忘れそうですね、これ。

2021.12.04

コメント(0)

ポケモンGO グレッグルの色違いゲット！

ポケモンGO グレッグルの色違いゲットです。これも欲しかったやつ(v^^色違いが実装されてからの数は分かりませんが、通算で961体目でした。

2021.12.03

コメント(0)

ポケモンGO ゼクロムの色違いゲット！

ポケモンGO ゼクロムの色違いゲットしました。復刻したゼクロムの１３戦目でした。予想よりも、早かったです。昨日、レシラム色ちゲットしているので、これで、レシラムとゼクロムの色違いが揃いました。とりあえず、目標達成です。

2021.12.02

コメント(0)

なぜか、カインズの魔法のカリーポット

ここ２日間、何故か、過去の日記へのアクセスが増えている。「カインズの魔法のカリーポットを使って、豚肉カレー作ってみた」(2019.6.7)なんだろう？いいにくの日(11/29)だったから？２年前は、楽天では扱ってなかったこのカリーポット、今はどうなんだろうと思って調べてみたけど、やはり取扱いなし。似たような商品だと、このあたりが、たぶん同じような機能らしい。レンジでカリーポット小レッド 4058(1コ入)

2021.12.02

コメント(0)

ポケモンGO レシラムの色違いゲット！

ポケモンGO ヘリテージシーズンに入りました。ポケモン交換で、アメXLが確定でもらえるのが、とてもうれしいです。ヤミラミ、博士に送らないでよかった！さてと、レシラムとゼクロムが復刻してます。もちろん、狙いは、実装された色違いです。そして、初日にレシラムの色違いをゲットしました１レシラムレイドの２戦目でした。あまり、目立たないので、最初、色違いだと気づきませんでした。これで、あとはゼクロムに集中できます。色違い確率の５%を初日にひいてしまったので、ゼクロムはもしかすると苦戦するかも。。。。

2021.12.01

コメント(0)