mDF Doublons - suggestion
#1
Aspirant XLPages

Inscription: 09/11/2008
De Riedisheim (Mulhouse - Alsace)

Messages: 25

Système d'exploitation:
PC
Version Excel utilisée:
2003
Posté le : 10-11-2008 13h10

Bonjour Didier,

 

Tout d’abord, merci de partager tes connaissances, compétences sur Excel ici et sur le « forum ami » , ainsi que pour les fichiers que tu mets à disposition sur ton site.

En particulier « mDF Doublons ». Quelle belle idée tu as eu là !

Si seulement j’avais eu cet « utilitaire » entre les mains il y a 2 ans, j’en aurais gagné du temps !

Justement, le temps, c’est l’objet de mon message.

Tu as très certainement remarqué que son talon d’Achille est la durée pour le traitement de « grande base de données ».

Un exemple, quand je l’utilise parfois pour mon fichier qui fait 30000 lignes, j’ai le temps d’aller boire un café lol. Mais bon, Excel est un tableur et non un gestionnaire de données, il n’est pas fait pour ça, pas vrai !

A titre de comparaison, le filtre élaboré permet d’afficher une liste unique des données mais à durée à peut prêt équivalente ? , donc il faut savoir raison garder n’est-ce pas, quoi que….

J’ai fais des tests de tri, filtrage puis doublons dans des tableaux VBA.

Ca m’a fait tout de suite fait pensé à mDF Doublons.

Les premiers tests m’on tout naturellement conduit à reprendre toutes les options de cette petite merveille afin de les intégrer dans mon code.

J’ai comparé les temps d’exécution (pour que ce soit significatif, j’ai testé des tableaux faisant entre 5000 et 30000 lignes), et je pense que ça vaudrait le coup que tu y  jette un œil pour me dire ce que tu en penses car le gain de temps n’est pas négligeable.

Ci-joint tu trouveras mon code.

 

Bonne journée,

Amitiés

 

Skoobi


Pièce jointe:
zip doublons supprimer lignes v1 (copie mDF).zip   [ Taille: 23.86 Ko - Téléchargements: 514 ]
Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#2
Webmestre

Inscription: 18/05/2006
De Saône-et-Loire (71)

Messages: 1508

Système d'exploitation:
PC
Version Excel utilisée:
97, 2000, 2002, 2003, 2007, 2010, 2013, 2016 et 365
Posté le : 10-11-2008 17h52
Bonjour Skoobi et bienvenu sur mDF-XLpages.com

Oui, ça fait un moment que je souhaite revoir en profondeur le code de mDF Doublons v4.0. Il est certain que la procédure peut encore être améliorée. Je pense notamment approfondir la piste du Dictionary (notre ami bhbh m'a convaincu récemment d'y prêter attention )

Pour info, cet utilitaire mDF Doublons v4.0 étant compatible seulement "Excel version 2002 (XP) et +", j'avais déjà tenté de le rendre compatible pour Excel 2000 avant tout autre objectif. J'avais d'ailleurs lancé un appel pour test parmi les utilisateurs d'Excel 2000 sous ce lien. Mais ni le demandeur (créateur du sujet), ni les 34 visiteurs qui ont téléchargé cette version 4.2 n'ont daigné répondre à mon appel et me faire retour du résultat de leurs essais...
Cette version restera donc au fond du carton !

C'est bien ainsi aujourd'hui : tout le monde prône le partage et applaudit bien fort lorsqu'il en profite, mais lorsque le développeur se permet une seule demande d'aide à son tour, il n'y a bizarrement plus d'interlocuteur tout d'un coup ! 



Mais bon, je m'égare et te prie de m'en excuser. Là n'est pas ton sujet (et cette dernière version n'ajoutait rien à la vitesse d'exécution. Elle peut même être un peu plus lente que la précédente selon moi, compte tenu des détours exercés pour la rendre compatible 2000)

J'ai donc regardé ton classeur, ça a l'air d'avoir représenté un sacré boulot dis-moi ! En tout cas, déjà bravo pour l'effort et le travail accompli
Pour être franc, je n'ai pas tout analysé, ni tout testé, mais je pense qu'il conviendrait d'abord de mettre en place une vraie interface pour orienter l'utilisateur. Bien qu'ayant vu que tu tenais compte de multiple colonnes notamment, je n'ai pas compris comment faire pour les désigner et soumettre le choix à la macro.

En tout cas, je t'encourage à continuer ton projet, je suis sûr que tu peux réaliser une très bonne application sur la base que tu as déjà travaillée là. Je salue également ton envie et ta recherche d'améliorations, c'est  comme ça qu'on avance tous (et bravo aussi pour les commentaires dans le code, c'est appréciable !)

Ce forum reste à ta disposition au cas où. Tiens-nous au courant et sache aussi qu'au final, la section de téléchargements de XLpages te sera ouverte si tu le souhaites.

Bien cordialement,



Didier_mDF
Image redimensionnée
Le Webmaster

La réponse vous satisfait ? Merci de revenir solder le sujet en [résolu], voir ce lien
Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#3
Aspirant XLPages

Inscription: 09/11/2008
De Riedisheim (Mulhouse - Alsace)

Messages: 25

Système d'exploitation:
PC
Version Excel utilisée:
2003
Posté le : 10-11-2008 20h49
Re,

Citation :

ça a l'air d'avoir représenté un sacré boulot dis-moi ! En tout cas, déjà bravo pour l'effort et le travail accompli

Merci! En effet, la gestion des différentes options ne c'est pas fait d'un claquement de doigt mais quand on aime on ne compte pas pas vrai.

Citation :

Pour être franc, je n'ai pas tout analysé, ni tout testé, mais je pense qu'il conviendrait d'abord de mettre en place une vraie interface pour orienter l'utilisateur

Je trouve que celle que tu as mise en place est déjà très aboutie!
Citation :
Bien qu'ayant vu que tu tenais compte de multiple colonnes notamment, je n'ai pas compris comment faire pour les désigner et soumettre le choix à la macro......En tout cas, je t'encourage à continuer ton projet

Mon "projet" est de tout simplement contribuer à améliorer mDF Doublons, c'est tout. Donc, si tu souhaite "exploiter" mon code pour l'intégrer dans ta future version, pas de problème, je suis prêt à rentrer plus dans les détails pour les explications et les zones d'ombres que tu pourrais avoir (qui devrait rapidement s'éclaircir, j'en suis sûr).
Je pense qu'il ne soit pas nécessaire de faire de gros chamboulement dans la structure (de mon code en tout cas lol). Il faudra par exemple intégrer les options dans la boite de dialogue.
Comme Je l'ai dit, je n'ai nullement l'intention de faire la concurrence à ton utilitaire.
Si mon approche t'intéresse, je suis à ta disposition et j'en serais ravie.

A bientôt,
Skoobi

Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#4
Webmestre

Inscription: 18/05/2006
De Saône-et-Loire (71)

Messages: 1508

Système d'exploitation:
PC
Version Excel utilisée:
97, 2000, 2002, 2003, 2007, 2010, 2013, 2016 et 365
Posté le : 12-11-2008 21h46
Bonsoir Skoobi, le forum,

Eh bien, suite à notre discussion sur le t'Chat et les explications que tu as bien voulu m'apporter, je confirme que tu as réalisé là du très bon boulot. Bravo pour ta persévérance et surtout pour ta recherche originale pour aborder ce sujet.

bhbh me l'avait déjà démontré, et tu enfonces le clou cette fois encore avec ton code : oui, l'objet Dictionary est sans doute la piste qu'il faut creuser pour ce type de recherche de doublons. D'ailleurs les tests démontrent le gain de rapidité par rapport à la macro d'origine, c'est indéniable.

Comme nous en avons discuter, cette macro mDF Doublons v4.0 fonctionne en 2 phases distinctes :

- la première phase correspond à l'analyse des données et recherche des doublons,
- la deuxième phase correspond à la mise à jour des données dans les feuilles de calcul.

Or, si la première phase dure aujourd'hui jusqu'à une quinzaine de secondes pour un fichier de test de 30 000 lignes et peut donc être écourtée avec une refonte du code sur base d'un Dictionary, c'est surtout la deuxième phase de mise à jour des résultats qui peut poser problème quant au délai de traitement. Délai qui peut parfois durer jusqu'à 5, voire 6 minutes pour remettre en forme l'ensemble des résultats du traitement. Ca peut paraître effectivement très long pour quelqu'un qui attend des résultats rapide (mais ce sera toujours plus rapide qu'un traitement à la main quand même ).

Je n'ai pas suffisamment de temps disponible aujourd'hui pour me repencher sur la question, mais il est clair que je serai d'autant plus intéressé par une nouvelle façon de procéder quant à cette 2ème phase de mise à jour des feuilles très gourmande en temps de traitement. La difficulté étant, bien sûr, de conserver la mise en forme des cellules du tableau original...

Bien cordialement, et avec tous mes remerciements pour ta proposition skooby

Didier_mDF
Image redimensionnée
Le Webmaster

La réponse vous satisfait ? Merci de revenir solder le sujet en [résolu], voir ce lien
Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#5
Aspirant XLPages

Inscription: 09/11/2008
De Riedisheim (Mulhouse - Alsace)

Messages: 25

Système d'exploitation:
PC
Version Excel utilisée:
2003
Posté le : 28-11-2008 18h14
Bonsoir tout le monde, Didier,

Après tout ce que nous venons de dire (Didier et moi), j'ai creusé la chose jusqu'au bout ce qui a donné naissance à "Doublons BDD".
Bien entendu, il est très proche de MdF Doublons.
J'y ai ajouté la possibilité de garder ou non le format mais la nouveauté est de pouvoir faire une sélection partielle des données pour le traitement des doublons (d'une utilité moindre peut-être je ne sais pas) en tout cas je m'en sert de temps en temps.
Ci-joint vous trouverez "Doublons BDD".
Avis au "Bêta testeur" .
Si ça vous intéresse, je peut créer la version "macro complémentaire" que je proposerais sur la rubrique téléchargement (si Didier le veut bien).

Bonne soirée à vous,

Amitiés.
Pièce jointe:
zip DoublonsBDD_v1.zip   [ Taille: 61.85 Ko - Téléchargements: 544 ]

A+
Skoobi
-----------------------------------------
On en apprend tous les jours.
Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#6
Webmestre

Inscription: 18/05/2006
De Saône-et-Loire (71)

Messages: 1508

Système d'exploitation:
PC
Version Excel utilisée:
97, 2000, 2002, 2003, 2007, 2010, 2013, 2016 et 365
Posté le : 29-11-2008 14h57
Bonjour skoobi,

Eh bien, je vois que tu as bien travaillé. J'ai regardé rapidement ton classeur et ça semble bien fonctionner, bravo !

Je n'ai cependant pas tout testé et pas encore regardé si tu avais réussi à écourter le processus de mise à jour des feuilles. Tu sais que je n'ai déjà pas assez de disponibilité à consacrer à mes propres projets ainsi qu'à ce site , aussi j'invite l'ensemble des visiteurs à te venir en aide pour les tests et la mise au point de ton application. Par ailleurs, comme tu le dis ce projet est assez proche de mDF Doublons, et en toute objectivité, tu comprendras aisément que je préfère me tenir à l'écart et laisser aux regards extérieurs le soin de t'accompagner et finaliser cet utilitaire qui, j'en suis sûr, va connaître un fort succès.

La section de téléchargements de mDF XLpages.com reste bien évidemment à ta disposition lorsque tu jugeras ton projet arrivé à terme et prêt à être distribué.

Cordialement,


Didier_mDF
Image redimensionnée
Le Webmaster

La réponse vous satisfait ? Merci de revenir solder le sujet en [résolu], voir ce lien
Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#7
Aspirant XLPages

Inscription: 09/11/2008
De Riedisheim (Mulhouse - Alsace)

Messages: 25

Système d'exploitation:
PC
Version Excel utilisée:
2003
Posté le : 29-11-2008 17h11
Salut Didier,

Merci d'avoir pris un peu de ton temps pour y avoir jeter un oeil.
Le processus avec conservation du format est effectivement beaucoup plus long..., c'est pourquoi je propose de faire le traitement avec ou sans ce dernier.
A noter que ceci n'est valable uniquement pour l'extraction et la suppression.
En effet, pour masquer et surligner les lignes concernées, il n'y a pas besoin de s'occuper du format.

Amicalement,

A+
Skoobi
-----------------------------------------
On en apprend tous les jours.
Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#8
Aspirant XLPages

Inscription: 09/11/2008
De Riedisheim (Mulhouse - Alsace)

Messages: 25

Système d'exploitation:
PC
Version Excel utilisée:
2003
Posté le : 08-12-2008 20h06
Bonsoir,

un petit up pour avoir vos impressions, remarques, suggestions, critiques, sur le fichier du 28/11, merci.

A+
Skoobi
-----------------------------------------
On en apprend tous les jours.
Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#9
Débutant XLPages

Inscription: 10/06/2007
De Treillières (44)

Messages: 14

Système d'exploitation:
PC
Version Excel utilisée:
2003, 2010
Posté le : 08-12-2008 21h19
Bonsoir à tous,

Moi je profite de ce post qui parle de Doublons pour faire coucou.

Didier, tu sais que pas plus tard que la semaine dernière, j'ai montré encore Doublons à un collègue pompier féru de macros et il était sous le charme. Il me l'a demandée pour regarder avec intérêt le code, je ne sais plus s'il est accessible.

Je vois qu'en revanche, ca fait des émules puisque skoobi va "doublonner" ton appli en créant la sienne.

Moi perso, j'aime tellement Doublons que je n'en veux même pas d'autre. Suis fidèle à cette appli comme à Calendar d'ailleurs. J'ai vu que sur xld, une autre était proposée et comme j'ai pas testé, je sais pas les différences (mais les verrais  je vu mon niveau).

J'avais pas vu qu'ici il y avait un chat. Tout le monde peut y aller ?

Bisous Didier et à très bientôt.

Je t'ai mis un ti mot, mais je galère... J'arrive pas à :

- faire une liste de contacts, quand je fais "rechercher" pour te rajouter, je te trouve pas, un comble
- garder mes messages envoyés.

C normal docteur ?

Edit : j'ai essayé le tchat et ma foi, pas réussi :

1. ca m'a proposé un certificat numérique de Philippe Detournay (ou un truc comme ca)
2. une fois dessus, quand je tape le texte, et valide, ca fait : undefined string
3. je vois aucune liste de connectés...

Je viens pas embêter, c'était juste pour visiter.... Je m'en vais, sur la pointe des pieds...

Image redimensionnée
Hors Ligne
Rapport   Haut 

Re: mDF Doublons - suggestion
#10
Webmestre

Inscription: 18/05/2006
De Saône-et-Loire (71)

Messages: 1508

Système d'exploitation:
PC
Version Excel utilisée:
97, 2000, 2002, 2003, 2007, 2010, 2013, 2016 et 365
Posté le : 09-12-2008 17h27
Bonjour Skoobi, Brigitte, le Forum,

Merci de ton passage Brigitte.

Citation :
Brigitte a écrit :
J'avais pas vu qu'ici il y avait un chat. Tout le monde peut y aller ?

Oui, il suffit d'être connecté en tant que membre du site.
Pour le certificat proposé, il faut l'accepter. Cela nécessite aussi que javascript soit activé dans le navigateur (il y a pas mal d'options sur ce site qui fonctionne sur ce principe).

Apparemment, tu t'en es bien sorti avec la messagerie privée car j'ai bien reçu ton message (pour garder l'historique des messages envoyés, il faut l'activer dans les options de la messagerie).

Depuis sa version 4, le code de mDF Doublons n'est plus accessible (contrairement à l'application proposée par l'ami Skoobi ci-dessus).

J'ai vu le Calendrier proposé sur XLD... un vent d'originalité est en train de souffler sur XLD
Je plaisante. A vrai dire, je ne l'ai pas testé mais il a l'air très bien !

L'auteur précise que ce qu'il y a de nouveau : c'est qu'il peut être utilisé aussi bien pour remplir des cellules que des TextBox.
Arf... En fait, c'est aussi le cas pour le mien en téléchargement depuis qu'il se nomme mDF XLcalendar (il y a un peu plus d'un an). Mais je n'ai tout simplement pas encore pris le temps de documenter ce mode d'utilisation pour les développeurs intéressés. L'insertion de dates dans les TextBox est prévue et toujours en respectant le format de date et la langue choisis par le développeur... Je ferai cette documentation prochainement, c'est promis.

Cordialement,


Didier_mDF
Image redimensionnée
Le Webmaster

La réponse vous satisfait ? Merci de revenir solder le sujet en [résolu], voir ce lien
Hors Ligne
Rapport   Haut 


Vous pouvez voir les sujets.
Vous ne pouvez pas débuter de nouveaux sujets.
Vous ne pouvez pas répondre aux contributions.
Vous ne pouvez pas éditer vos contributions.
Vous ne pouvez pas effacez vos contributions.
Vous ne pouvez pas ajouter de nouveaux sondages.
Vous ne pouvez pas voter en sondage.
Vous ne pouvez pas attacher des fichiers à vos contributions.
Vous ne pouvez pas poster sans approbation.

[Recherche avancée]


Qui consulte actuellement ce sujet ?   1 Utilisateur(s) anonymes